sex4you
Помогите с поиском списка имен ботов поисковиков. Сам знаю что ранее этой инфы полно было, а вот когда понадобилось найти ничего не смог
Буду признателен за каждую подсказку!
iSEX
'ask jeeves' => 'jeeves',
'lycos' => 'lycos',
'whatuseek' => 'wuseek',
'ia_archiver' => 'Archive_org'
[Rambler]
StackRambler/1.4
[Yandex]
Yandex/1.03.000 (compatible; Win16; M)
Yandex/ 1.03.003 (compatible; Win16; D)
Yandex/1.01.001 (compatible; Win16; I)
Addurl/2.0
[Turtle]
TurtleScanner/1.2 (compatible; MSIE 5.01; Win32)
[???relay.bix.ru]
URLTracer_Looksmart_Utility
[Gigablast]
Gigabot/1.0
[Altavista]
Scooter/3.3
[Google]
Googlebot/2.1 (+http://
googlebot.com/ bot.html)
[Looksmart]
Mozilla/4.0 compatible ZyBorg/1.0 (http://
WISEnutbot.com)
[Inktomi]
Mozilla/5.0 (Slurp/ cat; http://
inktomi.com/ slurp.html)
Slurp/si
[Fast]
FAST-WebCrawler/3.6 (http:// fast.no/support/crawler.asp
FAST-WebCrawler/ 3.6/FirstPage (http://fast.no/ support.php?c=faqs/ crawler)
FAST-WebCrawler/3.2 test