Master-X
Форум | Новости | Статьи
Главная » Форум » Поисковые Системы » 
Тема: Гуглеботы
цитата
20/11/04 в 00:40
 Nigga
Пожалуйста, объясните мне, неразумному, чем эти звери отличаются:

Googlebot/2.1 (+http://www.google.com/bot.html)
и
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com

Вроде как первый ходит постоянно, но ест мало, а второй приходит раз в месяц и сжирает почти все паги на доменах.
Так кто из них и что делает?
Кому больше радоваться?
цитата
20/11/04 в 01:22
 Student
Имхо:
1 проверяет живой ли твой сайт, если да то всё ОК, если нет то он его на время выкидывает из результатов поиска, потом проверяет опять и если ожил то возвращает.
2 индексирует
3 проверяет нет ли клоакинга
4 - … х.з.
цитата
20/11/04 в 22:17
 dimok
читайте пост GoogleGuy: http://www.webmasterworld.com/forum3/22408-3-10.htm - собсвтенно там все написано, даже комментировать нечего icon_smile.gif
цитата
23/11/04 в 09:52
 Nigga
Что-то ссылочка выкидывает меня на страничку "денег-дай". Собсно, любая попытка директом куда-либо на форуме обратится выкидывает на эту страничку.

Пытался поискать вручную на форуме... Чего только не нашел, но вот 22408 - не вижу. Если не трудно, подскажи, каким числом там последняя мессага в была датирована.
цитата
23/11/04 в 10:08
 dimok
Цитата:
"Any statement, Googleguy? Would be appreciated."
Absolutely, bull. Normally I post by the seat of my pants, but I wrote this up earlier today and hadn't posted it yet:

Hey everybody, I wanted to give you a heads-up about a potential change in our user-agent name. Currently we use the user-agent
Код:
Googlebot/2.1 (+http://www.googlebot.com/bot.html)

but we're considering changing our user-agent to something like
Код:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 


The primary reason for this is that some web servers assume that unless a user agent is IE, Netscape/Mozilla, or maybe Opera, that your browser won't support JavaScript, frames, etc. As Googlebot gets better over time, it gets closer to a regular user and browser in our ability to handle features like that. This user-agent change would let vanilla webservers assume Googlebot is more like a regular user, while still allowing site owners to recognize that Google is visiting and still providing clear contact info in case of questions or issues. We would still respect "Googlebot" in robots.txt, so the overwhelming majority of webmasters wouldn't have to change anything at all; most site owners probably wouldn't even notice the difference. This bot that a few people noticed was a test crawl with the new user agent. It looks like things went very smoothly, but we'll still be conservative when making this change. If people have any positive or negative comments or questions, just post here. If we don't hear any showstopping objections, we'll look at making this name change on the user-agent when we're convinced everything would be a smooth transition.

thanks,
GoogleGuy
цитата
23/11/04 в 10:11
 Alpha_Juno
Nigga писал:
Что-то ссылочка выкидывает меня на страничку "денег-дай". Собсно, любая попытка директом куда-либо на форуме обратится выкидывает на эту страничку.
Пытался поискать вручную на форуме... Чего только не нашел, но вот 22408 - не вижу. Если не трудно, подскажи, каким числом там последняя мессага в была датирована.


Вбивай url страницы в гугл.
При переходе с гугла им деньги ненужны =)))
цитата
24/11/04 в 01:11
 Nigga
Всем спасибо!
цитата
24/11/04 в 08:50
 BugZ
Search Engine IP Addresses -
iplists.com
цитата
24/11/04 в 08:55
 Alpha_Juno


А я сечас как раз искал!

x10 respect =))))
цитата
24/11/04 в 17:20
 Leliks
BugZ писал:
Search Engine IP Addresses -
iplists.com

насколько я знаю, эти списки постоянно изменяются, поэтому данные на октябрь уже не актуальны скорее всего
цитата
24/11/04 в 19:43
 BugZ
они пополняются - более полный список - _http://www.searchengineworld.com/spiders/spider_ips.htm


Эта страница в полной версии