Новая тема   Ответить

 bleed
Влогах сегодня у себя нашел
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
у гугла новый юзерагент?
Ранше был просто:
Googlebot/2.1 (+http://www.google.com/bot.html)
кто нибудь что то заметил в логах?

 iSEX
У Гугла много ботов, видимо это один из новых...

 Mauser
bleed, IP какой?

 Alexus
это скорее всего фейк под гуглбота.

 keosia


нет, действительно есть такой бот. IP:
66.249.66.102
66.249.66.179

причем если обычный гугльбот шпарит с разных IP, то тут нет такого большого разброса по IPшкам. поведение у него такое же, как и у обычного, бывает они по очереди ходят на некоторые сайты

 Mauser
соответвенно тут http://www.location.com.my/free.asp смотришь владельца айпи

 bleed
ip 66.249.66.6
спасибо Mauser:, по твоему урлу говорит что принадлежит гуглу.

а вообще кто знает давно он появился этот бот? я только вчера первый раз наткнулся.

Настораживает Mozilla/5.0 в его юзерагенте, вдруг он еще и яваскрипт проверяет и подобные фишки которые раньше не мог брать

 Sams
Ну месяца три-четыре назад такой бот уже бегал. Может и раньше - х.з. - внимания не обращал.

 W
Это они под браузер тренируются косить, хотят же писать свой..

 BerWe
Че-то у меня он некисло так прогулялся по серваку )

Цитата:

 bleed
Weber писал:
ага у меня тоже за день 1900 страниц взял, не плохая тренировка...

 sex4you
Да, у меня тоже по более чем 2000 страничек прогулялся

 color
а у меня еще и по банерам прогулялся - аж рэтио заметно упало

 BerWe
Это еще фигня... вот у меня этот гуглбот каким-то образом умудрился javascript выполнить и по нему средиректиться.... там не тупой редирект был

 Mauser
Weber, бот не выполняет скрипты (хотя некоторые парсит). Средиректиться он не мог

 BerWe


Mauser, я сам в охуе... Просто у меня на этот домен можно попасть только средиректившись с дорвея... Там гугль-бот этот побывал 20к раз.... наводит на некоторые размышления

 off-topic
Weber ты чего-то недопонимаешь ...
Бот может попасть практически на любой домен с траффом в обход твоего личного мнения. Например: домен может засветится в открытых логах прокси сервера , а это уже ссылка ... Остальные способы не буду описывать ;-)

 BerWe


Не в таком количестве...

 Kottayra
ИМХО для верности лучше JScript.Encode использовать

 rADja

2 Weber,а насколько "там не тупой редирект был"
чем был редирект то закодирован? если не секрет конечно
1. JScript.Encode
2. eval
3. самописный кодировщик?
4. ??? (а чего ещё то )

 ulcer
Weber писал:
гуглю достаточно что б ты на свою страницу с включенным тулбаром зашел ;)

 off-topic
ulcer прав, но к сожалению это не 100 % метод

 BerWe
rADja писал:

JScript.Encode + они были разбросаны по переменным...

Товарищи, я принимаю то, что гугл бот зашел на мой домен из-за моего гугл-бара... но не в количестве 20к ведь!

 JpS
Это новый бот. И он действительно "много хочет". Народ жалуется что трафа съедает много и хитами всех забодал.
У меня сервера ложатся от него :(

Здесь можно почитать:
http://webproworld.com/viewtopic.php?t=29193

 JpS
Weber писал:

то что эксплорер хавает твой JSEncode - тебя не удивляет?
а ведь это тоже не более чем программа.
что мешает гулю такого бота написать?