Гугл парсит <form>

Тема: Гугл парсит <form>

цитата
31/03/04 в 06:43

bleed
Сабж.
знаю, что яндекс парсит тэг форм, т.е. идет по урлу в поле action и подставляет дефолтные значения переменным,
а гугл так делает? пока по логам не видел, но все ровно очь интересно знать

цитата
31/03/04 в 10:56

Gary
нет, нету в гугле такого

цитата
31/03/04 в 11:14

bibigon
скажем так пока нету.
У них какой-то тестовый бот новый. Х/З чего он делает.

цитата
31/03/04 в 17:02

Erotix

а у меня впечатление , что у него несколько ботов ... один листит .... другой банит ... третий картинкаи балует ... и т.д.

цитата
31/03/04 в 17:32

bibigon
ботов то однозначно несколько.
Один жрет, другой проверяет изменения, третий собирает картинки, четвертый проверяет по адвордсам какую-то хуету..

а вот что за гуглебот "тест" новый Х/З

цитата
31/03/04 в 19:12

Xrenoder
Совершенно 100% парсит. Чистый эксперимент специально ставился.

цитата
31/03/04 в 21:07

bibigon
Xrenoder
о как! не знал, спасибо.

Есть у меня еще подозрения, что он даже и из явы-скрипт выкусывает урлы. Причем, возможно, что даже из вынесенных из страницы в отдельный файл.
На одном домене не так давно бот нарисовася. А на него ссылок нет иных, хотя может и по логам чьим-нибуть добрался.. кароче Х/З

цитата
31/03/04 в 21:14

Gary
bibigon писал:

..
На одном домене не так давно бот нарисовася. А на него ссылок нет иных, хотя может и по логам чьим-нибуть добрался.. кароче Х/З

у тебя гуглбар стоит? есть подозрение что он также через него адреса страничек собирает.. или через dns на новые домены выходит..

цитата
31/03/04 в 21:21

bibigon
Gary
как же без бара то?

Согласен со всеми твоими мыслями, меня они тоже посещали.

Яховский бот жрет ява-скрипт тока так. Неуверен про кодированный, но вот вынесенный в отдельный файл легко!

цитата
31/03/04 в 22:10

pornovoyager
bibigon писал:

Xrenoder
о как! не знал, спасибо.
Есть у меня еще подозрения, что он даже и из явы-скрипт выкусывает урлы. Причем, возможно, что даже из вынесенных из страницы в отдельный файл.
На одном домене не так давно бот нарисовася. А на него ссылок нет иных, хотя может и по логам чьим-нибуть добрался.. кароче Х/З

Да урлы выкусывает и даже ПР передает

цитата
01/04/04 в 04:18

bleed
bibigon писал:

Яховский бот жрет ява-скрипт тока так. Неуверен про кодированный, но вот вынесенный в отдельный файл легко!

А как бот та называется, чтобы в логах за ним поноблюдать?
и яву он хорошо знает? если я урл перехода так замучу не просто как window.location('http://url.com') а как нибуть покруче интересно пролезет?

цитата
01/04/04 в 04:51

bleed
Хотя что то не вериться что яваскрипт берут, просто если подумать все это геморно для бота, нагрузки большие, да и ява скрипты разные по навороченности бывают...
да и про тег форм пока точно не уверен, по логам смотрю, форму никто не сабмитил из ботов.

Просто надо сделать линки с сайта на внешние урлы, чтобы гугл их не воспринял, тепеерь думаю может на флэше сделать, там та точно пока 100% уверенность, хотя флэш наверное не у всех юзеров покатит.

цитата
01/04/04 в 08:59

bibigon
Флеш гугла как раз уже дааавно считает, как и линки с него.

цитата
01/04/04 в 21:18

bleed

вот здесь просто так не соглашусь, врятли гугл парсит сам swf файл, это большой гемор для него, да и никогда не видел в логах чтобы гугл обращался к нему.
Да, он берет линки которые есть во флэше но не из swf а из самого хтмл-я, вот в кач примера сделал тестовый мувик во флэше (кнопка с сылкой на яндекс) при компиляции флэш создает хтмл:
Код:

<div align="center"><A HREF=http://www.yandex.ru></A>


<OBJECT classid="clsid:D27CDB6E-AE6D-11cf-96B8-444553540000" codebase="http://download.macromedia.com/pub/shockwave/cabs/flash/swflash.cab#version=5,0,0,0" WIDTH=640 HEIGHT=320>
<PARAM NAME=movie VALUE="intro.swf">
<PARAM NAME=quality VALUE=high>
<PARAM NAME=bgcolor VALUE=#FFFFFF>
<EMBED src="intro.swf" quality=high bgcolor=#FFFFFF WIDTH=640 HEIGHT=320 TYPE="application/x-shockwave-flash" PLUGINSPAGE="http://www.macromedia.com/shockwave/download/index.cgi?P1_Prod_Version=ShockwaveFlash">
</EMBED>
</OBJECT>
</div>

так вот есть ссылки после Код:

их та и берет гугл.
а то что он берет swf файл, запускает его, в это трудно поверить, просто флэш технология быстрыми темпами развивается, и гулу обработка флэша большой гемор.

цитата
01/04/04 в 22:13

bibigon
http://www.google.com/search?hl=en&lr=&ie=UTF-8&oe=UTF-…tnG=Search

цитата
02/04/04 в 01:10

Mauser
как и скрипты. парсить то он парсит, но выпарсывает не все. Простейшие конструкции выгрызает.

цитата
02/04/04 в 06:20

bleed
bibigon писал:

http://www.google.com/search?hl=en&lr=&ie=UTF-8&oe=UTF-…tnG=Search

не верю

http://www.google.com/help/faq_filetypes.html

цитата
02/04/04 в 09:09

bibigon
bleed писал:

не верю