Новая тема   Ответить

 Lamagro
Привет всем!
С новым годом! (первый пост в новом году )

Собственно вопрос возник... может кто чего подскажет...

Скрипт у меня работает - парсит гугль - выбирает урлы.
Только что-то последнее время - перестал работать - немогу понять в чем причина - прокси есть (постоянно обновляются) запросы есть - гугль вроде все отдает - но скрипт крутится на одном месте

В пока общем немогу пока разобраться сам ... ну и вопрос соответственно может гугль изменил алгоритм выдачи ну например недает больше 60 резов в период времени... или еще что нить
Кто нить что-нить замечал?

 contribfgf
Он счас по многим запросам больше 100 резалтов не даёт.
Но это обходиться..

 Lamagro
ага это знаю... заметил когда перед новым годом ковыряться с тем же самым начал. Запрос тогда видоизменил - всеравно фиг...

а как обходится если не секрет?
я обошелся видоизменением - выкидыванием ключевого слова, ну всмысле слова на которое он ругается

 Lamagro
а кстати - это я отследил же это и добавил обработку такой ошибки - так что точно не оно..

 sotiris
yx0: Цитата:
на умаксфоруме тож читал, что обходится, и многие как-то обходят. я пока не допер временно переключился на парсинг мсн, правда и он, сцуко, больше 250 результатов не выдает(

 ptah
Если ты используешь в парсере запросы inurl, intitle и тому подобные, то гугля тебе ничего не отдаст. А напишет, что с твоего компа какой-то шпион посылает кучу запросов. И все. Гугля защищает себя от таких парсеров. Это естественно. Попробуй поменять запросы.

 Paul-T
При видоизменённых запросах теряется и часть нужных результатов.

 ptah
Так теряется часть результатов, а при старом запросе результатов нет вообще!

 sotiris
иногда не теряется, а наоборот куча хлама выдается ненужного, типа внутренних страниц гестбуков и т.д. выход: парсить вместе с этими ненужными страницами, а потом дополнительно производить отсев.

p.s. седня еще одно заблокированное слово нашел: powered... писец, круг сужается...

 Lamagro
sotiris писал: я это слово первым узнал ... после уже искать начал ...
Ну придется просеивать кучи мусора, а что делать... зато наградой будет жемчужина

 Lamagro
да кстати по поводу сабджа... вопрос снят - ошибку нашел

 ibiz
Блокирование слов происходит автоматически.
Эту "гадость" можно использовать, чтоб "убить" конкурентов за соткой (хотя смысла ноль).
Вообщем потестировал я слова различные, и на некоторых адалтных словах тоже есть блокировка.
Для примера запрос allinurl:test

 ibiz
Это была информация к размышлению... но самое интересное, что через некоторый промежуток времени, и некоторых действиях заблокированные слова "оживают"

 sotiris
ibiz: Цитата:
ты не томи, сказал А, говори Б;)))
хотябы направление б указал, куда копать

 ibiz
sotiris: ну это тебе врятли кто скажет, может это "очередной глюк гугля". Но такие запросы, как, например, "inurl:addguestbook", врятли возможно вытащить из поля зрения гугли.