Новая тема   Ответить

 dmmcash
Обратил внимание на странное поведение яндексбота когда логи просматривал. Он сам генерит несуществующие линки для моего сайта и просматривает их.

Для примера: есть ссылка рабочая mysite.xxx/gallery/img18352-enjoys-her-tigh.html Так этот бот начинает тупо инкрементить img18352>>img18353>>img18354 и т.д. Произвольно комбинирует параметры из разных ссылок, просто режет часть ссылки. Вобщем занимается какой-то непонятной хернёй.
При этом у меня на сайте есть постоянно обновляемая сайтмеп прописанная в robots.txt
Это точно YandexBot, диапазон айпи его. Вот нахрена это он делает? Любопытно просто.

Другие боты так не развлекаются. Есть еще правда бот от deusu.de, он иногда обрезает часть просматриваемых ссылок, думаю из-за его технических недостатков. Гуглбот самый точный. Бингбот грешит тем что пытатся лазить по давно удаленным ссылкам несмотря на то что я сайтмап напрямую загружаю в бингвебмастер панель.

 Kuantanis
Проверяет, может быть, по признакам дорвея?

 Lexikon
dmmcash писал:

А ему делать нехуй, он не спешит. Когда у меня в индекс гула 1к страниц залетает, яндекс при этом только пол сотни в индексе отображает.

Kuantanis писал:
Если у меня на сайте будут изображения img18352>>img18353>>img18354 и т.д. разве это будет считаться дором?

 Johnbonjov
Ко мне вот щас такой пришел 141.8.184.25 накликал сука по линку продажи трафика, которая собссно нигде не светится, хз как он её нашел.

 Stek
У меня от яндекса меньше всего трафа с поисковика, но зато его бот делает трафа больше, чем сумма всех ботов от других поисковиков

 dmmcash
Lexikon писал:
Тогда уж это такой ущербный ИИ от яндекса пытающийся саморазвиваться. Тупиковая ветвь эволюции.


Johnbonjov писал:
Может ты яндекс браузером пользуешься?


Stek писал:
Эт точно, логи просто забиты этим ботом.

 ExiL1
Уже пару недель буйство яндексбота не наблюдаю. У меня одного так?

 densa
да яндекс бот вообще дикий, особенно новостной. недавно мне сайт положил, успокоил его дерриктивой Crawl-delay: 10

 ibiz
фигасебе... у вас или говнохостинг или сайт сильно неоптимизированный, чтоб краулером можно было сервер положить или доставить неудобства

 densa
ibiz: нормально оптимизированный, яндекс бот долбил по 800 запросов в минуту

 ibiz
densa писал:

думаю это не нормально, но также уверен, что яндекс не виноват в таком кол-ве запросов, возможно ошибки на сайте или тупо циклический редирект на странице
у меня есть десяток крупных порталов с овер лямом страниц, по идее яндекс должен у меня поселиться:

утром тупо запустил мониторинг логов нескольких крупных сайтов, через команду:
tail -f /var/log/domain.ru.access.log | cut -d ' ' -f 1 | logtop
общее кол-во запросов к этим сайтам ~600 в секунду, но я так понял там считаются все http запросы включая к статике
load average: 0,11, 0,10, 0,10
яндекс бот 130.193.51.35 и хуй с германии 5.9.18.75 на втором месте по запросам
при этом есть поле для улучшения оптимизации