Новая тема   Ответить

 Guest
В статистике по User Agents виду кучу всяких ботов типа китайской байды
траффик жрут, а есть ли от них толк?
посоветуйте кого блокрировать, а кого лучше оставить?

 ibiz
есть боты проверяющие обратные линки
а вообще лучше всех заблокировать, кроме гугля яхи бинга
для примера
https://www.master-x.com/robots.txt
для самостоятельного поиска
http://www.google.com/search?q=%22User-agent%3A+baiduspider+Disallo…type%3Atxt

 Chin
Ну с горяча всё банить тоже вредно. Тот же гугль иногда всякой хуйней прикидывается для проверки клоакинга.

 KirKalin
Однако дя профилактики лучше боты все же блокирнуть. А гугл хоть и балует но редко.

 ibiz
Chin писал:

трафик кстати не всегда так важен, как создаваемая ботами нагрузка на сервер, в этом случае лучше разрешить популярным ботам ходить с задержкой, а остальных в дисаллоу
например, относительно недавно запретил боту cuil ходить по сайту, нагрузка на сервере упала на 10-15%, довольно прожорливый бот, а толку с него ноль
кстати Chin: ты же вроде крутой сеошнег, подскажи, почему рамблер не учитывает User-agent: * Crawl-delay: 10?