Master-X
Форум | Новости | Статьи
Главная » Форум » Программинг, Скрипты, Софт, Сервисы » 
Тема: Как запретить юзер агент?
цитата
31/08/10 в 01:20
 ibiz
через robots.txt не работает
через htaccess грузит проц
туплю, как можно еще запретить выкачивать сайт по юзерагенту без переписывания скриптов?

P.S. четвертый день выкачивают несколько сайтов по 10млн страниц Wget'ом
цитата
31/08/10 в 11:23
 leroy_17
мож проще по ip запретить тогда ?

вообще в php есть такая настройка как запуск скрипта перед запуском любого php процесса . так вот в этот скрипт можно и запихать проверку USER_AGENT вроде называется "auto_prepend_file"
цитата
31/08/10 в 11:28
 ibiz
там сетки ипишников, но почти одинаковый юзерагент
цитата
31/08/10 в 11:29
 leroy_17
добавь тогда файло перед выполнение php , и вырубай их
цитата
01/09/10 в 00:06
 Noobus Boobus
Цитата:

if ($http_referer ~ (maturetubefun|wget|hornymomsfuck)) {
return 403;
}

В нгинксовом прокси.
цитата
11/09/10 в 01:23
 dlk44
ibiz писал:
через robots.txt не работает
через htaccess грузит проц
туплю, как можно еще запретить выкачивать сайт по юзерагенту без переписывания скриптов?
P.S. четвертый день выкачивают несколько сайтов по 10млн страниц Wget'ом


Поставь на сервер фаервол и бань те iP с которых более 1 запроса в секунду.
цитата
11/09/10 в 14:23
 arma
dlk44 писал:
Поставь на сервер фаервол и бань те iP с которых более 1 запроса в секунду.

Плохая затея.
Нынче большинство современных браузеров производят download сайта в несколько потоков.
Это значит что так побанишь много нормального народу.

+1 за вариант с nginx фронтендом, где можно запретить 'wget' юзер-агенты. Проц не грузит.
цитата
11/09/10 в 15:14
 lega_cobra
ibiz писал:
через htaccess грузит проц


А что ты туда пишешь?

PS wgetу можно написать любой UserAgent.


Эта страница в полной версии