Master-X
Форум | Новости | Статьи
Главная » Форум » Поисковые Системы » 
Тема: Бинг валит сайты. как правильно ограничить его?
цитата
14/05/15 в 12:34
 3Sky
приветы, коллеги и сочувствующие )

как бинга ограничить?

достаточно ли сайт в бинг вебмастерс добавить и снизить скорость, или к нему еще роботс допилить

User-agent: MSNBot/Bingbot
Crawl-delay: 5

спасибо!
цитата
14/05/15 в 12:37
 ivango
Лучше в роботс прописать, надежнее, имхо
цитата
15/05/15 в 10:48
 CreativeMotionArt
Мой вопрос будет некоректным может.
Чем плох Бинг то этож вроде тоже поисковая систему. Почему он тебя валит ? icon_smile.gif
цитата
15/05/15 в 11:03
 ibiz
CreativeMotionArt писал:
Мой вопрос будет некоректным может.
Чем плох Бинг то этож вроде тоже поисковая систему. Почему он тебя валит ? icon_smile.gif


плохо оптимизированная система, когда каждый запрос страницы сайта расходует ресурсы, при массовых запросах получается ддос поисковиком trollface.png
цитата
15/05/15 в 22:19
 JM
3Sky писал:

User-agent: MSNBot/Bingbot
Crawl-delay: 5

спасибо!

Мне это не особо помогло даже 20 параметр icon_sad.gif
Дидосит тока в путь...
цитата
15/05/15 в 22:34
 Stek
http://nginx.org/ru/docs/http/ngx_http_limit_req_module.html

как вариант, если nginx используется.

Т.е. примерно так:

Код:
http {

     map $http_user_agent $limit_bots {
         default '';
         ~*(google|bing|yandex|msnbot) $binary_remote_addr;
     }

     limit_req_zone $limit_bots zone=bots:10m rate=1r/m;

     server {
         location / {
             limit_req zone=bots burst=5 nodelay;
         }
     }
}
цитата
15/05/15 в 23:58
 X-dream
Уясе бинг ддосит trollface.png надо в суд на него подать...
цитата
16/05/15 в 01:42
 slowpoke
Слышал гугловский ддосит тока в путь

анти ддос выглядит так

User-agent: *
Disallow: /

trollface.png
цитата
16/05/15 в 11:25
 Mika
Сколько там запросов с него в секунду? Может лучше поработать над оптимизацией, чем ограничивать бота?
цитата
16/05/15 в 17:26
 Shadow
Если на сайтах динамики мало - используй портовое проксирование smail54.gif , для знающего админа это 10-20 минут работы
цитата
16/05/15 в 17:48
 3Sky
всем спасибо, админам топик показал
цитата
01/06/15 в 02:11
 SkyKiller
3Sky писал:
всем спасибо, админам топик показал

3Sky: Было бы интересно узнать, как решили проблему (когда она решится). Поскольку я сейчас тоже буржуйский проект запускать собираюсь и не хотелось бы наступить на те же грабли.
цитата
01/06/15 в 02:13
 3Sky
рассказую ) все сайты добавлены в бинг вебмастерс

похуй ему icon_smile.gif

сейчас буду мучать роботс.

админы отписали, что делали так, как отписал Stek. толку нет

пока бинг отключен, ла дает хавайся
цитата
01/06/15 в 03:55
 SkyKiller
3Sky: держи в курсе smail101.gif
цитата
01/06/15 в 07:20
 Securom
Хуясе проблемы у людей...Это на чем же стоит сайт,я имею ввиду сервак,что его бинговский робот может заддосить smail101.gif Меня бы Гоогле заддосил бы поисковыми роботами своими я был бы несказано рад
цитата
01/06/15 в 11:56
 Shadow
А что именно подает? Может скрипты сами тяжелые, ну или в крайнем случае тебя просто ддосят, а юзерагент подменили бинговским icon_sad.gif

Сколько там того бинга....
цитата
06/06/15 в 15:23
 3Sky
чо делать-то? он зыбал icon_smile.gif

базы большие ребяты, много страниц, много контента
цитата
06/06/15 в 15:37
 Mika
3Sky писал:
чо делать-то?

Проще всего в консоли от рута запустить:
shutdown -h now
trollface.png
цитата
06/06/15 в 15:43
 3Sky
еще хороших советов?
цитата
06/06/15 в 15:53
 Mika
Посоветуй админам про iptables (и опционально fail2ban) почитать.
цитата
06/06/15 в 15:56
 3Sky
спасибо, отписал )
цитата
03/08/15 в 12:13
 Ilairdaji
редирект бинго-траффика сделай,многие купят оптом:-) а то заблоченный денег не приносит


Эта страница в полной версии