Majestic12.co.uk/bot.php еще кого-нить достаёт ?

Тема: Majestic12.co.uk/bot.php еще кого-нить достаёт ?

цитата
22/12/09 в 11:44

Johna
до 10% кликов этого бота от топовых трейдеров, причем с моих же сайтов, которые между собой трейдят
Mozilla/5.0 (compatible; MJ12bot/v1.3.2; http://www.majestic12.co.uk/bot.php?+)

просел трафик именно на этих сайтах где эта ебула гуляет, х.з. праздники или еще что-то, но именно на этих сайтах существенней

еще какого-нить этот бот достает ?

цитата
22/12/09 в 13:40

Alex AWM
Закрыть для него ауты htaccess'ом по юзерагенту, и редиректить между своими индексами или еще куда (совсем нахуй я бы не стал --- хрен знает для каких поисковиков он статистику собирает)

цитата
22/12/09 в 17:29

xxxio
Это бля не бот а дятел-террорист, раз заблудился на новом сидже - 2к+ хитов сделал.
Постоянно на сиджах по кругу мотается, хз че с ним делать, первый раз увидел - подумал накручивает кто то.

цитата
22/12/09 в 17:35

L.Estel
В .htaccess пишем

# Bots and Crawlers
RewriteCond %{HTTP_USER_AGENT} .*MJ12bot.* [NC]
RewriteRule .* - [F,L]

У кого Nginx:

Создаем файл bad_agent.conf
if ($http_user_agent ~ MJ12bot) {
return 403;
}

В настройках домена
include badagent.conf;

Чтобы не грузить апач бесполезными проверками

цитата
22/12/09 в 20:10

mickey
тоже долбал конкретно, админы разобрались

цитата
22/12/09 в 22:08

Admaster
Последнее время Baiduspider задалбывает. Тоже борюсь с ним хтакцессом. Никто не знает что за зверь?

цитата
22/12/09 в 22:16

Alexandur
Baidu - известный китайский поисковик.

Почитай: http://www.baidu.com/search/spider.html -

цитата
22/12/09 в 22:24

Alexandur
---

цитата
22/12/09 в 22:37

Admaster
gimcnuk писал:

Baidu - известный китайский поисковик.
Почитай: http://www.baidu.com/search/spider.html -

Спасибо за ссылку, очень познавательно

цитата
23/12/09 в 11:25

artursn
а что делать с яндексом? тоже заглядывает? домена конечно в выдаче нет..но хиты бота есть.

цитата
23/12/09 в 16:25

Noobus Boobus
Majestic реально достал, такое ощущение, что он по нескольку раз прокликивает все тумбы. При том, что он считается как nocookie и шлется на контент, то есть внешка не страдает, все равно сервак грузится - неприятно.
Так что надо закрывать.

Вот только гложут меня сомнения относительно mod_rewrite, особенно в .htaccess. Сервак это грузит, неприятно. Лучше через SetEnvIfNoCase попробовать.

цитата
23/12/09 в 17:01

Stek
А не пробовали из документации на сайте использовать robots.txt ?
Код:

User-agent: MJ12bot
Disallow: /

цитата
23/12/09 в 17:18

Noobus Boobus
У меня ощущение, что он игнорит robots.

цитата
23/12/09 в 18:37

Alexandur
В документации написано, что разные твари любят прикидываться мажестиком.
Но, наверно, стоит начать с роботс.тхт

цитата
24/12/09 в 15:53

Noobus Boobus
Ну это верно %)

Новая тема Ответить

Эта страница в полной версии