Master-X
Форум | Новости | Статьи
Главная » Форум » CJs » 
Тема: Как избавиться от baiduspider'a
цитата
23/08/10 в 01:13
 Starforce
сабж, заебал, ходит в сутки неимоверное количество раз, по всему нетворку, сначала на одном сидже ходил, думал походит да бросит, теперь ходит по всем

интересны все возможные способы, так как какой либо может не работать именно у меня
цитата
23/08/10 в 01:27
 FTS
.htaccess

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule .* - [F]
цитата
23/08/10 в 02:03
 AlexxLion
Тут обсуждалось довольно живо - Baiduspider засрал сиджи
мне помог совет с robots.txt icon_wink.gif
цитата
23/08/10 в 04:54
 Next
+1 за robots.txt с кодом
User-agent: Baiduspider
Disallow: /
цитата
23/08/10 в 05:29
 FTS
Народ пишет что robots.txt от baiduspider'a не спасает...
цитата
23/08/10 в 09:24
 Starforce
лично у меня robots.txt не помогает избавиться от него
цитата
23/08/10 в 12:47
 Emperor
Starforce писал:
интересны все возможные способы, так как какой либо может не работать именно у меня


у меня такой вариант работает:


BrowserMatchNoCase Twiceler bad_bot
BrowserMatchNoCase Baiduspider bad_bot
BrowserMatchNoCase MJ12bot bad_bot
Order Deny,Allow
Deny from env=bad_bot
цитата
23/08/10 в 14:17
 raider
Emperor писал:
у меня такой вариант работает:

BrowserMatchNoCase Twiceler bad_bot
BrowserMatchNoCase Baiduspider bad_bot
BrowserMatchNoCase MJ12bot bad_bot
Order Deny,Allow
Deny from env=bad_bot

это в htacccess ?
цитата
23/08/10 в 16:52
 Emperor
raider писал:
это в htacccess ?


угу, именно туда.


Эта страница в полной версии