Master-X
Форум | Новости | Статьи
Главная » Форум » CJs » 
Тема: Baiduspider засрал сиджи
цитата
01/05/10 в 23:56
 Рыжая
я не могу с этим справится,
в хтаксессе забанила по ИП - целая простыня.
Baiduspider без кукисов и с китайским системным языком - в самом сидже забанила по этим параметрам.
Пометила не учитывать как траф если приходит с трейдеров.

Он все равно есть и сиджи колбасит как никогда.
Baiduspider накликивает нереальную проду, и видимо кликает у трейдеров. Цифры - писец.

Уже не знаю что делать,
Как правильно в хтаксесс прописать чтоб его забанить не по списку ИП?
И что еще можно сделать?
цитата
02/05/10 в 00:05
 x123p
Погуглил и нашёл что Baidu слушается robots.txt. Поэтому чтобы избавиться от него достаточно создать в корне домена файл robots.txt и поместить следующий код туда:
Код:
User-agent: Baiduspider
Disallow: /


Также пишут что вот это IP байду: 119.63.192.0 - 119.63.199.255.

А какие IP тебя достают?
цитата
02/05/10 в 00:11
 steep
у меня, на хосте стоит специальный модуль, от узкоглазых спиногрызов. И загоняется в банлист. если интересно узнаю, у админа подробней.
цитата
02/05/10 в 00:16
 Рыжая


спаситель icon_wink.gif узнай пожалуйста.
Я пока сделаю то что xp-ViT написал, посмотрим

Baiduspider у меня несколлькими сетками идет.
и единичными ИПами почему то.
цитата
02/05/10 в 00:21
 Alex AWM
Код:
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider
RewriteRule ^.*$ http://google.com/ [R]

в .htaccess посылает китайскую байду индексировать гугла.
Отсутстиве китайского SE трафа мне вроде как пофиг ;)
цитата
02/05/10 в 03:47
 LEO
Тоже баню регулярно китайский поисковик,задрали они уже,сетка ип одинаковая всегда(класс С)
цитата
02/05/10 в 11:32
 mickey
лучше глобально его забанить по юзерагенту
цитата
02/05/10 в 16:29
 Ronald Wild
steep писал:
от узкоглазых спиногрызов.
Понравилось высказывание, вмемориз smail54.gif icon_smile.gif

sawm писал:
лучше глобально его забанить по юзерагенту
А ты уверен, что у байды всегда один и тот-же юзерагент?

Меня лично (тьфу*3) эта проблема не беспокоит, но если бы коснулось,я применил-бы разом все описанные в топике способы убийства спиногрызов icon_mrgreen.gif

Оффтопик: Кстати, вот почему так все плохо с монетизацией китайского трафика? Я просто не знаю про желтых толком ничего,потому и спрашиваю. Ладно у них там карточек может не быть, но раз компы есть (в инет заходят ведь с чего-то? smail101.gif ), то и телефоны должны быть, значит через смс платить могут. Или менталитет у них не позволяет, дрочат на туры платников? Я серьезно, не знаю, может кто работает с таким трафом, поделитесь идеями, если это не мегаэксклюзив, конечно
цитата
02/05/10 в 20:36
 Рыжая
1. в китае борятся с порнографией, даже стучат. Многое закрыто гос фаерволом icon_cool.gif

2. их карты не проходят в нормальных банках.

3. цены для них высокие.


Кстати помогло это:
Код:
User-agent: Baiduspider
Disallow: /
цитата
02/05/10 в 22:24
 $okolM
как бы добавиться в гос.фаерволл ? как бы стукнуть самому на себя ?
цитата
03/05/10 в 00:25
 Рыжая


мудро smail101.gif
цитата
03/05/10 в 01:17
 x123p
Рыжая: Рад что помогло. Обращайтесь ещё за помощью. icon_cool.gif
цитата
03/05/10 в 10:27
 Ronald Wild
Рыжая писал:
1. в китае борятся с порнографией, даже стучат. Многое закрыто гос фаерволом icon_cool.gif
У меня тоже кавказцентр закрыт на уровне прова, что никак не мешает мне туда заходить icon_mrgreen.gif
Цитата:
2. их карты не проходят в нормальных банках.
Не проблема купить предоплаченную карту.
Цитата:
3. цены для них высокие.
Пожалуй, единственная серьезная причина.
А что, китайский трафик вообще совсем никак не конвертится, или есть хоть какое-то ратио, отличное от 0, хотя-бы 1:100000? icon_mrgreen.gif
У меня просто никогда не было китайцев в ощутимых количествах(тьфу-тьфу-тьфу smail101.gif), поэтому не знаю.
цитата
03/05/10 в 10:53
 loksa
у китайцев есть ещё пара сёрч ботов, sogou и sosospider

можно конечно надеяться на роботс.тхт, но лучше перестраховаться.
в хтакцес

Код:
SetEnvIfNoCase User-Agent ^Baiduspider bad_bot
SetEnvIfNoCase User-Agent ^sogou bad_bot
SetEnvIfNoCase User-Agent ^sosospider bad_bot
<Files *>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Files>
цитата
03/05/10 в 11:07
 deSilva
Надежнее всего в этом случае в фаервол сетку этого поисковика добавить и забыть про него.
цитата
03/05/10 в 11:25
 Рыжая
Ronald Wild: периодически на форуме возникают покупатели.
и появляется надежа что кто то нашел способ и скупает траф, но это очень быстро заканчивается.

единственный плюс - за это время можно продать немного этого мусора.
больше никакой прибыли не обнаружено icon_cool.gif
цитата
04/05/10 в 00:20
 steep
Вроде бы Вы, уже все решили, славбогу!
вот, разузнал, у меня на хосте стоит фаервол. и суппорт, периодически, когда меня хотлинковали, эти спиногрызы, кидал в бан лист.
но отдельно, на сколько понял, они скрипт не сетапят, это в комплекте с хостом, как бонус, если что подскажу направление, ну как то так =)
цитата
04/05/10 в 10:25
 Рыжая
steep: спасибо. запомню, если что.
цитата
04/05/10 в 13:40
 Lazy Lion
а как узнать про firewall?
только саппорт мучать?
цитата
04/05/10 в 13:58
 $okolM

вообще есть man & rtfm, есть куча сайтов про опенсорцовый софт. но саппорт мучать интерестней, да. smail101.gif


Эта страница в полной версии