Новая тема   Ответить

 JasonX
какой у них алгоритм?

 Vyacheslav
Алгоритм простой в принципе. Как собственно и у всех остальных!

 ibiz
robots.txt
Код:

 Barkley
Стоит в .htaccess

BrowserMatchNoCase sogou bad_bot
BrowserMatchNoCase sosospider bad_bot
BrowserMatchNoCase Baiduspider bad_bot
BrowserMatchNoCase MJ12bot bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot

Тьфу-тьфу-тьфу, но больше проблем нет с Baidu и иже с ним....

 newuser76
Barkley писал:
шо уже?

 cdroller
алгоритм всех задрочить, чтоб все знали что есть такой ПС байду ) прогрессивный

ну а так вообще если не нужен то локни в htaccess, в конфиге апача или нгинкс, или фаерволлом если ипы его искать не влом ... как удобней ... лично мне он не мешает ни сколько, не чаще гугла подрочить приходит на мои сайты ...

 Lost
.

Последний раз редактировалось: Lost (15/05/15 в 15:05), всего редактировалось 2 раз(а)

 Crystal Scripts
По статистике обращений в наш саппорт примерно половине пользователей дописывание htaccess и robots не дали ничего. 100% результат даёт только бан 2-3 (обычно он приходит с 2-3) подсетей, с которых он приходит на сидж. Подсетей много, среди них далеко не только китай (хотя преобладает).

Цитата: Если бы он только приходил, он ещё кликает и кликает много, кликает исключительно по топам и портит статистику, а при трейде по ref в линке ещё и ауты на трейд уродует. Бот гугла кликает реже на пару порядков.

 JasonX
существенный вред наносит байду.. уже банил раньше, опять всплыл

 newuser76
Crystal Scripts писал:
в robots дописывание и не должно ничего давать, это просто как пожелание для поисковика, которому он следует по своему усмотрению.

с htaccess не совсем понятно, это безусловная команда для апача - тут разве адреса указывают неправильно.

 Crystal Scripts
Цитата:

Имелся ввиду тот код, который приведён тут в постах выше в robots и в htaccess, а не бан по IP. Вот эти письмена помогают фифти-фифти, а бан по IP помогает всегда.

 Crimean
Гдето тут была была ссылка на все китайские IP с байду в том числе, на том ресе даже с примером кода хтацесса было, спаманите кто знает подобные ресы плизз

 Crystal Scripts
Baidu - достал
http://www.useragentstring.com/Baiduspider_id_4086.php

 L.Estel
Crystal Scripts писал:

Да потому, что приведенный код, неверный.
Необходимо др переменные использовать.. Отсюда и косяки

Есть хорошая переменная HTTP_USER_AGENT. Все остальное от лукавого.

PS:Читать мат часть по апачу три раза.

 newuser76
L.Estel писал:
лукавого незнаю. HTTP_USER_AGENT. одно из и этим не решается

 L.Estel
У меня именно оно...
Никаких байду и в помине нет... Вообще забыл что это

 Eremite
У меня тоже оно - и тоже все это дерьмо исчезло

 ultimate
глюк

 Mоrgan
Народ, а никто не подскажет что за херня EC2LinkFinder? Заливает зараза 1н мой СЖ. Понятно можно через htaccess IPники забанить. Но хотелось бы сначала узнать что за херня.

 Austerlitz
Mоrgan писал:

Это какая-то хрень от Amazon [EC2 = Elastic Compute Cloud (Amazon)]. Имхо бань.

 Woland
Цитата: Смотрю выебать чё-то азиатское - это стаёт навязчивой идеей

 RiverVanRain
Бан B-С-сетей через .htaccess снял проблему раз и навсегда:
Цитата:
а про robots.txt пора уже забыть.. RIP ему

 RiverVanRain
А ..ну и для htaccess не забыть добавить:

Цитата:
...и далее по списку

+ очень актуально для забывчивых:
Цитата:

А то потом голову ломают: чет хтакцесс не пашет млин

 Mоrgan
EC2LinkFinder забанить через IP оказалось не просто. Каждый раз приходит пачка ботов с новым IP

 dimetrio
RiverVanRain писал:
это для чего?