Master-X
Форум | Новости | Статьи
Главная » Форум » CJs » 
Тема: Задрал бот ftt2
цитата
22/01/12 в 00:10
 Goodwin_a
Проблема нарисовалась несколько месяцев назад и прогрессирует.
на моих ресах стоят CJ скрипты, котрые не используются массово.
меня все устраивало. до тех пор пока не обнаружил что с норефа идет большое кол-во ботов. портит статсу сильно.
начал смотреть - боты идут с трейдоров кто поставил ftt2. причем в очень большом кол-ве, у меня это по несколько K в день.

стоит там чекалка, которая как я понял периодически подгружает сайт и проверяет на наличие трейда. как я понимаю она стоит по дефолтным настройкам и люди даж не подозревают что она у них есть.

обратился к сапорту
мне предложили добавить в самом начале шаблона, до подключения ина скрипта сиджа такие строки на пхп:
if(strtoupper(substr($_SERVER['REQUEST_METHOD'], 0, 4))=='HEAD') exit();

посоветовался с людьми -нет уверености, что это никак не влияет на SE боты и на выдачу.
кто-нибудь может сказать со 100% уверностью может повредить эта строка или нет?
прошу совета что можно сделать кроме добавления этой строки?
зарание спасибо за ответы.
цитата
22/01/12 в 00:40
 L.Estel
Насчет HEAD - это дерзко...

Лучше так
if ( preg_match ('/FTT2/i', $_SERVER['HTTP_USER_AGENT'])) exit();

или через .htaccess
RewriteCond %{HTTP_USER_AGENT} FTT2 [NC]
RewriteRule ^$ null.html

И создать файл в корне null.html примерно такого содержания:
<html><boby>
<h1>POSLI NA HUY YOBANIE BOTI FTT</h1>
</body></html>


А вообще на картину трейда никак не вляет.
цитата
22/01/12 в 08:56
 awm_mark
такая же хрень с ботами кристала, подойдет-ли этот код ?
если да, то чем заменить /FTT2/i
с HTTP_USER_AGENT хз вобще что вписать icon_sad.gif
цитата
22/01/12 в 17:22
 ami
и этого
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) SCJchecker bot
цитата
22/01/12 в 18:27
 Stek
Просто посмотрите IP серваков откуда идет бот и забаньте эти IP нахрен.
цитата
22/01/12 в 18:30
 Babloman


хороший совет trollface.png
цитата
22/01/12 в 18:59
 Goodwin_a
Цитата:
Просто посмотрите IP серваков откуда идет бот и забаньте эти IP нахрен.

и тогда скрипт решит что ресы в дауне и трейд прекратится.
цитата
22/01/12 в 19:10
 Stek
Goodwin_a писал:
и тогда скрипт решит что ресы в дауне и трейд прекратится.

Ну отдавай любую страницу пустую. А сделать так что бы страницу отдать но и не отдать - нифига не получится.

Просто бота легче по IP отличить, чем по заголовкам , которые он может менять к тому.
цитата
22/01/12 в 20:06
 SAV
Stek писал:
Ну отдавай любую страницу пустую

тумбы для топлиста грабиться не будут
цитата
22/01/12 в 20:37
 xDiver
а не проще постучать овнеру сиджев откуда прут эти проверки и попросить отключить для конкретного твоего сайта проверку на живучесть?

Зачем банить то сразу ?
цитата
23/01/12 в 16:33
 Grach

действительно icon_smile.gif
цитата
23/01/12 в 21:56
 Goodwin_a
вообще было бы хорошо. чтоб создатели новых CJ скриптов и вообще скриптов в дефолтных настройкам отключали всевозможные "чекалки" или минимизировали. как я понял из общения с людьми, не все в курсе что есть такое и как отключить к примеру. да и всех обстукивать и просить отключить тож не вариант.
цитата
23/01/12 в 21:59
 Goodwin_a
вариант <?if ( preg_match ('/FTT2/i', $_SERVER['HTTP_USER_AGENT'])) exit();?>
похоже рабочий. проверяю один день правда - пока нормально все.
а вот про топы я не подумал, что некотрые могут грабить тумбы для топа. пока у меня таких трейдоров нету правда.
но на будущие. мужики кто знает php подскажите плиз как можно объеденить

<?if ( preg_match ('/FTT2/i', $_SERVER['HTTP_USER_AGENT'])) exit();?>
и
"Mozilla/5.0 (compatible; FTT2 Ping Bot; http://www.ftt2.com/)" бот, который проверяет сайт на доступность.
цитата
23/01/12 в 23:11
 L.Estel
Это уже объедененно..
Код выше грит скрипту - мля, сайт доступен

Минус - нет граба тумб.
Но это поправимо, нужно перед exit вставить код отдающий топовую тумбу.
типа
echo "<img src='/XXX/yyy.jpg' width=180 heigh=240 border=0>";
цитата
28/01/12 в 00:06
 Mоrgan
Давно уже баню ИПники с которых фтт2 боты лезут. На объем трафика никак не повлияло. Там где крупный трейд, люди начинают разбираться почему трейд стал и отключают эту фигню. На мелочь пох.
цитата
28/01/12 в 17:04
 Goodwin_a
L.Estel писал:
Это уже объедененно..
Код выше грит скрипту - мля, сайт доступен

Минус - нет граба тумб.
Но это поправимо, нужно перед exit вставить код отдающий топовую тумбу.
типа
echo "<img src='/XXX/yyy.jpg' width=180 heigh=240 border=0>";


ты меня не правильно понял наверное.

"Mozilla/5.0 (compatible; FTT2 Toplist Thumb Grabber; http://www.ftt2.com/)" - для грабба тумбы для топлиста
"Mozilla/5.0 (compatible; FTT2 Ping Bot; http://www.ftt2.com/)" для того бота, который проверяет сайт на доступность.

вот и хочу узнать как сделать чтоб бот для граба тумбов для топилиста отрабатывал полностью

вот так правильно будет?
<?if ( preg_match ('/FTT2 Ping Bot/i', $_SERVER['HTTP_USER_AGENT'])) exit();?>
цитата
28/01/12 в 17:13
 Stek
Не тем путем идете, плящите от IP.
К примеру такая конструкция в морде:
Код:

<?php
if ($_SERVER['REMOTE_ADDR'] != '127.0.0.1') { // тут ип сервера с ftt
  include_once('/cj/in.php'); // ваша кострукция расчета IN у сиджа
}
?>


В результате ftt и морду увидит и в трейд не попадет.
цитата
28/01/12 в 17:22
 Goodwin_a
почему не тем объясни? чем по юзер агенту плохо? + IP может быть несколько.
цитата
28/01/12 в 17:44
 Stek
Сервер внаружку как правило выходит с одного ip.
Юзер агент меняется влегкую, как и реферер. При этом возможность их смены обычно зашита в скрипты по умолчанию. Иначе это не проверка - а издевательство, типа "здравствуйте, я проверяющий бот, дайте мне данные".


Эта страница в полной версии