Новая тема   Ответить

 Nux
Приветствую! Не буду делать долгое вступление т.к все уже сказано за меня тут - Гугл штормит? ...


Итак, анонсирую новую технологию в TubeRotator, какая станет доступной ветке beta с 11/07 (пятница) к этому времени у
вас будет время подготовить новые сайты и оформить их Назначение данной технологии - скрыть определенную
информацию от ботов гугла(аут трейдскрипта в ссылке) или в некоторых случаях показать то, что должен не должен
видеть пользователь сайта. Это можно называть и клоакингом.

активация:

В сеттингах появится две новые опции:

SEO BOT protector - собсно сама активация модуля
Chrome is BOT - при желании все браузеры на основе chrome будут относиться к ботам
* данный опционал будет расширен, например планируется добавить уровень качества определения на боты.




далее...
После активации в темлейтах вы увидите новые поля:


на примере это SUB_BOT, что есть темплейт субшаблона какой будет показываться только боту. Как видно на данном скрине ботам мы будем показывать тумбы в каких отсутствует трейдскрипт.

собсно тут для пользователей и вся магия.

... а на деле оно работает след образом:
1.простой механизм определения ботов.
- проверка по обновляемому ОФсписку БОТОВ всех известных поисковиков.

2.обмен данными с нашими базами.
- данный момент сложный и включает в себя сеть из тысяч сайтов( не только адалтных) с суммарным суточным трафиком в несколько М уников и огромным колвом хитов от поисковых машин. Все эти сайты обмениваются с нашими серверами информацией о действиях каждого хита. Далее каждый хит оценивается по большому количеству параметров и ему проставляется определенный статус. После активации SEO BOT protector ваш сайт станет участником нашей сети и будет получать информацию о свежих ИПах ботов,UA итп, все это будет происходить в фоне и вам как пользователю в это углубляться далеко не нужно, галочки вобщем достаточно . Учитывая большое колво трафика по какому мы проводим анализ, точность определения на БОТА очень высокая и главное надо понимать, что если какой то хит случайно считается как БОТ - страшного ничего не произойдет, он просто попадет на контент ( увидит нормальный SUB темплейт). Тут некоторый процент будет даже полезен!


По сути если сравнивать риски открытого в href аута трейдскрипта и новой технологии от TubeRotator, то мы сделали возможность БАНА довести до минимума. Более того в случаях с EMBED, ботам можно будет не показывать сам embed код оставляя при этом только тайтл. Это не даст идентифиировать сайт как основанный на EMBED и спрячет сами источники кодов а в комплексе с синонимайзером сделает сайт уникальным.

Я думаю это как раз то что многие ждали уже не один месяц, а использовать или нет вобщем то решается одной галочкой

 remm
очень замечательно что хоть один скрипт ротатора идет в ногу со временем )))

P.S. не пробовал этот скрипт, надо потестировать

 Evilin
хохо..
реально спасает?

 cj_zerg
.

 XZ
андроид из бот еще добавить нужно раз уж на то дело пошло

 svhc
от это дрочево яибал...

 ^Krot


Последний раз редактировалось: ^Krot (25/11/19 в 01:15), всего редактировалось 1 раз

 Remus
Попытка наебать гугл и очередной повод для бана сайта. Может конечно немного некоторое время работать, но это пороховая бочка с подожженным фитилем

Цитата:

Теперь на сайтах будет:
- автоматическ генерируемый текст (синонимайз и т.д.) - Pure spam, бан
- cloaking - Pure spam, бан
- заимствованный контент - Pure spam, бан

И почему гугл должен давать трафик таким сайтам???

 Nux
Remus: ну ответ в том что он более 10ти лет давал трафик таким сайтам,( я про CJ) только технология явно устарела и требует пересмотра. А сам трейд, есть по своей сути клоакинг, включающий в себя еще и ским, только вот он очень откровенный.

И потом я не призываю всех это использовать, просто включил(включаю) в скрипт такую возможность. Разьве это плохо для разнообразия ?


^Krot писал:
ага почти об этом я выше писал, он эти различия видит и в трейде, он четко видит, что один попал на трейд а другой на контент в условиях одного URL. и при том что поисковый бот, например в smartCJ видит только контент т.к у большинства там ским 100% на боты ...Думаю перенести, вынесу наверно UA в отдельный профайл для желающих.


...на данный момент этой темой заинтересовалось большое кол-во вебмастеров, это радует. Думаю если будет много пользователей - работа над новыми фичами данного тренда будет в ближ время основной.

 Skyworker
Nux писал: Нужно еще заметить, что одной из главных причин бана смарта в Гугле стала его массовость. Смотрите, чтобы ваш скрипт не ждали те же грабли.

 Nux
Skyworker писал:
- согласен, в этом плане TubeRotator малость ограничен в доступности и имеет готовые решения для своей маскировки.
ВАЖНАЯ информация пользователям TUBE Rotator

сейчас существуют сайты где даже я внешне не могу понять, что они работают на моем скрипте

 Nux
теперь добавить свои ИП в фильтр можно простыми действиями. Создаем в files файл bot_ips.txt и пишем туда ИПы какие скрипт будет относить к ботам и показывать темлейты _BOT, можно вносить и подсети
пример:

127.0.0.1
93.11.6.9
128.25.30
221.5
68


можете сюда внести и свой Ип чтобы видеть сайт глазами бота

 Nux
Обновления готовы .

покуда включу первой сотне доменов, тут как обычно - вы мне присылаете домены я их активирую для обновления на данный Ап в бетарелизе. Почта freeawm@gmail.com, ( скрипт должен быть уже установлен !!!)

всем ранее подключившимся тестерам выше описанного функционала еще раз огромное спасибо! Для ваших email количество доменов не будет ограниченно!

 Nux
Evilin писал:
сказать однозначно трудно , впервые я дал это на тесты еще в начале года и видел сайты взлетавшие до +500К только СЕ трафика.(Для многих это ответ на вопрос -что делают такие сайты в топе?). Сейчас многие из этих сайтов потеряли траф но причина думаю - стук, т.к мелкие(10-50К) живут без проблемно... если же суммарно смотреть динамику тестовых сайтов(включая все мелкие), то наблюдается ОЧЕНЬ значительный рост трафика, что и послужило точком опубликовать данную фичу для большего колва пользователей.

 Nux
лимит в сотню закончен, более новые домены не подключаю,неожиданно что большинство запросивших BOT_PROTECTOR - буржуи


* все "закоренелые" пользователи имеющие трафик 10К+ без проблем могут присылать домены на запрос, для вас я всегда открыт

 Nux
К данной теме
АП 0.8+

1.добавлены теги <--HIDDEN--><--END--> , все что в них заключено - ботам показываться не будет, например тут удобно прятать код ЭМБЕД,счетчики и рекламу при необходимости...

2. files/bot_user_agents.txt по аналогии с IP пишем сюда USER_AGENT какой должен детектироваться как ботовый , я только напомню, что делать это не обязательно т.к все стандартные наборы типа robot,bot,crawl итп уже прошиты в скрипте. Вы конечно можете строить свои комбинации на основе IP и user_agents

3.Теперь Бетаверсия включает в себя систему автообновления для быстрой коррекции возможных ошибок.

 Pashich
Nux писал:
Воткнул <--HIDDEN--><--END--> и сам тоже не вижу ничего-ни в хроме, ни в ИЕ... Где копать?
ЗЫ: ап заебца!

 Nux
Pashich:

если домены заапрувлены и опция активна то работать начинает после 1-2часа, до этого времени весь трафик включая и тебя будет считаться как ботовый

 Sunny_man
Напишите как успехи, вернулся траф?

 Nux
появилась новая документация
http://tuberotator.com/Downloads.php

 JM
Мужики нахуя так делать?
Верните совместимость с 5.2 пыхом!

Цитата:

 Nux
это единственный модуль ротатора какой требует обновления ПХП.. Но в чекер будет добавлена рекомендательная строка на обновление PHP до 5.3 .

 JM
Nux: А нахрена она нужна? 100% уверен что можно без нее обойтись

 Nux
последние изменения в версии BETa:
1.при активации ботпротектора появится в меню LOG , там визуально видно что есть бот/небот и прочие движения по сайту реалтайм
2.в сеттингах можно добавить "скрытый аут на сидж", т.е сделать так что бы контент был всегда прямыми ссылками


Скрытый out
В Settings->other->CJ script out:
пишем путь к ауту CJ скрипта от корня домена и передаем ему параметры.
Пример:
/out.php?p=60&url=<--CONTENT-->

где <--CONTENT--> обязательный тег, он подставит на аут именно тот путь какой был при клике и для пользователя CJ скрипт будет полностью не видимым. Т.е если клик попал под правила скима он уйдет в трейд если трейдскрипт его направит на контент — клик попадет именно на ту ссылку какую видел пользователь при клике.

Если вы используете не локальный контент а ссылки на FHG( галереи) то в данном случае нужно передать URL и сделать такую запись:
/out.php?p=60&url=<--URL-->


3.исправили последний баг определения ширины тумбы


По поводу ботпротектора
- наши буржуйские коллеги очень активно начали использовать это не для обмана ботов а для фильтрации трейда, т.к читерский траф фильтруется с очень большим % ... Вобще средние показатели ЧИТЕРСКОГО ботрафа на сайтах составляют около 70% , у некоторых я видел 400 и более%. Что касается самих ботов индексаторов то их трафик тут называть смысла нет,вот только наблюдал сайт где боты делают 15 заходов в секунду. ( сильно от наполнения,веса и прочих факторов зависит)

 Nux
спешу сообщить приятную новость! В ближайшее время Ботпротектор станет доступен независимо от TubeRotator . Если вы желаете это форсировать - плз примите участие в небольшом опросе
http://tuberotator.com/opros/