Новая тема   Ответить

 wMaster
Phoenix66 писал:
тоже очень интересно ...создается такое впечатления, что треть инета засрано ботами невесть кем пускаемые.

ЗЫ. Хотел тоже попробовать поработать с ппц, но этот топик напрочь отбил такое желание.

 EllGree
Madame писал:
Что-то меня насторожило, когда я прочел эту фразу, и только сейчас я понял что.
Допустим, что джапан настолько глуп и неопытен, что:
a) не прописал robots.txt для поисковых ботов
б) не поставил noindex META-тэг
в) не перенаправил поисковый бот на раскручиваемый ресурс (или просто выдал нужный контент),
но как же могло произойти, что таких "серферов" как "Гугль-бот, версия 1.1" система пропустила (хотя для того, чтобы его отбить не нужно никакой "системы" вообще, достаточно простейшей строчки в конфиге http-сервера, либо одной строки с regexp в скрипте), и появились они в "графиках трафика" спустя столько времени?
ИМХО, Мадам, вам морочат голову.

 keosia
Vad писал:

выглядит правильно, но проблема в том, что серфер уже был признан системой гуд. а потом, в конце дня еще раз. а потом, перед выплатой... ну а к тому времени мой серфер уже давно умер.
возможно, что все эти проблемы только у CWS, а не ППЦ вообще, не в курсе, других не пробовал

 leo1
Похоже что ппц (в том виде что оно есть сейчас) доживает свои последние месяцы. Хотя это и неудивительно.

 Vaio


угу, доживает.. вот microsoft тоже так считает

по поводу обсуждаемой ситуации - чего бы CWS chargeback за этих ботов не сделать и выплатить оставшуюся сумму jAPAN-у за его траффик.

 Paula
EllGree писал:

Хотелось бы уточнить, что именно мы имеем в виду, когда говорим о ботах на СЕ траффе. На гугле и яхе много ботов. Мы принимаем поисковый трафф давно и в больших количествах и имели возможность рассмотреть его со всех возможных сторон. На поисковиках присутствует очень высокий процент ботов. Речь идет не о поисковых ботах . Откуда они там, и что они там делают никто не знает, но они там присутствуют. Причем большинство этих ботов спокойно обходят джава-скрипт и другую подобную защиту.Проблема эта возникла не сегодня, она стоит давно, и большинство наших вебмастеров о ней знают.

Первая страница поисковиков – это единственное место, где количество нормального траффика значительно превышает количество ботов. Дальше же первой страницы заходит только 2-3% серферов, все остальное – боты. Соответственно, начиная со второй страницы с поисковиков идет трафф, более чем на 95% ботовый. Это и есть те боты, о которых идет речь. И не так-то просто узнать, честный ли это вебмастер, у которого идут подобные боты, или настоящий читер. Однако, в обоих случаях, траффик этот читерский и неполноценный.

 Vad
Paula

Я вот нифига не понимаю, о каких ботах вы говорите.
Бот, обходящий защиты на JS, принимающий и отдающий куку и имеющий при этом уникальный непроксевый IP - это может быть только трояненый браузер.
Только кто мне объяснит, какой смысл такого бота пускать кликать на SE на всё подряд? Да и на страницу запроса как он попадет?
Какой смысл генерить такие запросы на трояненой машине? Имхо можно только редиректить часть кликов с SE, но при таком раскладе этот траф вполне себе остается СЕшным и вполне полноценным.
Больше никаких таких чудесных ботов быть не может имхо. Смысла не вижу. Даже если какое-то адваре таким способом собирает какую-то статистику, то уж кликать на все подряд и прокачивать тонны трафа через трояненую тачку по-тихому никто не будет. Смысла нет.
Таких ботов разве что на сиджеи отправлять. Если такие боты и есть, то в единичных экземплярах и их владельцы давно миллионеры.
И уж точно если у вебмастера есть такой бот, то он вас накрутит поболее чем на $400 за 4 месяца. А если это бот не его, а чужой, то как у этого бота мог оказаться ID вебмастера?
В общем мутная история. Хрен вас поймешь, кого вы считаете ботом?
Серфера, ответившего "нет" на вопрос: "есть ли у вас кредитка?"

 Xrenoder
arachnO писал:

Хм. Ты наверное не понял мою мысль.
У нас решение о бане принимается не по "плохим кликам". У нас есть акки, процент "бэдов" у которых достигает 80 - и никаких проблем: мы делаем им трафикбэк (алаверды Pheonix66), все нормально.
Все нормально до тех пор, пока система может отличать "живые клики" от "ботовых".
Но ты же прекрасно знаешь, что есть способы сгенерить клик, который чисто техническими средствами невозможно отличить от живого. Никак.
Тогда в дело вступают статистические методы, по которым и выявляется плохой траф. Но по ним можно только выявить, а не отсеять. Более того, по такому трафу невозможно сказать, какая часть кликов из него живая, а какая - ботовая. Только на уровне "много/мало". Поэтому вариант в случае "много" только один - банить акк.
Обнародовать статистический метод, по которому ты сам можешь проверять этот факт я не могу: иначе я тут же лишусь этого метода. Да и не сработает он у тебя, поскольку при анализе используется сравнение с общей картиной, которой у тебя нет.

Поэтому резюме только одно - слать траф без "хитрых ботов" либо с их минимальным количеством, чтобы они не могли дать статистическое отклонение. "Нехитрые боты" проблем не создают, хоть их 99% будет (опять же, я говорю конкретно про нашу систему, не знаю как у Мадам сейчас с этим).
Больше никаких методов защиты не существует, методов чистки тоже.

 Xrenoder
Phoenix66 писал:

Ты не прав на самом деле, в части про "мифические боты".
Ты занимаешься сиджами? Ты должен знать, какой процент от общего трафа составляют боты и сколько из них заточено под то, чтобы накрутить именно твой сидж. Если ты не понимаешь смысла в кликах оставшейся части ботов - это не значит что их нет и что смысла в них нет.
Кроме того, сегодня, чтобы запустить бота, которого технически не отличишь по одному или нескольким кликам от живого серфера - вообще проблем нет, любой кто этой темой интересуется, подтвердит.
В третьих, самое интересное что. Я как владелец ППЦ реально НЕ ЗНАЮ - "хитрые боты" в твоем трафе это случайность или это замысел.
По моей статистике (основаной на разговоре с владельцами забаненых мной акков) получается что более половины из них являются сознательными читерами. Т.е. сознательно наебывают, чтобы получить деньги. И чего делать мне? Я вижу только один выход, единообразный: проблема "хитрых ботов" в трафе - это не моя проблема, а проблема того, кто мне траф присылает. Вне зависимости от того, сознательно он это делает или нет.

Про трафикбэк - см мой предыдущий пост, я там исчерпывающий ответ дал.

 Xrenoder
Vad писал:

Vad, повторю тебе то, что сказал Фениксу: такие боты есть, и если ты не понимаешь их смысла, не означает, что их нет.
Ну просто есть они, как объективная реальность не изучал, правда зависимость их количества от страницы выдачи, честно говоря информация, озвученая Paula для меня новость. Но есть они.
И тот же гоклик это подтверждает косвенно, баня периодически акки с чистым СЕ трафом, который по идее должен быть золотым.

 keosia
Xrenoder писал:

это все очень интересно, но мы тут все еще пытаемся добиться ответов на вопросы именно от cws, а у них нет почему-то ответов. самые интересные данные проскакивают от людей конкурирующих компаний. у тебя например четкие критерии, ты объяснил и про ботов и про проценты на примерах. а рассказы мадам про гугльбота вер. 1.1.. хм, ну право слово, чушь какая-то. и это еще после того, как в статистике cws срезаются боты по прошествии суток. если там срезаются боты, то остаются что - суперботы что-ли?
буказоид заметил кстати, что "А по теме - ну ведь трафик с гугла как раз доказывается достаточно легко. Если траф можно нагенерить, то позиции в выдаче гугла - ой вряд ли". хотели бы они разобраться на самом деле - спросили бы меня приватно, я бы показал мои места в выдаче. было бы желание разобраться

 Kapon
Оффтопик:
- вы видите бота?
- нет
- а он есть!


з.ы. Хренодеру респект. оч много интересного для себя почерпнул

 EllGree
Начал было отвечать, но теперь сижу в растерянности - я только что осознал, что я -- бот. Откуда я здесь, и что делаю - практически никто не знает, но я точно знаю, что JS у меня работает, куки отдаю, а в настройках гугля у меня стоит в выдаче сотня (а первая страница, это сколько?).
Ладно, вопрос-то мой был не о страшных стелс-ботах со встроенным AI, а о том, откуда в графиках, которые смотрела Мадам взялись Гугльбот в.1.1 и иже с ними. Так откуда?

Да и еще никак не могу взять в толк, каким образом вы советуете вебмастерам чистить свой траф от этих самых ботов, если ничем их не возьмешь?
А если ничем не возьмешь, то как понять, что это именно бот?
Я понимаю, грубо, если мы возьмем пару десятков параметров от стат.данных, проставим им веса и порог девиации, то мы сможем оценить обобщенно некое "качество" трафа, и тут (как я себе представляю) ваша задача либо выдать рекомендации вебмастеру (это вполне возможно, если вебмастер покажет вам свои ресурсы), либо рассчитаться и закрыть акк. А не бросаться словами "читер" и "боты" (что, собсно, и декларировала Мадам, когда рекламировала свою систему и свой подход).

 De$igner
Оффтопик: Внимательно читаю каждую мессагу в этом топике.
Давно приглядываюсь к СЕ бизу и ППС, и по информативности этот топик порвал все статьи которые я прочёл до сего момента.
Кое-что даже законспектировал :-)
Респект.

 Phoenix66
jAPAN писал:

Я эту мысль еще два месяца назад высказал, причем точно такими же словами. Если нет четких правил - это не бизнес, а, извиняюсь за невольный каламбур, полная порнография.

В сухом же остатке по моему личному анализу имеем следующее -

1. адалт траффик выгоднее отсортировать по нишам через банальные линки типа Mature Porn, Teen Porn и т.д. и продать по $3-$5 за 1К - выйдет больше и не надо париться что кто-то что-то забанит. Правда, чтобы продавать нужно иметь его много.

2. неадалт траффик можно лить например на гугл адвордс, который по словам тех кто его юзает в данный момент дает больше чем любая ППС, причем намного больше. С дорами правда эта тема так просто в лоб работать не будет.

Вывод - у кого траффика много скорее всего скоро перестанут работать с ППС при таких раскладах, тем же у кого траффика мало деваться некуда.

 Phoenix66
Еще раз насчет ботов. Да, я занимаюсь сиджами и сам пишу скрипты для них, в том числе и защиты от накруток. И считаю что страхи про ботов, которых типа просто чуть ли не 50% на сиджах - это сказки. Просто половина скриптов не имеют элементарных защит от накрутки, которые пишутся в 3 строки. Вот их и крутят. Причем крутят в большинстве случаев совершенно тупыми методами, которые и ботами то называть нельзя. Да, можно конечно сказать что есть боты, которые парсят JS и поддерживают куки (второе вообще элементарно делается) и ходят через троянные прокси. Но никто меня не убедит в том, что они еще и видят что на тумбах нарисовано и кликают именно на тех, что и реальные юзеры, при том что расположение тумб имеет частично рандомный характер, а не четкое расположение по убыванию.


Про СЕ могу сказать что там по выдаче и соответственно сайтам которые выдаются шариться куча ботов которые собирают инфу в целях СЕ спама же, т.е. эти боты спаммерами же и писаны как правило. Однако парсить JS им ну совершенно без понтов в большинстве случаев, а тем более имитировать клики через троянные прокси - они работают через обычные публичные прокси, которые денег не стоят, в отличие от троянных соксов. Реально я конечно могу поверить что есть боты смысла которых я не понимаю, но только после того как мне хотя бы одного покажут. А то пока что получается как тут только что остроумно написали "видишь бот? нет. - а он есть". Т.е. вроде как есть куча (реально куча причем, а не 5-10%) ботов, но никто кроме владельцев ППС их не видел.

 TM
Privet. Pishet admin coolwebsearcha. Srazu prosu prostit' menia za translit, tak kak tak mne prosche pisat'.

Ia hotel by nemnogo raziasnit' situatsiiu s botami. Vo pervyh pro to chto madam skazala pro "googlebot 1.1" ili kak tam bylo, eto razumeetsia byla shutka i sarkazm, nadeius' eto ponial ne tol'ko ia Imelis' v vidu te boty kotorye polzaiut po googlu i yahoo. Otkuda oni, kak skazala Paula, nikto ne znaet, no oni est', eto fact. My sami ochen' dolgo udivlialis' otkuda eti boty na google, i chto oni tam zabyli, no fakt ostaetsia faktom - esli u webmastera plohoj ranking na google, i ego sity na 2-3 stranitse resultatov, to bol'she 90% vsego traffica, eto boty. Pochemu? Da po tomu chto maximum 5% vseh surferov zahodiat dal'she pervoj stranitsy. A vot botam, eto pofig, oni i do 100j mogut dojti, i proklikat' na vse linki.
Ili eto kakie-to osoboye spidery, ili avto-downloadery, ili super iskalki-spidery, kotorye rabotaiut na kompah userov, ne znaiu, no oni EST'.

Tak chto v otvet na vopros "chto eto za boty na SE, i zachem im eto nado?", ia otvetit' ne mogu. My sami golovu nad etim lomaem. Prosto sovershenno poniatia ne imeiu, no eto vse ravno tak, eto znaet kazhdyj kto kogda-to rabotal s podobnym trafficom. Esli u vas takoj traffic, i hochestsia poexperemintirovat', postav'te u sebia na stranitse kuda idet etot "google" traffic neskol'ko nevidimyh linkov, i vy srazu pojmete o chem ia govoriu

Teper', kak my opredeliaem chelovek eto ili bot? Ochen' prosto. My statisticheski proanalizirovali milliony hitov, i opredelili kak vedet sebia srednij chelovek. Raz v 15 dnej, pered vyplatami (etot process zanimaet kak minimum 8 chasov) my zapuskaem proverku vsego traffica i sravnivaem ego so srednim. Esli bol'shinstvo traffica webmastera SIL'NO otlichaetsia ot srednego, znachit ego traffic ne sovsem normal'nyj. My analiziruem vse parametry, a ih neskol'ko soten, posle chego reshaem sluchajnost' eto ili net, boty eto ili net, itd. Eto pervyj uroven' testov. Esli my nashli na etom etape affiliatov kotorye ne proshli testy, to my zapuskaem bolee uglublennye testy, vplod' do ruchnogo rassmotrenia vseh klikov nashimi spetsialistami, dlia togo chtoby tochno ubeditsia chto eto byla ne oshibka, i traffic dejstvitel'no plohoj. Esli nam ne sovsem poniatno, to my platim za traffic, dazhe esli nam ne zaplatili sponosory za nego, a chargebaki, kstati, prihodiat dovol'no chasto. Ne platim za traffic tol'ko esli on nu prosto OCHEN' plohoj, i ne vhodit ne v kakie ramki. Traffic Japana okazalsia imenno takim.


Chto my delaem posle togo kak my opredeliaem chto u cheloveka boty?
My s nim govorim, i pytaemsia poniat' sam li on chtit, ili eto te neponiatnye boty kotorye hren znaet otkuda berutsia. Ochen' chasto liudi sami soznaiutsia chto chitiat. K primeru nedavno odin priznalsia chto slal 20% botov chtoby "razmyt" traffic. Drugoj, kotoryj tozhe priznalsia chto u nego 100% botov, sporosil kakaia nam raznitsia, ved' nam vse ravno platiat', i eto nastoiaschij traffic, ne vazhno chto eto bot ;)
Est' i drugie liudi, kotorye ne znali nichego ob etih botoh, i byli ochen' udivleny. Mnogie iz nih pokupaiut traffic u drugih, i te shliut im boty. U nekotoryh, kak u Japana, esli to chto on govorit - pravda, SE traffic, no s plohih pozitsyj, kuda surfer VOOBSCHE ne zahodit, a zahodiat tol'ko boty. Kak vidite, prichin etomu mnogo, no konehcnyj resultat odin - plohoj traffic.

Nekotorye govorili chto eto nasha rabota govorit' webmasteram kak ochistit' ih traffic. Ia ne sovsem uveren chto eto tak. Ved' rabota webmastera v tom chtoby slat' NAM horoshij traffic, a ne naoborot. Vo vsiakom sluchae, poka vse PPC rabotaiut podobnym obrazom, sporsite i goclicka Kstati, s findwhat esche huzhe, oni prosto naprosto blokiruiut domainy kotorye im ne nraviatsia i nichego ne govoriat. My shlem im kliki i platim webmasteram za traffic kotoryj oni prosto ne zaschityvaiut (hotia shliut svoim advertam vse ravno). Prihoditsia u nih sprashiva' postoianno kakie domainy oni zabanili i potom samim ih blokirovat' ot findwhata. Hotite li vy chtoby my postupali tak-zhe?

A kstati, naschet togo chto madam skazala skol'ko deneg zarabotal Japan. Eto byl pervyj raz za vsiu istoriiu CWS kogda my vydali podobnuiu informatsiiu ne vladel'tsu accounta, i po moemu eto bylo sovershenno pravil'no. On sam eto vybral kogda nachal podobnye razborki na forume. My dolzhny byli hotia by obiasnit' situatsiiu, i pravdu, a eto nevozmozhno sdelat' esli Japan govorit pro "bol'shuiu summu deneg", i ne govorit chto eto za summa. Ne sovsem horosho poluchaetsia, ved' mogli by i podumat' chto eto $50k, ili bol'she, ne tak li? Ia uveren, chto tak mnogie i podumali, kstati. Nado vse govorit' s nachala i do kontsa, Japan, esli ty reshil obviniat' nas v "chiterstve". Ia dumaiu chto v podobnoj situatsii u nas bylo polnoe moral'noe pravo kak minimum pokazat' to kolichestvo deneg o kotorom idet rech'. Kstati, eto sovershenno nichego ne govorit o ego zarabotkah, vpolne vozmozhno chto on poslal nam vsego 1% svoego traffica. Rech' byla o konkretnoj summe denej, i ni o chem bol'she, ia ne dumaiu chto ego konfidentsial'nost' zdes' postradala, no nasha reputatsiia mogla postradat' sil'no, esli by my molchali i pozvolili emu oblivat' nas griaz'iu. Prichem ia ne dumaiu chto on eto delal spetsial'no, ili po tomu chto plohoj chelovek. Prosto slozhilas' takaia situatsiia, iz za otpuskov, i tomu podobnyh veschej. Japan ne sovsem ponial chto proishodit, i reshil chto my chitery. Ia ego ponimaiu. Takie veschi dovol'no chasto proishodiat, i melochi pererostaiut v mirovye vojny

Kstati, smeiu napomnit' chto leto esche ne konchilos'

Proshu proschenia za stol' dlinnuiu messagu

TM,
CWS Admin

 Xrenoder
Phoenix66 писал:

Правильно, но теперь вернемся к нашей теме - мы ведем речь про ППЦ, а не про сиджи. Поэтому, во-первых, там несколько сложнее некоторые методы защиты реализовать, именно в силу самой технологии ППЦ, а во вторых, то что ты говоришь о "не видят тумб" и "кликают по-другому" - это и есть приблизительный аналог статистических методов, которые мы используем.

А для того, чтобы увидеть этих ботов, которые проскакивают через технические фильтры - сделай свою ППЦ, привлеки туда адверов, и тогда ты их увидишь, чесслово.
И сам факт их наличия, точнее того, что кликают они не у дяди, а у тебя, будет для тебя волновать гораздо больше, чем общефилософские рассуждения об их смысле и о том, кому и нахрен они понадобились, я тебя уверяю.

Если у тебя есть сомнения, по-поводу того, вижу ли я ботов или какое-то другое явление, которое принимаю за ботов... ну тут я могу тебе предложить только поверить мне на слово, в том числе и такому тезису - если бы ты увидел то, что вижу я, перед тем как нажать кнопку бана, у тебя тоже не было бы ни малейшего сомнения в том что на эту кнопку надо жать немедленно.

Кроме того, разные системы технически ловят ботов разными способами. Кто-то лучше, кто-то хуже. В зависимости от этого, количество банов, основаных на статистических методах, может различаться. Вполне возможно, что те боты, которые проходят у Мадам в системе через технические фильтры, у нас бы были благополучно записаны в бэды, по ним бы был сделан трафикбэк и никаких проблем бы с ними не было. А может и нет.

 Phoenix66
Xrenoder писал:

Ты ведь сам прекрастно знаешь, как это делается. Если у человека хватило ума написать хитбот, полностью имитирующий реальный браузер с разных IP, у него хватит ума создать имитацию вашей выдачи, прикупить реального трафа и посмотреть как он себя ведет. Потом заложить эти параметры в хитбот. Замечу, что лично для меня анализ реального трафа и создание его имитации на основе вычисленных параметров было бы проще, чем писать парсинг JS.

Кстати, реальный трафик из разных источников кликает по разному - проверено на опыте.


Мой вопрос однако не об этом в общем-то был. Речь идет о том случае, когда человек заведомо не использует хитботы. Откуда беруться продвинутые боты, которые чтобы написать надо очень сильно попотеть в траффике у людей, которые не занимаются преднамеренной накруткой? Причем в большом количестве?

 Xrenoder
Phoenix66 писал:

Да в том-то и дело, что существуют гораздо более простые способы сейчас, не надо писать никаких особенно сложных хитботов, чтобы получить в итоге "идеальный хитбот".
Что же касается вопроса "зачем такое надо на СЕ" - есть у меня пара предположений, которые основаны на некоторых, в свою очередь, предположениях о том, на основании каких факторов тот же гугль поднимает-опускает сайты в выдаче. И если кто-то всерьез считает, что эти предположения оправданы - то вполне может натравить на гуглевскую выдачу этот самый "идеальный хитбот".

Знаешь, давай-ка закончим на этом обсуждение, конструктива тут уже не будет, а если продолжать дискуссию "по-взрослому", то топик можно будет переименовать в "Пособие начинающему читеру".

 Tmp
Привет всем Почитываю мастер уже некоторое время и так задел этот топик что решил зарегаться и написать. Сам понемногу работаю с ППС это моя неосновная тема, поднимаю в месяц 3-4 сотни енотов на сигареты. Поработал бы поплотнее но все сильно зыбко тут - то биды упадут, то адваровкий трафф запретят, то проблемы с качеством траффа. Дак вот про трафф и его качество - мой акк периодически хитботят, кому это надо я незнаю, злопыхателей у меня вроде нет сам тоже небалуюсь единственное подозрение что действительно дурные боты, или конкуренты кому бюджет сливают, но у меня постоянная параноя что акк прикроют. Уже несолько раз обращался к саппорту ППС показывая на подозрительные всплески траффа вроде разбирались, закрывали ботов, снимали с меня накрученые деньги и продолжали работать. Но ! Чую я что в определенный момент я несмогу доказать что я не верблюд. Дак вот вопрос к владельцам ППС ( Xrenoder'e и Мадам ), как бороться с некачественным траффом ? Вы выливаете минимум инфы наружу по этому поводу и потом предъявляете претензии адвертам. Xrenoder говорит что у них на стороне 13 степеней защиты, но нам та простым смертным это недоступно. Дайте нам инструменты и информацию и мы будем фильтровать плохой трафф на своей стороне.

p.s. У меня сейчас основной трафф редиректится через прописаный закодированым яваскриптом ифрэйм на чистый фид ( неизвестный поисковикам ), но на этом фиде все равно начинают появлятся боты, чьи они откуда и зачем я незнаю, но качестов траффа страдает

 Xrenoder
Уважаемый Tmp, плз перечитай внимательно топик еще раз.
Тут было как минимум дважды отвечено на твой вопрос.

 Norton [BT2 Money]
К слову, ППЦ хренодера крутят очень многие сейчас из-за легкости получить апрув и потом деньги, а вы говорите 13 степеней защиты бля бля бля...

 arachnO


гхм пойду за попкорном
начали с Мадам - закончили Хренодером

 Norton [BT2 Money]
arachnO писал:

все хороши