Новая тема   Ответить

 sAx
duke1999 писал: Эх, если бы все так просто... ;) Ответ сервера идет 200, но ресурс подсовывается другой.

 Stek
Ну скажем с редиректом все таки можно боротся

1. стучимся по очереди к нашим редикт хостам с просьбой убрать редирект. Насколько понимаю народ договаривается. Первая и наисложнейшая задача решена

2. При приеме страниц берем хедеры last-modifed и content-length. Нормальные серваки выдают такие заголовки для статики. Криво настроенные серваки идут далеко далеко, постеров с нормальными серваками так же много. Далее пишем эти значения в базу.

3. Берем контент страницы и заворачиваем его в md5(). Любители могут вытащить картинки и так же обернуть такой конфеткой. Данные пишем в базу.

4. Пускаем робота каждые n минут, которые выполныет пункты 2 и 3, но только с разницей, что не пишет в базу, а сравнивает полученные значения с данными из базы. Если они изменились ... то тут все ясно.

Проблема пока одна - клоакинг. И обхода ее пока не вижу. Даже использование проксей, тоже не выход. Так что подкованные редиретчики со своим софтом пока имеют преимущество. Поэтому смотрим пункт 1

P.S. интересно, а с партнерского сабмита еще не редиректят ?

 DED
2. При приеме страниц берем хедеры last-modifed и content-length. Нормальные серваки выдают такие заголовки для статики. Криво настроенные серваки идут далеко далеко, постеров с нормальными серваками так же много. Далее пишем эти значения в базу.

пишем в базу просто сумму всех байт хтмля :) ето достаточно.


3. Берем контент страницы и заворачиваем его в md5(). Любители могут вытащить картинки и так же обернуть такой конфеткой. Данные пишем в базу.
ну ето наверное сдтшеом круто будет :)

4. Пускаем робота каждые n минут, которые выполныет пункты 2 и 3, но только с разницей, что не пишет в базу, а сравнивает полученные значения с данными из базы. Если они изменились ... то тут все ясно.

робот прикидывается то корейцем то папуасом и ходит через разнве IP :)



Проблема пока одна - клоакинг. И обхода ее пока не вижу. Даже использование проксей, тоже не выход. Так что подкованные редиретчики со своим софтом пока имеют преимущество. Поэтому смотрим пункт 1

клоакинг сосёт :)

Последний раз редактировалось: DED (21/02/03 в 13:37), всего редактировалось 1 раз

 Stek
Да не, разные ип - это не дело. Прокси могут умирать, можно с них не редиректить, да и вообще, все равно можно более менее определить где сурферы, а где бот со своими ип. Так что клоакинг тут все равно рулит
Вообще темка интересная, есть над чем подумать

 DED

старик дай URL гдее ты пишеш лог. я пошлю тебе 100 хтров. 50 из них будуь реальные серферы но и соотсвенно 50 bot.
не думаю что ты будеш в состоянии определить кто есть кто :)

клоакинг это просто громкое слово :) так или иначе этот скрипт не получаeт инфо больше чем содержиться в хедере запроса :)

>Прокси могут умирать
кто сказал что надо пользоваться статическим листом :)?
я имею динамический лист :)

 Slava
->Ded
у тебя бот неправ, он похоже в блеклисты кидает ориентируясь на фазы Луны. Смотрю мои домены, про которые я уже точно знаю, что нередирект, попали в блеклисты.

 kodek

Same here ;-)

 DED
Slava писал:

у него иногда едет крыша :)
но думаю это происходтиь если домен по каким то приченам не пропускает прокси. там наверное заблеклисчен за порнографию 8))

 Vad
А что мешает отдавать галеру всем проксям?
редиректа будет меньше, но надежность выше.
кстати многие так и делают - все прокси получают галеру

 DED

существуют прокси полностью ананимные. т.е. их не так то и просто определить :)

 Vad
их и найти не просто
я имею ввиду те, что в хедере никаких заголовков, присущих проксям не посылают

 Desperate Andy
Ded писал:


Ага, их еще называют "элитные" прокси... Они себя не показывают как прокси в соответствующих строчках при проверке...

 DED
Vad писал:
интернет велик :)

 bober
Ded писал:

угу есть еще диалапные прокси на нестандартных портах которые никак не определишь прокси это или нет.

 first
duke1999 писал:

ага
так и ест
302 на redirect
Но самии первии redirect hост zfreehost.com (привет Денис)
Редиреkтил по 404 при клике на тhumbs

Sorry za oshibki
cherez perevodchik pisal!

 CPAK
Товарищи влдельцы, так вы ведь сами толкаете человека на чит, например человек который пришел в адалт, не может позволить себе постить с платного хостинга , покупать контент , покупать домен, а даже если может вложить какую то начальную сумму, то врядли это себя окупит трафф который вы даете ,
это ваши пресловутые букмаркщики, которые каждый день лазят по вашим сайтам выстроенным на труде других людей которые делают эти галлеры и которых вы не уважаете, эти юзеры видят тоннами контент и поэтому покупать ничего не собираются, им даже уже лень нажать что записаться на фри триал.
Вы даже сами не осознаете как роете себе яму, в скором будушем вы просто будете платить за трафф с таким подходом,
И нечего заглядывать в рот к хану, мол он в бизнесс приносит кучу денег , это он к себе в карман их приносит. ( что весьма похвально)

Скажу чесно качество вашего траффа не соответствует затратам которые вы требуете от постера, поэтому редирект был и будет пока вы не повернетесь в сторону людей которые работают, а не которые лазят по фри сайтам чтобы подрочить!

 clever
СРАК, ты говоришь, что букмарщики ТГП ничего не покупают. Тогда объясни, как Хан зарабатывает деньги (по некоторым сведениям $60.000 в мес.), если букмарщики ничего не покупают? Почему профи-постеры годами занимаются галерами, если букмарщики ничего не покупают? Почему спонсоры дают хост под галеры, если это не выгодно? Ты противоречишь элементарным истинам. Сходи на GFY и спроси народ, там много постеров, сколько они имеют. Там часто пишут, в среднем не менее $1000 в мес. Большинство вебмастеров, которые только трещат о вреде ТГП и столько не зарабатывают. А ты хоть сам столько имеешь, гений маркетинга??

 sAx
Можно мне немного разрядить обстановку ? ;)
CPAK писал:
Ну как, с таким ником, к тебе можно лицом повернуться

А если серьезно, то... и так лицом, иначе небыло бы ни ТГП, ни постеров. Каждый народ заслуживает своего правителя ;)

 Slava
-> Ded
Если у тебя скрипт иногда колбасит, то прячь бан лист и никому не показывай :-) А то неприятно из за глюка скрипта получить бан еще у тех, кто скопирует его. На всякий случай я убрал из списка ТГП Порн-Микс, мало ли что.

-> Срак
Блин, ну что ты ноешь. ТГП постинг позволяет как минимум отбивать деньги со 100% прибылью. Я понимаю, конечно хочется потратив пару часиков в неделю получить 5килобаксов в конце месяца, но блин, так же неинтересно даже и можно спиться из за обилия свободного времени.
Если б не было ТГП, рисую светлое будущее.
1. Китайцев и прочих нищих русских которые все более заполоняет интернет никто не отменил бы. Все ниже и ниже уровень доходов среднего серфера - то есть ратио вряд ли существенно изменился бы.
2. Нет бесплатного порно стало бы меньше людей на порно. Не просто рассосались бы по СиДжам, они не дебилы, а просто стало бы их меньше. Порно стало бы просто недоступным. Возможно СЕшники выиграли бы. Но сами платники - проиграли бы.
3. Хостинги подняли бы цены, думаю доллара 2-3 за гиг. Часть хостеров просто исчезнет, так как основной клиент - ТГП постер. А все ТОПеры и СиДжеианцы просто пользуются ценами, которых для них добились ТГП постеры. А те кто хостится на фрихостингах, пользуются минимумом рекламы, которого тоже добились ТГП постеры. Вспомните просто радиинтереса, какая реклама была на фри-хостингах лет так 5 назад

и прочие прочие ужасы :-)
так что ТГП добро :-)

 Paxan
Slava писал:
Согласен,
Дед, у тебя в списке есть домены, за которые я головой отвечаю.
Никаких 302 там отродясь небыло, бывает больше года лежат.

 Paxan
CPAK писал:

Мелким постерам нечего делать в ТГП, а от редиректа будет защита или самим редиректом резко станет не выгодно заниматься. Например опасно =))
Или нахрен умрет ТГП, точнее переродится во что-то еще. Тогда мелкие мастера точно отойдут от биз-а.
В любом случае выиграет сильнейший, остальные в пролете.

 Basil001
Да ну, насчет мелких мастеров, по моему, ты не прав - 100 старушек один рубль... Есть ресурсы и люди, которые весь свой биз выстраивают на окучивании мелких мастеров. Самый яркий пример Ленсман ... так что это ты погорячился

 DED
Paxan писал:

скрипт просто запрашивает страницу и анализирует ответ.
я не сам придумываю ответы сервера

 bober
clever писал:

На хана трафе можно в день минимум 10k колотить, сколько это в месяц сам посчитай

 Slava
-> Ded

Никто не спорит, что скрипт не сам придумывает, но результат получается как всегда. Может чем дальше от твоего сервера, тем больше вероятность получения бана, может зависит от операционки сервера, но явно это не анализ редиректа, а что то другое