что касается жавы, далеко ходить не буду,


гугл в sitemap этого сайта показывает что не может найти
следующие урлы:
хttp://www.omega-porn.com/repo
хttp://www.omega-porn.com/rat
хttp://www.omega-porn.com/add_favor
а теперь посмотрите откуда он это взял.
-------------
доры он банит по редиректу, а не по тому как он организован.

но так как видит он также, как ботаник без очков, то попытался дёрнуть ссылки типа /rat

Ну народ, Вы юмакс почитать не можете? Или мои мессаги еще и здесь запостить?
Там все разжевано по полной. И про выполнение JS пауками и про тулбар.

Ну народ, Вы юмакс почитать не можете? Или мои мессаги еще и здесь запостить?
Там все разжевано по полной. И про выполнение JS пауками и про тулбар.

есть страница с примерно следующим ява-кодом.

Code Sample
<script>
crypted = "LJKHDes97856rasdfh ... ru9A8YDWE45W98FWE";
js = decrypt1(decrypt2(decrypt3(decrypt4(decrypt5(crypted)))));

document.write("<script>"+js+"</script>");

function decrypt1(crypted)
{
Функция дешифрования (цикл, составляющий матрицу из crypted, затем обрабатывающий матрицу алгоритмом1 и возвращающий строку из матрицы)
}

function decrypt2(crypted)
{
Функция дешифрования (цикл, составляющий матрицу из crypted, затем обрабатывающий матрицу алгоритмом2 и возвращающий строку из матрицы)
}

function decrypt3(crypted)
{
Функция дешифрования (цикл, составляющий матрицу из crypted, затем обрабатывающий матрицу алгоритмом3 и возвращающий строку из матрицы)
}

function decrypt4(crypted)
{
Функция дешифрования (цикл, составляющий матрицу из crypted, затем обрабатывающий матрицу алгоритмом4 и возвращающий строку из матрицы)
}

function decrypt5(crypted)
{
Функция дешифрования (цикл, составляющий матрицу из crypted, затем обрабатывающий матрицу алгоритмом5 и возвращающий строку из матрицы)
}

</script>


В итоге на экран выводится ссылка в виде картинки размером 1x1 на страницу типа http://url/test.php?flag=KS7fysdSAFH9s (flag формируется специальным образом на основе IP адреса). Поверх картинки выводится лейер с текстом.
Скрипт test.php кладет базу все запросы.
Параметр flag сделан для того, чтобы отлавливать глюк с гуглбаром: Если пользователь случайно все-же попадет по этой ссылки, то в параметре flag будет зашифрован его IP, Соответственно потом гугл (взяв инфу из гуглбара) запросит этот адрес с параметром flag, в котором зашифрован IP адрес посетителя. В результате получим несовпадение IP адреса, с которого запрос и IP адреса, зашифрованного в flag. Значит гугл взял ссылку из гуглбара, иначе гугл нашел ссылку сам.

Все алгоритмы дешифрования строятся не только на простых арифметических действиях, но и на работе с объектами(Например в JS создаем текстовое поле, из которого читаем некоторое значение в следующей функции дешифрования. Неверная работа приводит к некорректному дешифрованию).

На страницу с данным яваскриптом ставилась одна ссылка с одного ресурса с пр2.

В итоге из живых людей на странице с яваскриптом и на странице с test.php никого небыло, из ботов на странице с яваскриптом был много кто, на странице test.php с корректным совпадением IP и flag - были Google и MSN.
С некорректным совпадением IP и flag никого небыло.

Период тестирования - 2 недели.

Google Bot IP: 66.249.65.71, 66.249.66.135, 66.249.66.203
MSN Bot IP: 131.107.0.96

Общая теория определения типов сайтов(дорвей/белый/etc) выглядит так:
Существует некий коэффициент, который включает в себя многие параметры.
Например(не факт):
- бонусность хостинга
- доменная зона
- whois-данные
- страна расположения хостинга
- количество бэков
- процентное соотношение бэквордов в бэках
- процент ключевых слов
- процентное соотношение тэгов в документе
- исходящие ссылки документа
- как часто кликают пользователи в выдаче гугла по этому сайту
- как часто пользователи с гугл-баром посещают данный сайт
- тематическая направленность контента на странице
- коммерческая направленность сайта (например хомепага дяди Васи с соседней квартиры - 0%, а сайт amazon.com - 100%)
- и т.д.
Вообщем математиков у гугла достаточно, чтобы грамотно формировать этот коэффициент (помните объявление гугла о наборе на работу в виде математической формулы?)

Затем на основе этого коэффициента идет разложение сайтов по полкам.
Например есть интервал значений коэффициента, который соответствует белым сайтам, дорам и т.д. Ошибки конечно не исключены, но благодаря стараниям математиков они приблизились к 90%-95%(например) точности.
А вообще скорее всего это выглядит так:
К, примеру, 99% сайтов лежат в определенном интервале коэффициентов, тогда как 1% сильно отличается от этого. Специалисты гугла специально интересуются необычными сайтами. Они делают это специально для поиска новых и необычных решений, для отлаживания механизма и т.д. В этот 1% попадают также наши дорвеи, поэтому поиск и бан дорвеев - это побочный продукт деятельности этой команды специалистов.
В результате бан дорвеев - это неожиданная полезная находка для гугла. Вышло так же, как и с песком для новых доменов, когда сами специалисты гугла случайно столкнулись с таким поведением поисковой машины - как песок и решили его оставить.

PS: На традиционный вопрос "Что делать" - отвечу: делать дорвеи такими же, как и обычные сайты. Тоесть модернизировать генераторы.

Что же касается гугл-бара, то всю свою информацию он отсылает и получает по HTTP протоколу, поэтому словить ее не составляет труда.
Специально для параноиков:
Ставим прогу ETHEREAL (снифер траффика на компе), далее запускаем и слушаем траффик, отсылаемый гугл-баром. Те, кто обладает хоть какими-то знаниями в области TCP протоколов, сразу увидят, что отсылает гугль-бар.
А отсылает он следующее:
1. Каждый раз, когда в адресной строке меняется адрес, гугл-бар отсылает запрос на получение PR'а. В этом запросе указан URL сайта, взятый из адресной строки. Тоесть гугль знает, где ходит пользователь и с каим интервалом перемещается по сайтам.
2. Периодически отправляется запрос на сервер гугля за новой версией тулбара.
ЭТО ВСЕ. БОЛЬШЕ НИЧЕГО НЕ ОТПРАВЛЯЕТСЯ.
В данной ситуации вполне может быть, что гугль берет статистику посещений пользователей с тулбарами по конкретному сайту и видит, что пользователи на данном сайте долго не задерживаются - это один из факторов того, что это может быть дорвей.

...
-------------
доры он банит по редиректу, а не по тому как он организован.

прям. сделай доры без редиректа, вообще без всего, без ифрейма, фрейма и всяческих аффилейт ссылок - и потом делай такие строгие выводы. а то сказал - как отрезал. только не в тему =)