Спасите от nocookie! ? robots.txt

Тема: Спасите от nocookie! ? robots.txt

цитата
26/01/10 в 18:40

Gabber
Задолбали поисковые боты кликать по все ссылкам, особенно на микроCJ-ях, очень портят статистику.
Прописал в robots.txt
Код:

User-agent: *
Disallow: /out.php

Один хрен, всеравно лазиют также активно, хочу чтобы по ссылкам out.php не кликали. Как реализовать? Если на сидже ссылки формата: http://CJdomain.com/out.php?v=bj0xJnQ9MTIxNDQmcGN0PTUwJnU9aHR0cCUzQ…guaHRtbA==
???

цитата
26/01/10 в 18:49

Woland
Я не сеошник ни разу - но по моему многие боты давно кладут на то, что прописано в robots.txt. Если ошибаюсь - поправьте.

цитата
26/01/10 в 19:25

mickey
мне админы блочили их по юзерагенту

цитата
26/01/10 в 20:57

Gabber
По идеи же User-agent: * - для всех.
Совсем заблокировать я не хочу, всетаки поисковики. Мне надо чтобы они по ауту не кликали.

цитата
27/01/10 в 15:30

pinnokio
Gabber писал:

По идеи же User-agent: * - для всех.
Совсем заблокировать я не хочу, всетаки поисковики. Мне надо чтобы они по ауту не кликали.

По своему опыту замечу, то что ты прописываешь для роботов запреты значит ровно одно - они это в индекс не закидывают. А лазить по этим сссылкам продолжают. Вот и вся разница.

цитата
27/01/10 в 16:16

Gabber
мда, получается слать только их на контент всех

без вариантов?

Новая тема Ответить

Эта страница в полной версии