Новая тема   Ответить

 EagleOwl
Сразу скажу, что старый топик на эту тему я читал.
Там предлагают запретить в robots.txt, но как это правильно сделать?
Два основных варианта:
User-agent: *
Disallow: /?x=
либо
Disallow: /?x=*

В тестерах файлов robots.txt фактически не работает ни один.
С первым - просто "no Disallow directive found" и линки вида /?x=8180.6450.9252.6643.5161 проходят свободно.
Со вторым - ошибка "No wildcard supported".

Как все-таки правильно?

 ^Krot
Траф с таким параметром шлют некоторые CJ скрипты. В параметре ?x=...... перечислены хеш-коды доменов, на которых побывал данный юник. Так что это нормальный траффик, блокировать его незачем. Если конечно не стоит задача вообще траф заблокировать.

 EagleOwl
Собственно я знаю что это, откуда это берется и зачем существует
Задача - не дать поисковикам индексировать эти страницы, чтобы не забивать дублями. У меня на каждый домен 10-50 таких дублей. И это плохо.

 Stup
в Webmaster tools Гугля есть опция для робота воспринимать это как одну страницу

 Nux
EagleOwl: есть еще для этого спасательный тег, почитай например тут http://proseo.su/news/canonical-novyj-meta-teg-google-live-yahoo/ .... тег часто очень бывает удобен.

 EagleOwl
Stup писал:
Параметры URL? Счас попробуем.
Но хотелось бы конечно решение не только для Гугля. У Яху такая же проблема например.

 EagleOwl
Nux писал:
Тут вот какое дело - я боюсь что для сиджей с активной ротацией это будет не очень хорошо. Например - Гугль зашел на сидж по ссылке
domain.com/?x=5466.3457.4213
там прописан canonical - domain.com
Но фактически там ведь будет уже другая страница.
Может конечно это и не имеет значения, но рисковать не хочется.

 Nux
EagleOwl:

гугл сейчас зашел сюда http://www.domain.com/
а через час зашел ... опять сюда http://www.domain.com/

ну и фактически другая страница ? (почему? из-за положения тумб ? нет ... глянь ютуб...)


так в принципе можно сказать и о http://www.domain.com/?x=5466.3457.4213 к http://www.domain.com/

в самой ротации плохого ничего нет, тем более, что при уже отротированном контенте положение тумб меняется относительно не часто. Другое дело когда странички совершенно разные в плане тайтлов и текстового содержимого.

В таком случае лучше использовать
Disallow: /?x=

в robots.txt

 EagleOwl
Nux писал:
Вот жеж вопрос в том, что такая конструкция не хочет работать

 Nux
а что у тебя за тестеры ?
почему ты решил что не хочет ?

 EagleOwl
Я несколько попробовал, вот этот остался открыт:
http://www.frobee.com/robots-txt-check
Результат везде один был.

 Nux
ты лучше посматри какие стандарты юзает сам гугл на рабочем robots.txt
http://www.google.com/robots.txt

вобще на самом деле рабочая спецификация robots.txt малость изменена и не соответствует на 100% тому, что было создано ~15 лет назад, поэтому не стоит доверять чекерам, лучше практике.

а если будет мало порой примеры robots.txt + query string

ну и стоит напомнить, что для гугла в мастертулзе есть возможность добавить параметр X в настройках сайта , но делать это не рекомендую .

....да и еще можешь проверять наличие $_GET['x'] и если true выводить мета ROBOTS

 aewm
rel canonical спасёт отца русской демократии?

Если мы говорим о сидже то ничего страшного в простановки кононикала нет, исходный код не меняется, всё распологается также, а альты и ссылки на гали это ерунда

 EagleOwl
aewm писал:
Не спасет. Там проблема в шаблонах, короче нельзя так сделать.