Новая тема   Ответить

 Kosmos
У меня в роботс.тхт прописано Disallow: /feed/ но гугл упорно индексит фиды комментариев к постам, т.е. конструкции типа domain.com/post-name/feed/. Как запретить ему индексацию этих урлов ? Спасибо заранее !

 Desperate Andy
Попробуй такое добавить

Disallow: /*/feed/$

А вообще через Google Webmasters Tools можно тестить как блокирует robots.txt те или иные урлы для индексации. Удобно, попробуй.

 _s_[sov]
сколько не запрещал там чего - все в выдаче. гуглу похоже похуй на этот файл.

 XXL Fuck
если есть ссылка на страницу запрещенную в роботсе, то бот всё равно проиндексирует её. Страницу лучше метатегом закрыть.

 BAD guy
где-то тоже читал что на роботс.txt гугл внимания не обращает

 taljanich
Kosmos писал:

Disallow: /*/feed

у меня так не индексит.
если только бот гугла мучает то можно вынести в отдельный блок в robots.txt:

User-agent: Googlebot
Disallow: /*/feed

 HST
Гугл не реагирет на robots либо про причине неверного местонахождения этого файта, либо некорректного синтаксиса. Если с этим все гуд, то видимо стоит немного подождать чтобы стали заметны результаты. Например, на одном из моих сайтов реакция гугла на robots проявилась только сейчас несмотря на то, что файл был скормлен поисковику еще в начале апреля.

 Chin
Да не, реагирует он, просто иногда очень долго.
Я свой сайт закрыл от всех поисковиков много месяцев назад. Гугль несколько месяцев еще и ходил регулярно, и из базы не выкидывал.
Сейчас наконец то выкинул (времени много реально прошло с момента дисалоу *), а вот яху и мсн до сих пор пачку страниц в индексе держат.