Новая тема   Ответить

 andreich
есть блоги
структура линков следуящая

http://domen.com/2006/11/17/name-post/

и есть к ним RSS фид

http://domen.com/2006/11/17/name-post/feed/

как правильно прописать правила в robots.txt, чтобы пауки не индексировали Rss-фиды

http://domen.com/2006/11/17/name-post/feed/

 BAD guy
http://www.yandex.ru/yandsearch?text=robots.txt

 andreich
Код:

вот так будет правильно ?

 ICOOGLE Project
не, так ты закрыл
http://domain.com/feed/

у тебя фид - это директория?
тогда вот так вроде:

User-Agent: *
Disallow: */feed/

 ТВЭЛ
http://robotstxt.org.ru/