Новая тема   Ответить

 DarkVoland
Есть ли универсальное решение для написания таким образом robots.txt, чтобы разрешить индексацию только главной страница, и запретить все остальное, без перечисления всех папок имеющихся на сайте?

 -=Faraon=-
Код:

 tinych
читал что allow в роботс не используется. или можно использовать?...

 Skat
вроде недавно эта фишка появилась...

 sergio21
Фишка то появилась, да вот только она не работает так, как задумывалось. Поясняю: Disallow закрывает от поисковиков (от вежливых) определенные страницы. Allow задумывалось как конкретное указание типа "Вот эти страницы проиндексируй обязательно!" Но, как говорится, дульки!
Вобщем, с помощью Disallow можно те или иные страницы закрыть. Все, что не закрыто, может быть проиндексировано. "Заставить" ботов с помощью Allow проиндексировать что либо конкретное не получится.

 DarkVoland
Всем спасибо за советы - сам тоже поковырял мануалы - вывод:
универсального решения не существует.
только ставить все папки в корне в тег Disallow.

 Mr. Frod
Вообще то цель этого файла закрыть от индексации нежелательные страницы и папки сайта. А если такой универсальный, то зачем он вообще тогда нужен?