Запретить индексацию субдомена

Тема: Запретить индексацию субдомена

цитата
24/04/14 в 12:17

Platon
Добрый день, подскажите как правильно запретить индексацию субдоменов.
Если на осн. домене site.com ссылки ведут на 1sub.site.com 2sub.site.com 3sub.site.com и так далее.
Это в robots.txt если не ошибаюсь надо команду Disallow прописывать?

цитата
24/04/14 в 21:36

andreich
vitamin писал:

Это в robots.txt если не ошибаюсь надо команду Disallow прописывать?

поидее да, но как показывает практика google ложит большой болт на дериктивы robots.txt, там вроде можно в вебмастерсе както это дело настроить (но тем кто там делал интерфейс оторвалбы руки), для yandex тоже спорный вопрос, вроде как еще соображает, но тут не так много было опытов

цитата
24/04/14 в 23:16

GarryBarry
andreich, что сложного в google webmaster tools? в профиле сайта, пункт Сканирование -> Заблокированные URL написано
Цитата:

Заблокированные URL

Если вы хотите запретить Google или другим поисковым системам доступ к определенному контенту на вашем сайте, укажите в файле robots.txt, как поисковым системам следует сканировать содержание вашего сайта.
Убедитесь, что файл robots.txt работает правильно. (Изменения, внесенные в содержание файла robots.txt ниже, не будут сохранены.)

и далее содержание роботс.тхт твоего сайта

цитата
25/04/14 в 01:24

Diablo
andreich писал:

все работает .
в результате в серпе примерно следующее:

domain.com/
A description for this result is not available because of this site's robots.txt – learn more.
domain.com/
A description for this result is not available because of this site's robots.txt – learn more.

цитата
25/04/14 в 15:56

VulkanPartner
Diablo II писал:

Это по запросу domain.com? А вообще да, robots это же рекомендации, а не способ реального управления ботом

Новая тема Ответить

Эта страница в полной версии