Новая тема   Ответить

 Tartar
Нубский вопрос, но как убрать из индекса гугла сабдомен cdn.domain.com ?

 ibiz
проще всего запретить в robots.txt

 Tartar
а как это сделать, если сабдомен ссылается на CDN, куда robots.txt класть?
есть запись cdn.domain.com as cname blabla.cdn.net

 ibiz
robots.txt класть в cdn.domain.com
писать что-то вроде (надо уточнить):
Код:

 Tartar
что в роботс писать понятно, не понятно куда его класть, если сабдомен к моему серверу не относится никак

 ibiz
Tartar писал:

класть роботс в корень сабдомена... а если никак не относится, то не запретишь... но если все же можно запретить, спали тут способ, я "сабдомены" конкурентов уберу из индекса

 goodlover
Если бы можно было у себя разместить такой robots.txt.

Вижу такой выход: вычисляешь (спрашиваешь у прова?) ip cdn-Бота, который тянет с тебя файлы.
Отдаёшь ему нужный файл robots.txt ("запрещаю всё и всем").
В итоге на cdn должен упасть нужный файл, а с твоего сервера продолжает грузиться "разрешаю всё и всем" или что-то иное.

 Nikso
В хтакцесс на корне домена
Код:

файл тоже на корне домена
robots_dis.txt
Код:

хотя я может что-то и путаю

 Tartar
Nikso: то что надо, спасибо всем рейтинга насыпал)

 pornolady
главное чтобы rel=canonical стоял на всех страницах.. тогда хоть тыща субдоменов .. и защита от скреперов

 Tartar
сообразил такое решение

в .htaccess
RewriteRule   ^robots.txt$ robots.php

в robots.php проверяем переменную $_SERVER['HTTP_X_HOST'] и выдаем нужный вариант роботса

вариант Nikso не работает(

 Salis
Зачем так сложно? Куда смотрит origin cdn?
Допустим в папку /home/domain.com/img/ тогда в эту папку и кидаем robots.txt и он будет доступен по урлу http://cdn.domain.com/robots.txt

 Tartar

в корень домена смотрит, как иначе-то

Может кто знает, как переменную http_x_host использовать в htaccess, похоже нет такой возможности. В http_host просто домен.

Собственно проблема в целом вот в чем. Двигаю сайт http://domain.com/ в гугле. Лью траффик, проставляю ссылки. В итоге по запросу "domain" вижу в гугле на второй странице http://cdn.domain.com/. А чтобы увидеть там http://domain.com/, надо дойти до хз какой страницы, кликнуть по ссылке о том, что некоторые похожие результаты скрыты . Это то ли гугл ебанутый, то ли как.

Последний раз редактировалось: Tartar (29/11/14 в 12:41), всего редактировалось 1 раз

 Salis
Ну можно и не в корень настроить, у нас так.

Если смотрит в корень то можно так:
Код:
только убедись что файлы .txt не обрабатываются nginx если он стоит.

 Tartar
Salis: то, что надо, спасибо тебе большое! Про %{HTTP:X-HOST} не встречал нигде.