Новая тема   Ответить

 paradox
Необходимо закрыть теги в robots.txt. Как это сделать? Буду благодарен всем за ответы.

 Vyacheslav
Код:

Последний раз редактировалось: Vyacheslav (21/12/11 в 15:51), всего редактировалось 1 раз

 paradox
Нет там такой директории, вот в чем дело-то

 sergio21
paradox: тогда дай примеры урлов, которые хочешь закрыть.

 paradox
так я не знаю, в том-то и дело.. я не вижу где теги распологаются, движок KVS

 sergio21
сайт готов? кликни на любой тэг, и посмотри, какой получается урл.

 Vyacheslav
Там нет такой директории, зато есть Rewrite

Гугл знает только про то, что она есть в URL. Этого достаточно. Наличие директории на диске не обязательно.

Последний раз редактировалось: Vyacheslav (21/12/11 в 15:51), всего редактировалось 1 раз

 WorldTraffic
paradox писал:
самой деректории нету, наверное реврайт работает

вот мне тоже стало интересно сработает то, что Vyacheslav написал?

 paradox
Всем спасибо! Пробую, урл действительно такой выходит: http://********.xxx/tags/xxxyyy/

 Vyacheslav
Поймите, гугл или ещё кто-либо со стороны http клиента никак не может различить наличие реальной директории на диске\файловой системе сервера или имитацию её посредством Rewrite. На самом деле это не должно никого волновать, так как устройство файловой системы сервера может вобще не подразумевать существование привычной структуры с содержанием директорий, которые именно будут отделяться "/" или "\" (могут и "*")! Другое дело, как это принято интерпретировать со стороны http://domann/dir/dir/ запроса - тут чётко "/", а не как-то http://domann*dir*dir* или ещё как-то!
Так вот, robots.txt это только договор между ПС и вебмастером и виден он именно со стороны http://domain.com/robots.txt, а не самим сервером, и поэтому всё что в нём написано интерпретируется таким же образом с клиентской стороны, где директории видны только в запросах, разделённые "/".

 Sergeyka
paradox: иди в гугл, посмотри какие паги у него в индексе, которые ненужно закрой в роботсе

я всегда так делаю

 paradox
Ну их там 85к штук страниц
Так что нужно их как-то массово закрывать.. Ну вроде уже решил