Новая тема   Ответить

 densa
Составляем robots.txt, немного запутались, точнее я запутался

мне составили robots.txt
User-agent: Yandex
Disallow: /foldername/

Правильно что сама папка domain.com/foldername/ индексироваться будет, а вот то что потом, например domain.com/foldername/?20 нет?

А то у меня сомнения, что и сама папка может не индексироваться

 Sergeyka
Сама папка при такой записи не будет индексироваться

 despero
Disallow: /foldername/*

не ?
хотя в принципе если все что в папке не индексить то что там вообще индексировать

 densa
despero писал:
сайт на вордпрессе, по адресу domain.com/foldername/ пост его индексируем, а все дубли типа domain.com/foldername/#comment-3970 исключить

 Sergeyka
Чтобы обозначить последовательность символов, используйте звездочку (*). Например, чтобы заблокировать доступ ко всем подкаталогам, название которых начинается с private, добавьте следующие строки:

User-agent: *
Disallow: /lichnoe*/

Чтобы заблокировать доступ ко всем URL, которые содержат вопросительный знак (?) (то есть всех URL-адресов, которые начинаются с имени домена и содержат вопросительный знак), добавьте в файл robots.txt следующую запись:

User-agent: *
Disallow: /*?

 despero
у меня вот такой роботекст на одном блоге , на некоторых вообще нету , а на один поставил что бы разницу посмотреть

User-agent: *
Disallow: /?m=
Disallow: /?tag=
Disallow: /?author=
Disallow: /?s=
Disallow: /?paged=
Disallow: /?cat=
Host: сайт.info

смотрел в выдаче гугля - одни посты лезут больше нихуя запрет на коменты хоть и не прописан но их все равно нет
тебе по ходу такой вариант с папкой нормально должен фурычить

User-agent: *
Disallow: /твояпапка/?m=

это ж ты получается конкретную вещь в папке запрещаешь к индексации

 despero
новую тему создавать не стоит наверное поэтому в этой спрошу выше я описал пример роботекста с одного своего блога вот сейчас заметил что у этого блога в яндексе только морда и больше нихуя , в гугле же все нормально кроме морды еще страницы с постами как и задумывалось . У меня такое было когда я перемудрил с роботекстом и запретил все на свете (по принципу сергейки /*? ) но тогда у меня все страницы и посты из выдачи вылетели не только в яшке а и в гоше . а сейчас только яшка чето игнорит . Поэтому спрошу кто знает , есть ли в моем роботексте повод яшкиному роботу до меня доебатся , в принципе по моему там все предельно просто и ясно но вдруг