Новая тема   Ответить

 ibiz
надо закрыть папки /about/user/(blabla), /portal/user/(blabla), /forum/user/(blabla)
они все одинаковые

во всех поисковиках нормально срабатывает конструкция:
Disallow: /*user
в мсн эти диры в индексе

вообщем сабж

 Alexandur
может стоит сделать так:
Disallow: /*/user/
?

Попробуй инструментами гугла проверить формат: https://www.google.com/webmasters/tools/dashboard?pli=1

 ibiz
gimcnuk писал:


гугл, яндекс и яху правильно понимают правило /*user - не индексировать урлы, где есть фрагмент user
а мсн наоборот индексирует их очень активно и ставит в топ

 _s_[sov]
а для msn тада как закрыть индексацию?

 ibiz
проверил тулзой http://tool.motoricerca.info/robots-checker.phtml
одни ошибки

вот например, чтоб не индексировал все урлы, где встречается знак вопроса, использую конструкцию:
Disallow: /*?
The "*" wildchar in file names is not supported by (all) the user-agents addressed by this block of code. You should use the wildchar "*" in a block of code exclusively addressed to spiders that support the wildchar (Eg. Googlebot).

походу только для гугла работает

 lowa
User-agent: msnbot
Disallow: /

User-agent: *
Disallow:


Если не помогает, запрети по ip и принудительно в хтакссес по названию.

 ibiz
lowa писал:

ну мне не вообще его отрубить, а запретить лишь часть директорий

 lowa
Ну значит в дире делай .htaccess

И запрещай всё что тебе угодно ;)

Цитата:

 ibiz
lowa писал:

как вариант, сенкс!

 lowa
ibiz писал:
Нп. Удачного неиндексирования

 Chin
А самый тупой вариант без звездочек в синтаксисе не пробовал?

User-agent: msnbot
Disallow: /about/user/
Disallow: /portal/user/
Disallow: /forum/user/

 ibiz
Chin писал:


очень больший роботс получается, к тому же диры динамические, постоянно добавляются новые...