Новая тема   Ответить

 Proo
В одном из топиков писал что Яху сокращает кол-во страниц проиндексированных.. похоже идет к бану или типа того.. с 500 страниц уже до 3-10 дошел на домене..

Единственное что приходит в голову это дать ему понять что страницы индексить все не надо, пусть хотя бы индекс будет.. доменов и поддоменов много, хоть какой то да будет толк..

Что из этого выйдет - не знаю.. может кто что подскажет.. и как правильно оформить это, думаю так:

User-agent: Slurp
Allow: /
Disallow: /*.html


Если у кого будут комментарии - буду благодарен.. ну и рейтинг как всегда

 Proo
Кстати забыл написать, почему хочу оставить проиндексированной только первую страницу.. думаю одна из причин это большое кол-во страниц.. и их быстрый рост.. может поможет..

 Zambrotta
Привет. Насколько мне известно роботс пишеться под яндекс.

 Proo


Почему? Вот - http://help.yahoo.com/help/us/ysearch/slurp/slurp-02.html

У меня яху хватает robots.txt как безумный, по несколько раз в день..

 andreich
Zambrotta писал:
robots.txt пишется под все большие поисковики, в том числе и google и msn и yahoo

 Zambrotta
Сорри не знал. Думал что это яндекса фитча у гула ноиндекс или нофолоу. Жил по крайней мере с этим

 pierx
нофолоу уже у всех поисковиков, инфа такая проскакивала

 Zambrotta
По ходу все под одни стандарты подстраиваются. Вебмастеруот этого только легче. Париться особо не нужно

 XXL Fuck
роботс пишеца под все поисковики, только вот этим
Disallow: /*.html
ты запретишь индексацию вышеуказанному боту все файлы хтмл в корне, включая индекс. оно тебе надо?
может щаз у яхи апдейт сегмента базы куда твой сайт попал, вот он по новой всё индексирует, а так ты ваще яхе запретишь индексировать. имхо оставь как есть.

 Proo



Ну а как же это?

http://help.yahoo.com/help/us/ysearch/slurp/slurp-02.html

Using Wildcard Match: '*'
A '*' in robots directives is used to wildcard match a sequence of characters in your URL. You can use this symbol in any part of the URL string that you provide in the robots directive.

Example of '*':

User-agent: Slurp
Allow: /public*/
Disallow: /*_print*.html
Disallow: /*?sessionid


И вайлдакард, и Allow, и Disallow, в хелпе у Яху..

 Proo
не то написал.. потерто.

 XXL Fuck
ну что там не так?
там популярно расписано что зна * заменяет всё остальное и примеры запрета индексации страниц по маске, а так как ты сделал ты просто запретил индексацию всех хтмл паг в корне.

правила роботса для всех поисковиков одинаковые.

яха не хавает роботс как бешенный, просто чекает его и если ты его просто удалишь то нчё страшного не произойдёт.

 Proo
> а так как ты сделал ты просто запретил индексацию всех хтмл паг в корне.


че так сурово то.. корень же я разрешил

Allow: /

 XXL Fuck
корень да, но по ходу закрыл все хтмлы в корне, т.е. если у тебя там есть рнр или ещё чё, то всё ок, а вот хтмлы похерил.