Lexikon
закинул в корень домена файл robots.txt с таким содержимым:
User-agent: *
Disallow: /cgi-bin/
Disallow: /dtr/link.php?
Disallow: /cgi-bin/crtr/out.cgi?
и как ни странно гугл проиндексировал
примерно такое:
http://domain.com/dtr/link.php?......тут дохера всего....=http://domain.com/page.html
Почему не проиндексировал сразу
http://domain.com/page.html
да и вроде запрет поставил Disallow: /dtr/link.php?
а в выдаче как будто похер на robots.txt
Подскажите в чем может быть причина и как правильно настроить чтоб он индексировал и выдавал прямой котокий адрес
http://domain.com/page.html
???
Vyacheslav
Disallow: /cgi-bin/ - запрет всего каталога, включая субкаталоги. Disallow: /cgi-bin/crtr/out.cgi? после этого излишне.
Disallow: /dtr/link.php? - "?" знак в конце строки означает точное совпадение строки. То есть /dtr/link.php? и /dtr/link.php1 уже не попадает под это правило, а тиолько /dtr/link.php Тут рекомедую просто оставить Disallow: /dtr/
Sergeyka
гугл индексит файлы закрытые в роботс - да, закрывай не закрывай, но он их не подает в выдачу
в запрсе типа сите:домайн.ком они будут только в вспомогательной выдаче