Dimanich
Я тут зашел на
scrubtheweb.com, чтобы узнать насколько мой фришник оптимизирован для СЕ. Так вот мне рекомендовали использовать robots.txt. У меня пока слишком мало опыта, чтобы писать какие-то дельные указания роботам. Я могу конечно написать что-нибудь типа:
User-agent: *
Disallow:
мол всем все позволено, но будет ли это правильно и есть ли в этом вообще какой-то смысл? Не подскажете, что можно написать в robots.txt? Может нужно отсечь каких-то ненужных роботов? Или закрыть от них какие-нибудь папки или типы файлов? Буду признателен за любые советы.
На домене бывают следующие роботы:
Wget
Lycos
MSIECrawler
Googlebot (Google)
MSNBot
IBM_Planetwide
CMC/0.01
Internet Shinchakubin
BSpider
Unknown robot (identified by 'crawl')
Pioneer
JustView
На всякий случай вот два моих фришника:
http://www.antivirgins.com/ftis/
http://www.antivirgins.com/fpt/
Zmey Горыныч
robots.txt в данном случае не нужен, пустая трата времени.
В основном он применяется для закрытия от индексирования не нужных папок, для больших проектов. Ограничивать действия пауков смысла нет.