MoneyMakaz
Покажите пожалуйста, robots.txt сделал блог, и не как не могу прийти к общему мнению сам с собой, что закрывать, а что оставить.
Вот мой, стоит, что нибудь убрать или добавить с точки зрения сео, или не заморачиваться...
Код:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /2010*
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
Host: saite.com
matyas
Код:
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: */trackback/
Disallow: */feed/
Disallow: /category/*
Disallow: /tag/*
Disallow: /author/*
Disallow: /forum/*
Disallow: /paysites/*
Disallow: /join/*
Disallow: /2009/*
Disallow: /2010/*
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Прячу теги, архивы, категории и прочую дублирующую контент ерунду.
Skat
логика проста закрывай все то что дублируется + системные каталоги и файлы, у каждого по разному будут, все зависит от структуры блога(сайта)