Новая тема   Ответить

 Retox
У меня такой

User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss/
Disallow: /comments/feed/
Disallow: /page/
Disallow: /date/
Disallow: /comments/
Disallow: /?*
Disallow: /?ref=*


Бытует мнение что гугль знает структуру блогов + тег каноникал и он всё логично для себя индексит и отличает дубль от базовой записи. Что типо не стоит выёживаться. Но тот же All in one seo предлаагет архивы и теги закрыть, на счёт закрытия категорий явно перебор...

 masterVIA
просто удебись что нет дублей, у меня категории открыты, но пейджинг закрыт. фиды тоже закрыты (их даже и нет, минус 1 стоит). а коменты чего закрыл? это уникальный контент к посту прицепом

 masterVIA
а, это ты типа против прямых ссылок на комент, ну хз, помоему3у это минор проблема

 Vyacheslav
Retox писал:

Не пойму, зачем теги закрывать?

 britva
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback

Allow: /wp-content/uploads

такой на всех блогах стоит, честно говоря не думаю что robots.txt может сильно на позиции блога влиять

 net666
Вопрос такой, как отключить virtual robots.txt, или как его редактировать ?

 Semen_ssr
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

User-agent: Yandex
Crawl-delay: 5

Sitemap: http://www.example.com/sitemap.xml
Лови, а там уже сам смотри что тебе отсель надо.

 net666
Semen_ssr: Прошу прощения, может я не так выразился, что в robots.txt надо я знаю. Просто в GWT "Доступ для сканера" выдается не тот файл что у меня в корне лежит, Может просто подождать и google его схавает сам ?

 mr.Indi
User-Agent: Googlebot
Allow: /sitemap.xml
Allow: /sitemap.xml.gz

User-agent: *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /about
Disallow: /contact
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$
Disallow: /*.wmv$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.php*
Disallow: wp-*
Allow: /wp-content/uploads/

# allow Google ImageBot to search all images
User-agent: Googlebot-Image
Allow: /*

# disallow archiving site
User-agent: ia_archiver
Disallow: /

# disable duggmirror
User-agent: duggmirror
Disallow: /

 Emperor
net666 писал:

не схавает. тебе нужен плагин, например KB Robots, он работает с виртуальным роботсом. а свой в корне потом удалишь.

 net666
Попробывал.
Не очень получилось, т.е. при чтении robots.txt в браузере, все номально, читается то что надо... в GWT все по старому, он просто не обновился.... Может какое-то время долно пройти чтоб гугл его съел, Или как-то ему можно посказать что файл новый ?

 Emperor
net666 писал:

ну ты хочешь чтобы все в реалтайме обновлялось у меня через сутки обновился, буквально неделю назад делал тоже самое.