Новая тема   Ответить

 S_Flash
Т.е. поисковые запросы на сайте в контексте URL выглядят так
Цитата:
Стоит ли в robots.txt запретить
Цитата:
?
Вобще когда есть смысл запета внутренних "переходов" для сохранения веса главной страницы?

 11-11-11
S_Flash:

попробуй лучше сделать чтобы keyword прописывался в тайтл и в h1

 S_Flash
Вобще вопрос в другом.

 Kludge
Цитата:

 S_Flash
Мда, не в том месте я спросил!

 vitalich
Закрывай от индексации всё что ненужно для поисковой выдачи.

Вот пример стандартного роботса dle
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

Также теги и архивы календари факи это можно оставить для юзеров

 S_Flash
Да я знаю как закрывать. Вопрос, что можно или нужно закрывать.

 Kludge
S_Flash писал:
Поиск можно и нужно закрывать. Не зря его Blogger в своих блогах закрывает в robots.txt

 aaronmaster
если страница уже есть в гугле, то закрывать через robots.txt не надо. в этом случае необходимо добавить на эти страницы robots=noindex,follow

В противном случае (если страница уже в гугле) и добавлен этот урл в robots, в дальнейшем гугль будет хранить старую версию страницы и считать ее верной, так как не сможет скачать новую. Если таких страниц много - то придет в гости панда.

 S_Flash
aaronmaster: Да но получается, что страница есть в базе гугла и с неё идут ссылки на главную через меню сайта, лого и т.д.. Оптимизируется главная страница. Или - не?!

 aaronmaster
тут нужно гуглю скормить новую версию этой страницы (если она на вашем хосте). Например через fetch as googlebot в google webmaster tools, потом проиндексировать ее там же.

Если не хочешь чтобы в будущем эта страница индексилась, то добавь на нее meta robots=noindex,follow

А главная страница тут не причем. Другое дело что если гуглю линк не понравится (касается НЕ внутренних ссылок), он может передать негатив на вашу главную.

Вообще, рекомендую отказаться от блокирования страниц посредством robots.txt, с гуглем, увы, этот файл перестал дружить. Он беспроблемно работает если был (в неизменном виде) с рождения сайта, а если были изменения - гугль сейчас хочет быть в курсе всего, что поменялось и так далее. Это ведет к тому, что если он не получит новую версию страницы - то могут быть санкции (в зависимости сколько таких страниц).

Это же касается и настройки URL Parameters в google webmaster tools.