Master-X
Форум | Новости | Статьи
Главная » Форум » Поисковые Системы » 
Тема: Гугл игнорирует robots и nofollow?
цитата
03/01/08 в 14:12
 EvGenius
есть сайт.
с него на внутренние страницы стоят ссылки с rel="nofollow"
других ссылок нет
robots.txt такого типа
Код:
User-agent: *
Disallow:  /gallery/
Disallow:  /counter/

и все эти страницы в индексе почему-то. icon_sad.gif
цитата
03/01/08 в 15:30
 Desperate Andy
Сделай (если еще нет) акк в Google Webmaster Tools - там есть чекалка для роботс.txt для конкретных урлов + тулза для удаления проиндексированных результатов.

Чтобы не индексировало, на внутренних страницах надо писать noindex.
цитата
04/01/08 в 15:58
 EvGenius

в общем ладно, ясно. плевать ему на robots.txt
цитата
04/01/08 в 17:24
 Desperate Andy
http://www.google.com/support/webmasters/bin/answer.py?answer=35303&hl=en

Цитата:
While we won't crawl or index the content of pages blocked by robots.txt, we may still crawl and index the URLs if we find them on other pages on the web. As a result, the URL of the page and, potentially, other publicly available information such as anchor text in links to the site, or the title from the Open Directory Project (www.dmoz.org)can appear in Google search results. However, no content from your pages will be crawled, indexed, or displayed.

To entirely prevent a page from being added to the Google index even if other sites link to it, use a noindex meta tag, and ensure that the page does not appear in robots.txt. When Googlebot crawls the page, it will recognize the noindex meta tag and drop the URL from the index.



Возможно у тебя эта ситуация. Чтобы узнать точнее, сделай акк в GWT и протесть там.
цитата
07/01/08 в 13:21
 Stek
гугл уже вообще давно работает по своим внутренним правилам и плюет на общепризнанные.


Эта страница в полной версии