EvGenius
есть сайт.
с него на внутренние страницы стоят ссылки с rel="nofollow"
других ссылок нет
robots.txt такого типа
Код:
User-agent: *
Disallow: /gallery/
Disallow: /counter/
и все эти страницы в индексе почему-то.
Desperate Andy
Сделай (если еще нет) акк в Google Webmaster Tools - там есть чекалка для роботс.txt для конкретных урлов + тулза для удаления проиндексированных результатов.
Чтобы не индексировало, на внутренних страницах надо писать noindex.
Desperate Andy
http://www.google.com/support/webmasters/bin/answer.py?answer=35303&hl=en
Цитата:
While we won't crawl or index the content of pages blocked by robots.txt, we may still crawl and index the URLs if we find them on other pages on the web. As a result, the URL of the page and, potentially, other publicly available information such as anchor text in links to the site, or the title from the Open Directory Project (www.dmoz.org)can appear in Google search results. However, no content from your pages will be crawled, indexed, or displayed.
To entirely prevent a page from being added to the Google index even if other sites link to it, use a noindex meta tag, and ensure that the page does not appear in robots.txt. When Googlebot crawls the page, it will recognize the noindex meta tag and drop the URL from the index.
Возможно у тебя эта ситуация. Чтобы узнать точнее, сделай акк в GWT и протесть там.