Новая тема   Ответить

 Билл Гейтс
ТС, забей на роботс и просто пропиши свои сайты в панельке вебмастера гугла (и др.), в т.ч. sitemap. Это всё.

 Dofollow
Не поленись в роботс - сделай блок с user agent - googlebot, user agent - yandex.
Пустой dissalow лучше вообще удали - он не нужен.
Добавь сайтмап в блоке для яндекса, самой нижней строчкой

 semergey
Попробуй поставь вот такую штуку: '
пример:

User-agent: * '
Allow: /
Disallow: /*en
Disallow: /*login
Disallow: /*register
Disallow: /*search

твой роботс на валидаторе не прокатывает, а этот проходит