Новая тема   Ответить

 konan
Вот есть такие теги.

<meta name ="robots" content="index,follow">
<meta name ="revisit-after" content="2 Days">

ЧТо такое тег robots ?

а тег revisit-after - неужели бот придет через два дня?

 bleed
забей, мета теги практически не учитываются, а может вообще не учитываются. гугл точно не считается с таким, потому если сам не захочет, не прийдет через 2 дня. Зато robots.txt считает...

 Sterx
bleed писал:
это из личного опыта?

 Nikola
Определённо мета тэг robots должен учитываться если прописано noindex,nofollow

 bleed
Sterx писал:
да, у меня при каждой индексации гугл берет robots.txt - по логам вообще он на первых местах среди всех файлов которые берет гугл.

 Sexlorum
robots.txt - общепринятая инструкция для поведения бота на сайте, через него указываются все инструкции касательно индексации, просмотра папок и картинок, все боты которые соблюдают правила с этим файлом находят соответствие, то что гугль игнорирует - это вообще-то некоторое нарушение, так же как это надо еще доказать ...