Новая тема   Ответить

 Bombon
Ребят, гляньте плиз, для блога на WP такой роботс подойдет?!

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /tag
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Спасибо за ответы

 Semen_ssr
Да, только гуглу уже пох на роботс помоему, только яша на него обращает внимание.

 Gossha
гуглу не пох. проверенно 100500раз. по сабжу, карту сайта добавь

 Semen_ssr
Касательно WP ему уже достаточно пох... но лишним роботс точно не будет.

Код:

Про карту абсолютно верно, не заметил.

 karbonv
Semen_ssr писал:

ну конечно. закрой джипеги и думай потом: почему картинки не индексит...

 Semen_ssr
karbonv: я имел в виду если его нет, он распознает структуру и не делает даблы, по умничал ты как то не умно, ты бы еще домен закрыл

 ibiz
я бы еще добавил директиву
Crawl-delay: 3

 karbonv
Semen_ssr: Домен? это ты к чему? человек роботс сделал, спросил правильно или нет, а ты говоришь что пох.... вот и не пох что внутри, и ты вводишь в заблуждение

он ведь не спрашивал ставить его вообще или нет!

 Semen_ssr
karbonv: главное что теперь все буквально понятно, без заблуждений
Оффтопик: и тебе - доброе утро

 Sergeyka
никогда не закрывал ни на одном блоге ничего, вообще, все блоги живут прекрасно

гуглу похуй на роботс, проверил не однократно, он все равно урлы индексит те кторые закрыты в роботсе

 Hamradio
у меня тоже без всяких роботс текст вордпрессы нормально живут

а вообще у яндекса есть в вебмастерской проверить что у сайта проиндексируется что нет

я мля ставил скрипт магазина и роботс текст не проверил
он отказался индексирвать сайт мол запрещено
после исправления почти месяц ждал когда проиндексирует

 Vyacheslav
Hamradio писал:
Это просто мгновение ока!
У гугла такой подход не всегда вобще на номальное русо становится. Ему некогда возиться с такими проебами..

 Bombon
Спасибо всем за ответы, всех оценил

 Gossha
если гуглу пох. то почему гугл не только настоятельно рекомендует его юзать, но и в вебмастер тулз подсказывает как?

 Vyacheslav


Чтобы знать из первых рук, кто сильно жаждет вылезти в его топ!
А вобще сильно ли в интересах гугла рассказывать что-то, что может хоть как-то повлиять на выдачу?

 ibiz
а покажите мне в выдаче урлы, которые закрыты в роботсе?

 Sergeyka
Gossha: на заборе тоже написано...

на самом деле все не так, на примере наших сиджей, я заблочил папку cgi-bin он периодически индексит эти урлы, я их удаляю с ГВТ и он их опять в индекс включает

Последний раз редактировалось: Sergeyka (01/09/11 в 15:03), всего редактировалось 1 раз

 Sergeyka
ibiz: в выдаче по кеям их не будет но будет если набрать site:www.domain.com

 ibiz
Sergeyka писал:

можешь пример показать, можно в личку

 Sergeyka
скинул в личку, просьба более не светить не кому

 Gossha
Sergeyka писал:

Как там по Станиславскому? НЕВЕРЮ !!!

 Sergeyka
Gossha: не верь, Ибиз может подтвердить если что, но ты и тогда не поверишь

 Gossha
Sergeyka писал:

Sergeyka писал:

если набрать site:www.domain.com - то будет только домен, что в общем то логично, так как ты запрещаешь индексировать сайт на домене domain.com

Получается гуглу совсем не пох на роботс.тхт

 Vyacheslav
Гуглу не похуй на robots, он с удовольствием закрывает часть контента. Я лично просто считаю, что им проще навредить сайту, чем сделать что-то полезное.

 Sergeyka
Gossha: если закрытые страницы в индексе, то пох

или у нас разные понятия по индексу?

роботс для запрета индексации, но гугл все равно индексит, значит пох