Новая тема   Ответить

 paradox
Помогите правильно составить роботс.тхт под данный движок. Заранее благодарен

 paradox
Неужто никто не поможет?

 nixtoo
А в тех саппорт к ним обратиться, неужели не помогут?
Или как вариант найти уже готовые сайты на KVS и глянуть robots.txt у них.

 Gossha
зачем огород городить?

Что там не так, чтобы под этот двиг. должен быть свой robots

 HST
Использую такой robots для тьюбов на KVS:

User-agent: *
Disallow: /tags/
Disallow: /get_file/

User-agent: Baiduspider
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

 Skat
robots.txt для квс тут особо непричем, если уж задались целью закрыть от индексации технические зоны, то тут просто принцип знать и не важно какой скрипт

 Sergeyka
вообще гугл подскажет, посмотри что у него в индексе по твоему сайту, и что не надо - закрой, я так делаю

 paradox
Спасибо, бро
уже /js/ и /admin/ закрыл

 Sergeyka
paradox: пожалуйста

 paradox
теги стоит закрывать от индексации?

 Sergeyka
paradox: попробуй уникализировать тэги

или канонический тэг поставить на них

 paradox
Sergeyka писал:

Спасибо

 Vyacheslav
Sergeyka писал:

Канонический тег должен ссылаться на первоисточник. Его не добавляют в список параметров тега A. Как его можно добавить к тегам?

 MadDok
HST писал:
А теги зачем блокировать?

 Sergeyka
MadDok писал:

дык тэги в простом варианте - куча дублированного контента

 MadDok
Sergeyka писал:
просто как бы вижу в топе очень много тубов. именно с такими тэгами и там ничо не закрыто, вот и интересно стало.

 Vyacheslav
Тоже считаю странным всякого рода теории, когда в топе есть опровержения..
ХЗ, одни плодят теги, чтоб увеличить кол-во страниц, другие закрывают. Как на мой взгляд, всё это туфта. Такая оптимизация появляется на форумах, где ищут любой предлог в оправдание плохой трастовости сайта. Напоминает анекдот про автомобиль "а ты фары тряпочкой протирал по часовой стрелке?".. Больше всего такой хуйни моджно начитаться на сёрчэнжайне.
Если представить гугл в образе рободьявола, то он читая всю эту хуйню смеялся бы во все зубы - "Тэги, шмэги.. - сайт свежий, домен - гавно, конкуренты уже с жиру лезут от внешних ссылок и статсам. Я бы и рад тебя брат впихнуть, но уже некуда! Все места разобрали!". А Мед Кэтс придуиывает всякие мудаческие видео ролики, чтоб вебмастеров было чем занять. (Бля ну ведь там 99% очевидные вещи!) А смысл один: сайт не интересен пользователю + ссылочная масса слабая в сравнении с конкурентами и хуй тут напаришь бота!