Выкладываем свои robots.txt

Главная » Форум » Блоги и Социальные сети »

Тема: Выкладываем свои robots.txt

цитата
18/01/09 в 21:00

andreich
создал вот топик в стиле CyberDesire

думаю будет полезно для всех, разобрать данный вопрос.

Я не использую robots.txt, но размеры логов на сервере меня начинают напрягать, да и есть один момент, я не пойму как закрыть индексацию поиска по блогу

цитата
18/01/09 в 21:41

Corex
Юзаю довольно обычную схему - исключены фиды, админка, логин/регистер, + отдельное разрешение для гугл-имэйджес и путь до сайтмепа. Где-то с вариациями, где-то не юзаю вообще и особой разницы пока не вижу. Порой кажется, что боты глубоко забивают на роботс, т.к. не только индексят, но ещё и в выдачу пихают (несколько раз даже логин/регистр страницы вылазили).

Вот тут неплохой конфиг собран, можно кусками растащить по необходимости: http://www.askapache.com/seo/wordpress-robotstxt-seo.html

Цитата:

как закрыть индексацию поиска по блогу

Синтаксически вот так должно работать: Disallow: /*?s=*

цитата
18/01/09 в 21:45

Stek
Многим поисковикам пофигу этот robots.txt Тот же гугл его тупо игнорирует, единственное что не показывает запрещенные странице в результате поиска. Но тем не менее сканит их.

цитата
18/01/09 в 21:55

andreich
Corex: Stek: Спасибо, вот поэтому и не юзал, что google вообще до фоноря помойму, но изи того что у меня нет robots.txt растут логи, да и в какойто мере это ошибка, тоесть бот запросил а ему хуй, он может и обидеться, вот к чему я клоню

P.S. кстати многим совет, смотрите почаще domen.com-error_log - иногда открывается много чего интересного
наприер недавно обнаружил около 1К траффа идущего в топку, немного подрехтавал, результат был получен через пару дней

цитата
18/01/09 в 22:03

Stek
andreich: сделай проще, найди любой похожий блог и посмотри его роботс.тхт.
Вот у мастера к примеру такой https://www.master-x.com/robots.txt ^)

цитата
19/01/09 в 11:30

High_Contrast
Цитата:

Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/

Disallow: */trackback/
Disallow: */feed/

Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

цитата
19/01/09 в 13:00

LOVE
Robots.txt для Wordpress

цитата
19/01/09 в 16:12

Venril
Я не слишком верю в дубликат, но robots.txt использую. На нетпонде недавно поднимал этот вопрос:

http://www.netpond.com/blogging-forum/143155-wordpress-duplicate-co…s-txt.html

Конечно мой вариант далеко не идеален, поэтому интересно посмотреть, как делают другие.

цитата
20/01/09 в 02:20

Udaff
что то я установил этот robots.txt что в примере выше и хуяк счетчик гугл аналитикс траф перестал показывать... Че за байда? вроде больше я нигде не рылся....

цитата
20/01/09 в 07:28

High_Contrast
Так что, может вообще удалить robots.txt ?

Новая тема Ответить

Эта страница в полной версии