Master-X
Форум | Новости | Статьи
Главная » Форум » Поисковые Системы » 
Тема: SE and CJ
цитата
09/12/03 в 23:09
 re
Бывает так, что индекснет гугл, например, пагу сиджа, да как повалит трафф, не знаешь куда девать icon_smile.gif А зайдет через недельку и все.... Отсюда встает проблема отдельной паги-морды для поисковиков, что бы была оптимизирована да статична.
Не подскажете можно ли указать в качестве трейдера отдельную морду для бота, например для гугла: http://www.googlebot.com/, или же этот вариант не срабатывает. (первые пробы для того самого гугла оказались, в моем случае, неудачны, все равно индексация дефолтовой морды прошла)
цитата
10/12/03 в 02:35
 Pentarh
Если уж клоаку делать, то не такую банальную. Пеналя получишь. А лучше ваще таким не заниматься. Пусть будет то, что есть. Хотя...

На индексе размести чего-то для гугля и пусть бегает. А на СЖ морду хз. Пусть тож бегает.
цитата
12/12/03 в 22:15
 ulcer
re писал:
Бывает так, что индекснет гугл, например, пагу сиджа, да как повалит трафф, не знаешь куда девать icon_smile.gif А зайдет через недельку и все.... Отсюда встает проблема отдельной паги-морды для поисковиков, что бы была оптимизирована да статична.
Не подскажете можно ли указать в качестве трейдера отдельную морду для бота, например для гугла: http://www.googlebot.com/, или же этот вариант не срабатывает. (первые пробы для того самого гугла оказались, в моем случае, неудачны, все равно индексация дефолтовой морды прошла)


только клоку делать надобно.

http://www.googlebot.com/ --- а это что такое???
цитата
13/12/03 в 00:22
 Pentarh
Ходит легенда, что гугльбот так себя рефером отмечает. Но фильтровать по этому признаку - прямая дорога в бан. Я его немного по другому определяю icon_smile.gif
цитата
23/12/03 в 16:01
 aZ
Определяйте через .htaccess , как клиент идентифицируется - Mozilla или нет. Если нет, то подсовывайте страницу для SE. К примеру, туда можно написать, что "у вас клиент не Mozilla и т.п. и по этому идите сюда, почитайте это и т.п.". icon_smile.gif

Теперь, как это сделать. Бана/пеналя за такой способ не получал.
Цитата:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} !Mozilla
RewriteRule ^$ se_content_index.html [L]

Где se_content_index.html главная страница.

Примечание: у серферов, которые сидят под оперой и если у них в настройках выставленно "идентифицироваться, как Opera", будет выдаваться se_content_index.html , как и у остальных "не Mozilla".
цитата
23/12/03 в 17:55
 bibigon
под Мазилой тоже блин роботы ходят
цитата
23/12/03 в 21:04
 aZ
Цитата:
под Мазилой тоже блин роботы ходят

Пускай ходят. Тебе эти роботы надо?
цитата
23/12/03 в 21:27
 bibigon
Инктоми надо однозначно.
Не заывай, что Яхха может в любой момент с базы гугла соскочить и процентов 40% трафа йок
цитата
23/12/03 в 21:44
 aZ
Вообще-то изначально вопрос был такой.

Цитата:
Не подскажете можно ли указать в качестве трейдера отдельную морду для бота, например для гугла:
цитата
23/12/03 в 22:09
 bibigon
это-то понятно
просто я к тому, что бы топикстартер не забывал, что кроме гугла еще поисковики есть.
Самый грамотный подход - это по апи - но он же самый дорогой.
цитата
25/12/03 в 13:13
 ulcer
Pentarh писал:
Ходит легенда, что гугльбот так себя рефером отмечает. Но фильтровать по этому признаку - прямая дорога в бан. Я его немного по другому определяю icon_smile.gif


Googlebot/2.1 (+http://www.googlebot.com/bot.html)
зачЭм легенды, вот тебе его юзверь агент.

Mozilla/5.0 (Slurp/cat; slurp@inktomi.com; http://www.inktomi
Mozilla/5.0 (Slurp/si; slurp@inktomi.com; http://www.inktomi.
вот инктомавские.
так что по мЕрзиле клочить не реально, не только этот бот представляется как мозила.

реальный клок выходит только по IP, а это, как уже было сказано стоит денег. и зачастую себя не оправдывает.


Эта страница в полной версии