Новая тема   Ответить

 Alexaus
Заметил что много урлов кастомных галер сиджа в инструментах гугл для вебмастеров имеют статус "заблокирован файлом роботс тхт" при том что в самом файле роботс все разрешено к индексации.

Кто может подскажет, что сделать чтоб гугл проиндексировал эти гали?

Ведь иначе весь смысл кастомных галь для СЕ теряется

 Vyacheslav
Если в роботс ты 100% уверен, то иди в настройку параметров GWT
URL Parametrs - Там есть правила для &s=.., &u=.., и т.д. Правила поведения индексации выставлены по дефолту.
Тут уж сам решай, что гуглу разрешать, а что нет.

 Alexaus
в урлах нет параметров, используется мод рерайт и ЧПУ, но за информацию спасибо

 Rockman
А в сайтмапе эти гали присутствуют?

 Sergeyka
запихнуть эти гали в блог самый быстрый способ

обычная практика такова, кастомные гали пихают по сиджам и так же по блогам

 Vyacheslav
Странно. Гугл хавает страницы, на которые нихуя не ссылается. Мэд рекомендует их закрывать htaccess. При этом люди рекомендуют для индексации вставлять страницы с галереями в сайтмап и блог! Это старницы, на которых тысячи браузеров и тулбаров в день бывают..
Вы о чём?! Тут нужно искать уже проблему, а не заниматься косметикой.

 Sergeyka
Vyacheslav писал:


наивный, все зависит от тумбы, если она повисев на морде ушла в аналы, то хуй ее от туда чем достать, а если в это время небыло бота на морде он ее и хуй увидит
или ты думаешь гугль бот сидит на сидже или приходит вакурат по графику ротации тумб?

кроме того, существует мнение, что чем больше папок от корня, тем труднее индексация

 Sergeyka
Vyacheslav писал:

для начала я бы все же попробовал ручками скормить гуглу гали, через блог как писал, проанализировать состояние дел и потом уже принимать меры

 Vyacheslav
Не надо рассказывать про военные гарнизоны.
admin.cgi вылазят в выдачу.

Sergeyka писал:

Ахуенное заблуждение в обоих высказываниях!
Расскажу специально для тебя (считаю, что для других это уже давно очевидно), чтоб ты больше не вводил людей в заблуждения.
Гуглу достаточно один раз побывать на странице, чтоб её добавить в выдачу. Причём имеется ввиду не обязательно бот! Достаточно открыть страницу с "правильно" настроеным гугл тулбаром или google хромом, а затем уже туда пойдёт бот.
А там уж похуй на аналы или куда ещё там тумба уйдёт ибо не надо на неё слить килотонны трафа и нассылать кучу ссылок. Не зря недавно был кипишь по подобной теме, когда поисковые системы регистрировали промежуточные страницы с персональными данными, которые формировались на лету. Разбор был по поводу яндекса, но не менее громко подобное бывало и на гугле. По этому поводу специально выложено видео на гугл блоге, где рассказывается, что страницу надёжнее закрыто только htaccess Похуй как её спрятать, гугл найдёт её при первом попадании информирующего браузера на данную страницу. (Это не касается топика, не буду искать)

Топикстартер сказал, что страницы видны гуглу, но получили сстатус restricted by robots.txt Как теперь может блог или ещё какой-то маразм помочь этим страницам выйти в индекс? Это только чтоб понаделать абы чего!

А про папки,.. уж сам понимаешь, что это только мнение. Причём подозреваю откуда такое мнение может идти. Такой бред только на сёрче могут придумать.

 Sergeyka
я не читаю серч, я по опыту все


Vyacheslav писал:

ну да, а если нет тулбара и хрома как тогда?

расскажу, столкнулся тут с проблемой, гали были проиндексины с датой 2007 года, я несколько раз менял на них контент, в кэше стояли даты 2007 года, т.е. раз проиндексив гугл забил болт на дальнейший чекинг

и никакие нахуй тулбары и хромы не помогли переиндексить контент

пока все ручками не сделал

это к чему, а да, так вот, если какая то трабла была во время посещения бота то больше гугл не наведывался, это факт! Который я подтвердил неоднократно на своих ресах, если страница статична, как гали, то он ее индексит только раз и все

По этому, для начала и предложил попробовать, дабы понять какого рода проблема, пропихнуть гали ручками.

И послендне

Vyacheslav писал:

ты у нас истина в последней инстанции

 Vyacheslav
Я не претендую на инстанцию! + я не про разгадки секретных алгоритмов рассказываю, не личное мнение, а про те факты, что документированы и выложены для вебмастеров.

Sergeyka писал:
Ага и ещё и сама пага лежит на локальной машине и зашифрована трукриптом!!..
Понятно, что пагу должно пару сотен людей посмотреть или уж сам вебмастер на худой конец хотябы один раз!

 Sergeyka
Vyacheslav: но факт остается фактом, раз проиндексиная пага остается в кэше и пока не пихнешь он ее не переиндексит

 Alexaus
в индексе гугля сейчас около 2000 страниц сиджа,еще недавно было 3000, сайтмап токо недавно запостил, с него проиндексирована токо 1 страничка.

гугль активно хавает сидж, до 1500 кликов в сутки

заблокировано гуглей уже больше 1600 урлов - гали и хтмл странички с пикчами

есть некоторые подозрения, проверю - озвучу

 Sergeyka
скинь пример гали в личку ?

 Alexaus
Да в принципе урл сиджа не секретный, youngteenporngalleries.com, а вот галя для примера http://youngteenporngalleries.com/scj/tube/?content_id=5ab938fd6ea7…ip_cache=1

 Sergeyka
гы, ну и че ты хотел?

это же твой роботс

User-agent: *
Disallow: /scj/

ты запретил индексацию папки /scj/

естественно гали такого вида
http://youngteenporngalleries.com/scj/tube/

будут заблочены

открывай индексацию этой папки, а если хочешь в ней конкретно что то забанить для гугла, то так конкретно и пропиши

типа
User-agent: *
Disallow: /scj/huy.html

 Diablo
у меня вообще не открылась ни галера , ни сидж - макс кол-во коннектов к мускулу было

 Alexaus
на морде ссылки не идут через /scj/, я скопировал урл гали из админки просто чтоб галю показать без скима, а насчет того, что недоступен - бывает, хостинг дешёвый

 Diablo
ну вот и причина .
сделай так чтоб гуглботу всегда галеры открывались - не будут из индекса вываливаться , и ошибок в gwt не станет

 Vyacheslav
"заблокирован файлом роботс тхт"

 Sergeyka
Alexaus: все равно открой, по факту они идут через эту папку все

 Sergeyka
вообще странно, я делаю ручками хтмл странички - то бишь гали, а то что потом появляется через скрипт, я это закрываю, грубо говоря у меня
domain.com/porn/fuck-porn/

урлы живут на домене, а урлы такого плана, который генерит скрипт

domain.com/gallery/fuck-porn.html&id1234&www.domain.com/porn/fuck-porn/

я заблочил, по сути второе есть точная копия первого, зачем плодить дубли?

 Vyacheslav
Sergeyka писал:
Ни в коем случае. Даблы должны быть закрыты.

В GWT показывает, что заблочены
domain.com/gallery/fuck-porn.html&id1234&www.domain.com/porn/fuck-porn/
или
domain.com/porn/fuck-porn/
?
Если только domain.com/gallery/fuck-porn.html&id1234&www.domain.com/porn/fuck-porn/ , то всё верно, ничего менять не надо. Если и те и те, то где-то снова ошибка.

 Alexaus
/scj/ я закрыл уже позже, после того как выявил заблокированные гали, так что это думаю не при чем, вот пример одной из заблокированных страничек http://youngteenporngalleries.com/gallery/naughty-teen-has-a-cock-i…99e/3.html

 Synchro
У трейдера твоего в robots.txt что-то закрыто. В этом отношении статика, приятней, конечно.