Вопрос по GWT > Master-X.com

Тема: Вопрос по GWT

цитата
07/06/13 в 10:05

xDiver
Накосячил я значит с сайтмапом для нового сайта, и в него попали ссылки на галеры которых не существует, около 50к линок, и все это попало в GWT

Выглядит так:
http://dl.dropbox.com/u/5764925/Screenshots/vozh.png

Я уже 2 недели руками от туда удаляю по 1000, но почему-то он все равно продолжает добавлять и добаввлять их .. Сайтмап само собой пофиксил, и сделал ресабмит, но не помогло ...

Как вот дать гуглу понять чтобы он не индексил эти линки и вообще про них забыл, а то я затрахаюсь их удалять руками ?!

цитата
07/06/13 в 14:57

Platon
В файле robotx.txt
Disallow: /video/

цитата
07/06/13 в 14:59

xDiver
а если я планирую через какое-то время добавить в индексацию лиунки вида:
http://domain.com/video/12341/cool-teen-doing-blowjob

будут ли они индексироваться ?

цитата
07/06/13 в 15:01

Platon

тогда косяк. Надо думать.
мой вариант непройдет

цитата
07/06/13 в 15:03

Platon
а структу папки поменять? video на videos
Вариант!

цитата
07/06/13 в 16:20

xDiver
угу, спасибо !!! Так и сделаю

цитата
07/06/13 в 17:34

Salis
А чем мешают 404 в ГВТ?

цитата
07/06/13 в 21:52

xDiver
Salis: есть предположение что из за этого сайт попал под временные фильтры, СЕ трафа нет, хотя должен быть

цитата
07/06/13 в 22:00

Salis
xDiver: ну гугл врятли теперь забудет про урлы, даже если сменить video на videos, также будет 404. Что если вместо 404 показывать 50x ошибку?

цитата
07/06/13 в 22:11

xDiver
надо подождать посмотреть вариант что предложил vitamin

цитата
08/06/13 в 17:33

Salis
xDiver: отпиши как результат будет, интересно насколько 404 влияет на траф.

цитата
08/06/13 в 22:25

xDiver
хорошо, но я думаю месяца через 2 после того как пропадет последняя ошибка в gwt можно будет ждать результат

цитата
11/06/13 в 19:26

xDiver
что то не помогло с Disallow, все равно продолжают в еррор лог появляться линки на ранее спаршенные с сайтапа линки

есть еще варианты ? Готов заплатить за рабочее решение

цитата
11/06/13 в 22:43

11-11-11
подожди еще
а пока посмотри в стате сервера, обращался ли на эти url бот после изменений

цитата
11/06/13 в 23:44

xDiver

да даже если и не обращался, чтобы удалить другие 30к записей понадобится месяц с лишним ... Почему долбанный гугл добавляет только по 1000 ссылок в еррорлог себе, а не сразу все ...

цитата
11/06/13 в 23:57

11-11-11
а ответ сервера сейчас точно 404?
еще как вариант на эти страницы сделать ответ 410 (страница удалена)

цитата
12/06/13 в 00:06

xDiver
сейчас на эти линки выводится кастомная 404 страница

цитата
12/06/13 в 00:17

11-11-11
а что конкретно пишет GWT при нажатии на ошибку?
ну там где Сведения об ошибке, В файле Sitemap, Ссылающиеся домены
последние две вкладки интересуют

цитата
12/06/13 в 00:20

xDiver
в сайтмапе он эти линки нашел. Я же писал выше, он сграбил с сайтмапа 40к ссылок на несуществующии галеры, и теперь раз в день или два добавляет в еррор лог по 1000 этих галер, и я их удаляю. Как удалю через день-два он следующии 1к добавит и т.д

цитата
12/06/13 в 00:30

11-11-11
значит у гугла скаченный мап закешировался, и по идеи пока он не пройдет его, исправленный мап не скачает
в таких случаях надо отлавливать когда и куда обращались гугл-боты, иначе остается только гадать

ну или через GWT API удалять пачками

цитата
27/06/13 в 05:53

11-11-11
как успехи в удалении 404?

https://www.master-x.com/articles/article/620
Цитата:

Чтобы удалить контент из индекса, нужно, чтобы мы смогли просканировать его и обнаружить тег «noindex» или 404/410 код состояния HTTP (или, к примеру, редирект и т.п.). Чтобы просканировать ссылку, она не должна быть запрещена ("not disallowed") через robots.txt file.

цитата
27/06/13 в 09:53

xDiver
11-11-11: каждый день удаляю руками по 1к ошибок, осталось 12к, чуть меньше 2х недель

вот результат СЕ http://dl.dropbox.com/u/5764925/Screenshots/uzzk.png
так что моя теория что большое кол-во ошибок в GWT тем или иным способом влияют на индекс и ранжирование - скорее всего верна

Новая тема Ответить

Эта страница в полной версии