Новая тема   Ответить

 Vyacheslav
Что за хрень, постоянно приходится вычищать из Crawl errors\Not found разномастные урлы, который в реалии нет и небыло.

На сайте есть несколько урлов такого вида:
http://domain.com/dir1/
http://domain.com/dir2/
http://domain.com/dirN/
http://domain.com/file1.html
http://domain.com/file2.html
http://domain.com/fileN.html
Эти урлы не генерятся скриптом, их число конечное, лежат себе статикой..

Что вижу в Crawl errors:
http://domain.com/dir1/dir2/ 404 (Not found) unavailable
http://domain.com/dir2/dir1/file1.html 404 (Not found) 1 pages
http://domain.com/dir2/dir1/file2.html 404 (Not found) 2 pages
...
Все возможные комбинации.

Если перейти по этим урлам, то в реалии показывается 404 ошибка задизайненая под сайт. В ответах сервера при вызове страницы отдаётся 404, т.е. гугл должен был понять, что это та самаяошибочная страница. Почему он тогда добавляет эти урлы в список Crawl errors и кто на них ссылается??

 ibiz
из личных наблюдений, заметил как гугл-бот ходит по урлам набранным в хроме, тестировал/отлаживал скрипт, утром гляжу полезли ошибки, полез в логи, а там гуглобот их краулит
возможно твои 404 урлы кто-то набирал в хроме или другом гугл-тулбаре...

 Stek
это обыкновенные граберы, которые просто обрабатывают твои страницы подставляя увеличивающийся счетчик числа вместо номера.

 Vyacheslav
Странно, что гугл фиксирует эти страницы. Сервер же отдаёт ему, что не найдено.
Может стоит убрать код гугл аналитикс из страницы выдаваемой вместо 404 ошибки?

 Vyacheslav
Это влияет как-то на качество сайта для гугла?
Теперь все эти страницы отправлять на удаление?