zombi
Решил посмотреть как гуглбот ползает по сайту. Страниц много. Заметил такую картинку - сначала он просматривает страницы с самым коротким адресом, потом на одну букву больше и т.д. Красивые такие горки из букв получаются в файле статистики заходов гуглбота.
Практического применения этому наблюдению пока не вижу, просто интересно.
Возможно это только новых страниц касается, потому что потом при более редких заходах гуглбота этой тенденции уже нет или просто я её не вижу.
Мне интересно когда бот просматривает страницы он всегда подписывается +http://www.google.com/bot.html или может прикинуться каким-нибудь фаерфоксом или вообще незаметно для меня просмотреть страницу? И ещё, Гугл Аналитикс может давать данные боту какие есть ссылки на странице, чтобы их посетить, или сначала всё-таки должен зайти бот и найти эти ссылки?
zombi
xp-ViT писал:
а сайтмапа у тебя есть? может в ней всё так отсортировано?
На одном сайте есть, но там ничего не отсортировано - посмотрел специально только что. На другом сайте нет, а эффект наблюдается на обоих.
Grut
+1 к теории про оптимизацию скорости обхода. Думается, что бот, перед тем как получить список ссылок для посещения, сортирует их по длине, чтоб отсечь те, у которых знаков в урле больше значения Х