Доменные имена и имена файлов
Для спайдера, domain.com/, domain.com/, domain.com/index.html и domain.com/index.html разные url. Серферы окажутся на домашней странице сайта, какой бы из адресов они не набрали, но спайдеры видят их как разные url и это важно при подсчете PageRank. Лучше стандартизовать url, который вы используете для домашней страницы сайта. Иначе каждый url может иметь отдельный PageRank, тогда как все они должны были пойти только одному url.
Подумайте, как спайдер может узнать имя файла страницы, которую получит при запросе domain.com/ ? Никак. Имя файла может быть index.html, index.htm, index.php, default.html, и т.д. Спайдер не знает этого. Если вы поставите ссылку на index.html внутри сайта, то спайдер может сравнить ее с начальной страницей и понять, что они одинаковы, но это кажется маловероятным. Поэтому это 2 url и каждый получает PageRank от входящих ссылок. Стандартизация url домашней страницы гарантирует, что PageRank относится к ней и не делится с призрачными url.

Пример:
Посмотрите сайт с примером. Видите, url в поле адреса браузера содержит "www.". Если у вас установлен тулбар Google, то вы увидите, что страница имеет PR5. Теперь удалите часть "www." и вызовите страницу снова. В этот раз она имеет PR3, хотя это одна и таже страница. Фактически, это PageRank для невидимой страницы фрейма. Ссылки внутри сайта и на сайт использовали разные url для одной и той же страницы и разделили PageRank между ними. Это не лучший способ организации ссылок.
Представьте страницу domain.com/index.html. Индексная страница содержит ссылки на несколько относительных url; например products.html и details.html. Спайдер видит эти url как domain.com/products.html и domain.com/details.html. теперь, давайте добавим абсолютный url для другой страницы, только в этот раз мы отбросим "www." - domain.com/anotherpage.html. Эта страница ссылается обратно на страницу index.html, поэтому спайдер видит индексные страницы как domain.com/index.html. Хотя это и одна индексная страница, как и в начале, для спайдера это другая страница. т.к. она принадлежит другому домену. Теперь смотрите, что происходит. Каждый из относительных url на индексной странице тоже другой, т.к. принадлежит уже домену domain.com/. Следовательно, структура ссылок тратит потенциальный PageRank сайта, распределяя его между "призрачными" страницами.