Semen!
Сорри, если баян - не нашел толком ничего.
Всегда интересовало как поисковик определяет уникальность контента? Индексирует страницу, а затем сравнивает ее контент со всеми ранее проиндексироваными страницами?!? С технической точки зрения -
каждую новую страницу сравнивать с миллиардами других - это реально разве?
begemot
сам когда-то этим заинтересовался и все нашел в гугле
где-то у меня лежит .pdf документ с описанием, если найду - скину