SEO Studio
Модуль Spambase обновился до версии 1.0
Разработали абсолютно новый движок для Spambase и добились очень высоких скоростей: на Shared хостинге в 25 потоков при парсинге Google около 24к ресурсов в минуту при парсинге Yahoo около 17к (парсинг без проверки ресурсов по запросам типа inurl:guestbook, inurl:blog и т.д.). К сожалению, движок парсера MSN пока не закончен, поэтому текущая версия скрипта позволяет работать только с Yahoo и Google.
Основные характеристики скрипта:
- многопоточность;
- парсинг Google и Yahoo;
- проверка отпарсеных ресурсов (наличие форм, пригодна ли форма для спама, поиск ссылок на форму, определение PR и т.д.);
- экспорт данных;
- скрипт почти не использует прокси (используются в случае парсинга больше 500к ресурсов по Yahoo в сутки).
- возможность проверки собственных баз;
- отправка сообщения об окончании парсинга на e-mail.
На данный момент не решен вопрос с демо-доступом, т.к. если давать скрипт на тесты даже на 30 минут, то можно успеть собрать базу в 400-600к ресурсов :) Скриншоты интерфейса можно будет посмотреть на сайте.
Цена модуля 60$ (с последующими бесплатными обновлениями).
Последний раз редактировалось: SEO Studio (07/08/06 в 04:04), всего редактировалось 1 раз