Новая тема   Ответить

 Lуnx
Наконец таки написал, как мне кажется, вполне профессиональный парсер сразу нескольких поисковых систем(google,msn,yahoo)
Основной упор был сделан на создании такого алгоритма, которому бы соответствовало максимально возможное качество парсинга и одновременно высокая его скорость.
Скрипт может парсить выдачу сразу нескольких поисковых систем под различными прокси адресами, различными зонами, на любую(уместную) глубину запроса.
Также введен алгоритм, благодаря которому можно определить с высокой долей вероятности, будет ли являться результат следующего запроса аналогичным(на сколько близким вы задаете сами – параметр “эпсилон окрестность”) к результату текущего запроса. На основании этих данных парсер сам решает парсить ли ему этот киворд дальше, и если да, - то по каким параметрам, чтобы получившийся результат был максимально отличен от текущего, а значит наиболее результативным.
Встроен чекер прокси, благодаря которому, парсинг может пройтись всего лишь при использовании нескольких проксей. Скрипт считает любого рода погрешности для каждого из соединений, а дальше циклическим методом "ищет выход" - подбирает работоспособные параметры для текущего киворда опять же, с целью достижения максимальной результативности.

Еще одна приятная вещь: процесс парсинга запускается в фон , то есть вы можете подготовить интересующие вас киворды, нажать на кнопку “Поехали))” и отправляться спать.Параллельно этому будет вестись подробный лог файл. При желании можно указать свой почтовый ящик. На него будут сразу же посланы результаты парсинга .

Вообщем я перечислил одни из основных возможностей парсера, которые вы можете и сами в принципе заметить. Дальше идет жестокая мат. часть.

Посмотреть на сам парсер вы можете пока здесь
– там же описание и характеристики.
Тестовый логин: lynx
Пароль: demo
(Поставил некоторые ограничения в demo версии, чтобы любители халявы не повесили мне сервер)


Ps.Золотое правило: скорость парсинга прямо пропорциональна качеству проксей – не забывайте об этом!
И еще,если часто появляется надпись may be repeit - то просто поставьте эпсилон поменьше.

Итак окончательная цена парсера: 20 $

ася здесь:262-948-112

 ibiz
так он парсит только урлы... а тайтлы, дескрипшны где?

 Lуnx


А нужны? Для меня написать это не проблема-добавить пару строчек,просто изначально цель была другая.

 ibiz
Lуnx писал:

А в чем тогда его привлекательность по сравнению с другими?

 Lуnx
ibiz писал:
Я что зря распинался тут
На самом деле я не видел других парсеров,поэтому затрудняюсь тебе ответить на этот вопрос.
Могу лишь привести итог его работы.Через 20 или 30 минут по почте получил 21713 уникальных урл на три кейворда.Собственно ради этого и старался.

 NoBoDy
ibiz писал:

А зачем?

 popsak
потерто

 Lуnx
NoBoDy писал:
Да вот тоже думаю зачем...это же не дор.генератор)

 Zmey Горыныч
а для чего он ???

 Lуnx

шутки не уместны

---------------------------------
если нужен парсер мета тегов и заголовков...пожалуйста,но за отдельную плату

 Andryxa
http://bestsearchpro.com/paxil/bin/pars/yahoo/parsed_02-25-14-57.txt
Смотрим этот отчет. Запросы были "знакомста" и "asian porn"
я нифига не пойму... почему в отчете есть google.com, adobe.com, cars.com и другие
это баг или что?

 Lуnx
Нет ни баг. На Рунет парсер не заточен, тобишь кириллицу свою подальше)

А вообще выдача улыбнула

 ibiz
Lуnx писал:

А в чем проблемы кирилицу передать гуглю?

 Tony Montana
ibiz писал:

Он расчитан на енг работу, видимо.
Ру кейворды парсить в Яше лучше...

 Lуnx
Я никому не собираюсь ничего доказывать,те кому надо - уже купили скрипт.
Спасибо,тему можно считать закрытой!

 ibiz
Оффтопик: ...тоже чтоль начать всякую куйню продавать по 20 баков

 Lуnx
ibiz писал:
не флуди: для тебя КУЙНЯ, а для другого полезная вещь в хозяйстве

 Andryxa
Lуnx писал:

уже догадался, но яху на кириллические киворды ничего не выводит. Следовательно, ничего и скрипт не должен парсить, а парсит остальное. Только каким раком туда попали cars.com, adobe.com и пр.?
Вот сам введи в яху "asian porn", и там такого не будет

 Lуnx
Andryxa писал:

Ты какие параметры вводил.Я только что пропарсил яху на 800 ссылок по самым порнушным кивордам,какие только могли прийти мне вголову,никаких белых сайтов там и близко не было! Проверь внимательно,плиз,настройки

 Andryxa
Not Found

я не упрекаю в том, что что-то не так. Просто обрати внимание. На тот момент было 2 киворда: "знакомства" и "asian porn". И выдал такие результаты