dizziness
Пишу парсеры/грабберы сайтов на php/curl и nodejs/phantomjs с веб-интерфейсом и без.
Возможности:
пасринг открытых сайтов и требующих авторизации в т.ч.
решение капчи через anti-captcha.com(1$ за 1000 капч)
phantomjs выполняет любые js скрипты и редиректы как нативный браузер, сайт не поймет что его парсят.
работа через прокси, мультипоточность.
cron like настройка периодичности парсинга.
выгрузка видео, аудио, картинок
веб интерфейс
данные сохраняются в mysql/sqlite/mongodb/txt etc.
api для ваших приложений, выдаем данные в json/xml etc.
экспорт данных в сторонние сервисы по api.
email/sms уведомления.
запуск на сервере или локально.
а так же автопостинг, авторегеры и т.д.
подробности в л.с.
Последний раз редактировалось: dizziness (16/01/17 в 22:42), всего редактировалось 2 раз(а)
dizziness
Простейший пример, скрипт сбора ключей с любых tube/tgp сайтов
Элементарная настройка, работает на любой платформе win/linux/mac.
нужны только три параметра:
1. начальная страница.
2. кнопка next page
3. xpath элемента содержащего keyword
видео с забойной музыкой(проверьте уровень громкости)
