Новая тема   Ответить

 lofti
Datacol – это универсальное средство для "добычи" любых данных, доступных в интернете. Datacol является десктопным решением, написанным на C#. Программа может экспортировать полученные данные в Excel, CSV, WordPress и DLE (+готовится экспорт в Joomla) (а также фришные блоги на wordpress.com). С автором можно обсудить доработку экспорта в другие форматы и CMS. Datacol также умеет многократно пропускать напарсенный контент через сервис Google Translate.

Создавая новые профили настроек и комбинируя различные опции Datacol, вы можете легко реализовать:

• Парсер контента по ключевикам;
• Парсер контента по списку URL;
• Парсер выдачи поисковиков;
• Парсер SEO параметров сайтов с различных сервисов для их проверки;
• Парсер Яндекс Маркета;
• Парсер email;
• Чекер индексации сайтов;
• Парсер объявлений;
• Парсер интернет магазинов;
• Парсер внешних и/или внутренних ссылок с сайта;
• Парсер прокси адресов;
• Парсер картинок.
• Парсер, позволяющий проверять позицию сайта по определенным запросам в поисковике;
• Парсер музыки, парсер картинок и других всевозможных файлов;
• Парсер форумов на любых движках;
• Парсер результатов работы Javascript.
• И МНОГОЕ ДРУГОЕ!!!




Функциональность Datacol также увеличивается тем, что программа может работать через список проксисерверов, авторизоваться на сайтах перед получением данных, а также подключать внешний браузер для обработки Javascript!!!.

Программа снабжена отличной иллюстрированной справкой. В ней также имеется удобный встроенный браузер, который можно использовать для:
- подбора регулярных выражений;
- подбора XPATH выражений;
- перехвата Cookie;
- перехвата POST данных, передаваемых при запросах к веб страницами;
- тестирования загрузки страниц с передачей различных Cookie, POST данных, useragent, рефереров и HTTP заголовков.

Обратите внимание, что встроенный браузер можно использовать без ограничений даже в бесплатной демо версии Datacol!

На сайте автора можно скачать демо версию программы (она отличается от полной только отсутствием возможности экспорта результатов). Там же можно найти ссылки на отзывы).

С условиями приобретения Datacol можно ознакомиться здесь. Я являюсь официальным дилером программы, поэтому если вы при запросе на активацию укажете имя дилера lofti, то сможете получить скидку в 10$.

АСЯ автора: 6ДВА41НОЛЬ419СЕМЬ
Моя ася: 43526882ШЕСТЬ
Официальный сайт Datacol

 Yacc
Цитата:
По-умному это называется data mining.

 lofti
точнее говоря не "по умному", а на английском))) Я же здесь вроде как на русскоязычную аудиторию рассчитываю.

Программа дополняется новыми возможностями. Появилась функция вставки ключевиков, перевода результатов парсинга через Google Translate (с поддержкой прокси). Также добавлены новые возможности загрузки изображений и файлов.

В качестве дополнительных примеров решаемых задач, на базе Datacol собран массовый чекер возраста доменов и универсальный парсер контента по ключевикам.

 lofti
На днях вышла вторая версия Datacol 2.0 AutoTune.

Главным отличием от первой версии является возможность визуальной настройки сбора данных. Теперь сбор данных можно настраивать буквально в несколько кликов мыши даже без знания регулярных выражений. Пользователю нужно просто кликнуть по нужному ему блоку информации на сайте и Datacol автоматически сгенерирует формулу для сбора.



Также добавилась возможность прямого экспорта результатов парсинга в базу данных Mysql и возможность многостороннего автоперевода спарсенных данных через сервис Google Translate.

Кроме того, была добавлена возможность расширения функциональности с помощью плагинов. Например недавно для одного покупателя был сделан плагин для получения данных из закрытых обсуждений Vkontakte.