Новая тема   Ответить

 A-Parser Support
Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Google Indexing API
Парсер для добавления или удаления страниц сайта в Google через Indexing API

• Исправлена ошибка "Cannot init Parser: Error: EISDIR: illegal operation on a directory, read at Object.readSync"
  
• Изменения в логике обработки запросов
  

JS::MailValidator
Проверка существования e-mail адресов

• Исправлена проверка Icloud
  

Парсинг istio.com
Анализ текстов на сервисе istio.com (тошнота, водность, словари, тематика, статистика...)

• Исправлено получение информации
  
• Добавлена возможность выбора способа получения текста со страниц: HTML::TextExtractor или HTML::ArticleExtractor
  
• Небольшая оптимизация кода
  

Парсер отзывов Wildberries Reviews
Сбор отзывов по товарам с wildberries.ru в csv таблицу

• Обновление в связи с изменениями на ресурсе
  

Проверка категории сайтов через сервис cyren.com
Проверка категории сайтов через сервис https://www.cyren.com/

• Адаптация к изменениям на источнике
  
• Вместо Util::ReCaptcha2 теперь Util::ReCaptcha3
  

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 A-Parser Support
Сборник рецептов #64: скачивание видео из Instagram, проверка e-mail и переводчик Libre Translate

64-й сборник рецептов, в котором представлены парсер для скачивания видео из Instagram, пресет для проверки e-mail в сервисе EmailRep и парсер переводчика Libre Translate.

Instagram Reels Downloader
Парсер для скачивания видео из Instagram. Работает на основе встроенного парсера Social::Instagram::Post и в качестве запросов принимает ссылку на пост типа Video/Reel.


Проверка e-mail адресов в сервисе EmailRep
EmailRep - это система парсеров, сканеров и дополнительных сервисов, которая собирает данные об адресах электронной почты, доменах и интернет-персонах. Сервис использует сотни точек данных из профилей социальных сетей, профессиональных сетевых сайтов, утечек учетных данных в Darknet, утечек данных, наборов для фишинга, фишинговых писем, списков спама, открытых почтовых ретрансляторов, спам-ловушек, возраста и репутации домена, доставляемости и многого другого для оценки адреса электронной почты.


Парсер переводчика Libre Translate
Бесплатный API машинного перевода с открытым исходным кодом. В отличие от других API, он не полагается на проприетарных поставщиков, таких как Google или Azure. Вместо этого его механизм перевода основан на библиотеке Argos Translate с открытым исходным кодом.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 A-Parser Support
1.2.2347 - 2 новых парсера WordCraft и Instagram Search, поддержка puzzle каптчи в Яндексе



Улучшения

• Добавлены новые парсеры:
  • SE::Yandex::WordCraft - это часть сервиса Яндекс Вебмастер, с помощью которого вы можете подобрать целевые запросы для продвижения и рекламы, учитывая популярность и конкурентную среду
    
  • Social::Instagram::Search - поиск профилей, тегов, локаций по ключевым словам в Instagram
    
• Изменения в SE::Yandex:
  • добавлена поддержка новой puzzle каптчи, подробнее здесь и здесь
    
  • реализована возможность парсить через браузер, подробнее здесь
    
• В Social::Instagram::Post добавлен сбор ссылок на видео
  
• В Maps::Yandex добавлен вывод статуса закрытия организации
  
• В Check::RosKomNadzor добавлена поддержка реестра nap.rkn.gov.ru
  

Исправления в связи с изменениями в выдаче

• Исправлено получение картинки каптчи в Check::RosKomNadzor, а также в целом исправлена его работа
  
• Исправлена ошибка SC parameter was found в SE::Startpage
  
• Исправлена работа SE::Yandex::Video
  
• Исправлена ошибка определения регистрации доменов .au в Net::Whois
  
• Shop::Yandex::Market, SE::Google::Images, SEDuckDuckGo
  

Исправления

• Исправлено авторазгадывание в Util::Turnstile
  

 A-Parser Support
Сборник статей #19: проверка наличия контента на странице и уведомления в Telegram

Представляем 19-й сборник статей, в котором содержатся две статьи от нашего пользователя @Reset: определение наличия контента на странице с выводом в таблицу и уведомление о выполненном задании в Telegram.

Как определить наличие контента в теле страницы и вывести в таблицу
В качестве примера рассмотрено определение наличия некоторых модулей на сайтах Wordpress и его легко можно адаптировать под аналогичные задачи.


Уведомление об выполненном задании в Telegram
Ранее мы уже публиковали способ получения уведомлений о завершении работы задания через Цепочку заданий. А в этой статье показано как это можно сделать через PHP скрипт.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 A-Parser Support
Дайджест новостей A-Parser + акция на Premium прокси

Парсим базу для XRumer: медленно, но верно
Новая статья от нашего пользователя @Reset о сборе базы форумов для Хрумер.


Парсер всех видео с Youtube канала
Новый парсер в Каталоге, позволяющий собирать списки видео (с их характеристиками) из Youtube каналов.


Анализ скорости загрузки и юзабилити сайтов
Обновление парсера для измерения скорости загрузки страниц с помощью сервиса PageSpeed Insights.


Акция на Premium прокси
Только до конца июля 20% скидка на все пакеты премиум прокси от 20 до 500 гигабайт

• Proxies Premium 20 Gb / 1 week - $34 $27.20
  
• Proxies Premium 50 Gb / 1 week - $75 $60
  
• Proxies Premium 100 Gb / 1 week - $140 $112
  
• Proxies Premium 200 Gb / 1 week - $260 $208
  
• Proxies Premium 500 Gb / 1 week - $600 $480
  
• Proxies Premium 50 Gb / 1 month - $95 $76
  
• Proxies Premium 100 Gb / 1 month - $170 $136
  
• Proxies Premium 300 Gb / 1 month - $450 $360
  
• Proxies Premium 500 Gb / 1 month - $650 $520
  

Premium прокси - это возможность быстрого парсинга без бана IP и каптч, с возможностью выбора гео из любой точки мира!

Для оплаты используйте промокод PREMIUM-PROXY-JULY-20%-OFF в Личном кабинете на a-parser.com


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 A-Parser Support
Дайджест новостей A-Parser

Парсинг блока Интересно узнать из поисковой выдачи Яндекс
Новый пресет для получения данных из блока Интересно узнать поисковой выдачи Яндекса.


Парсер новостей с newsapi.org
Новый парсер в Каталоге для парсинга новостей с newsapi.org по ключевым словам через официальное API.


Подсказки amazon.com
Обновление парсера подсказок торговой площадки amazon.com.

• Обновлен url запроса
  
• Обновлена обработка результата
  

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 A-Parser Support
Видео урок: парсер новостей с newsapi.org

Новое видео по работе с A-Parser от DIM STUDIO в котором показан обзор парсера новостей с newsapi.org.



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 A-Parser Support
Дайджест новостей A-Parser

Парсер t-online
Парсер для сбора результатов выдачи и связанных ключевых слов из поисковой системы t-online.


Проверка категории сайтов через сервис cyren.com
Обновление парсера для проверки категории сайтов через сервис cyren.com

• Адаптация к изменениям на источнике
  

Парсер copart.com
Обновление парсера аукциона автомобилей copart.com

• Добавлена возможность парсить изображения
  

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 A-Parser Support
1.2.2396 - новый парсер Util::SMS, улучшения во встроенных парсерах + акция на Premium прокси



Улучшения

• Добавлен новый парсер Util::SMS - парсер для получения кодов из смс
  
• В Util::AntiGate добавлена возможность остановки всего задания при получении сообщения о низком балансе на сервисе разгадывания каптч
  
• В HTML::EmailExtractor добавлен параметр Search URL encoded e-mails
  
• В парсерах OpenAI::* добавлена опция API domain, которая позволяет задать свой домен для API запросов
  
• В Shop::Amazon добавлен сбор количества продаж
  
• В Maps::Google добавлен сбор booking link (данные о сервисе записи)
  
• В HTML::ArticleExtractor теперь доступно больше переменных, они полностью наследуются из Net::HTTP
  
• Обновлен список яыков в DeepL::Translator
  
• Обновлен список моделей в OpenAI::ChatGPT
  
• Добавлен инструмент tools.task.stop(), который позволяет останавливать выполнение задания в любой момент
  
• CapSolver для каптч Turnstile теперь не требует передачи прокси<
  
• Добавлена поддержка сервиса botlab.me в Util::AntiGate
  

Исправления в связи с изменениями в выдаче

• Изменения в SE::Yandex::Register, подробнее тут
  
• В парсерах SE::Google::KeywordPlanner::* исправлена авторизация по логин-паролю
  
• Исправлена работа Rank::MOZ
  
• Исправлена работа Util::Turnstile в режиме Auto
  
• В Shop::Wildberries::ProductInfo исправлена работа с некоторыми видами запросов
  
• Исправлен парсинг People also ask и Related keywords в SE::Google
  
• Частично исправлено получение количества товаров в Shop::Wildberries::ProductsList
  

Исправления

• Исправлен обход защиты Cloudflare
  
• Исправлено произвольное зависание в Maps::Yandex
  
• В Shop::Wildberries::ProductInfo переменная $data теперь корректно заполняется
  
• В SE::Yandex::WordCraft переименован результат $query в массивах $uqa и $uqg
  
• Исправлен баг из-за которого в Общем формате результатов не происходил сброс результатов при нажатии кнопки сброса
  
• Исправлена работа с прокси в связке Util::SMS + SE::Yandex::Register
  

Акция на Premium прокси
20% скидка на все пакеты премиум прокси от 20 до 500 гигабайт

• Proxies Premium 20 Gb / 1 week -$34 $27.20
  
• Proxies Premium 50 Gb / 1 week - $75 $60
  
• Proxies Premium 100 Gb / 1 week - $140 $112
  
• Proxies Premium 200 Gb / 1 week - $260 $208
  
• Proxies Premium 500 Gb / 1 week - $600 $480
  
• Proxies Premium 50 Gb / 1 month - $95 $76
  
• Proxies Premium 100 Gb / 1 month - $170 $136
  
• Proxies Premium 300 Gb / 1 month -$450 $360
  
• Proxies Premium 500 Gb / 1 month - $650 $520
  
  

Premium прокси - это возможность быстрого парсинга без бана IP и каптч, с возможностью выбора гео из любой точки мира!

Для оплаты используйте промокод PREMIUM-PROXY-20%-OFF в Личном кабинете на a-parser.com

 A-Parser Support
Дайджест новостей A-Parser

Парсим базу для GSA SER

Новая статья от нашего пользователя @Reset о сборе баз для GSA Search Engine Ranker.


A-Parser и CapMonster Cloud: Как быстро и эффективно решать капчи при парсинге

Статья об интеграции A-Parser и Capmonster Cloud.


Парсер prom.ua

Обновление парсера товарных позиций prom.ua

• Парсер переписан на API v2
  
• Исправлена ошибка TypeError: Cannot read properties of undefined (reading &#039;company&#039;)
  
• Исправлен проблема, что переменные $contactemail, $contactperson и $image всегда были none
  
  

Парсинг объявлений из olx.ua/olx.pl/olx.kz

Обновление парсера обьявлений из сайтов olx

• Добавлена возможность парсить olx.kz
  

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 A-Parser Support
Дайджест новостей A-Parser

Sensor Tower
Новый парсер в Каталоге для сбора данных о мобильных приложениях из сервиса Sensor Tower


Парсер Aliexpress товаров
Обновление парсера, позволяющего получить информацию о товаре на aliexpress

• Адаптация к изменениям на источнике
  
• $delivery теперь нету
  
• Теперь работает только с доменом https://aliexpress.ru
  

Анализ скорости загрузки и юзабилити сайтов
Обновление парсера для измерения скорости загрузки страниц и получения скриншотов сайтов

• Исправлен парсинг результатов $mobile_speed и $desktop_speed
  
• Добавлен парсинг новых результатов (Производительность) [i]$mobile_performance[/i] и [i]$desktop_performance[/i]
  

Pananames - доступность, цена домена
Обновление парсера, позволяющего проверить доступен ли домен и его цену

• Обновление в связи с усилением защиты на сервисе
  

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 A-Parser Support
1.2.2414 - новый парсер Reddit, улучшения встроенных парсеров, вебинар ZennoPoster + A-Parser



Улучшения

• Добавлен новый парсер Reddit::PostInfo
  
• В SE::Bing добавлена поддержка блока связанных ключевых слов справа
  
• В SE::YouTube::Video добавлена опция Login required is error
  
• Улучшена работа HTML::TextExtractor, некоторые текстовые блоки пропускались
  
• Улучшен поиск почт в HTML::EmailExtractor, не собирались почты у которых имя состоит из одного символа
  
• Обновлены заголовки запросов в Rank::MajesticSEO
  
• В Net::HTTP добавлена обработка бана IP при обходе CF
  
• В Net::HTTP добавлена опция Try use HTTP/1.1 for Protocol error, которая указывает парсеру повторить запрос с HTTP/1.1 если был включен HTTP/2 и получена ошибка протокола
  

Исправления в связи с изменениями в выдаче

• Исправлена работа с каптчей в SE::Google::Images
  
• Исправлен проход по пагинации в SE::Bing в некоторых случаях
  
• Исправлен парсинга subdomains в SecurityTrails::Domain, теперь требуется авторизация
  
• В Shop::Wildberries::ProductsList дополнительно исправлено получение $totalcount
  
• Адаптированы к изменениям на источниках: SE::DuckDuckGo, SE::Bing, SE::You, Shop::Yandex::Market
  

Исправления

• Исправлена ошибка при повторном разгадывании каптчи в Check::RosKomNadzor
  
• В Util::SMS убрано ошибочное сообщении о плохом конфиге
  
• В DeepL::Translator добавлен русский язык, ошибочно был удален в предыдущих версиях
  
• В SE::Yandex::WordCraft исправлены ошибки в логике работы и исправлена работа с каптчей
  
• В Shop::Wildberries::ProductsList исправлено заполнение $pages
  

Вебинар «Автоматизация SEO с помощью ZennoPoster: совместная работа с A-Parser»

Приглашаем вас на бесплатный вебинар, который проведет опытный пользователь ZennoPoster Astraport.

Когда: 3 октября в 19:00 по московскому времени
Спикер: Astraport

Этот вебинар предназначен для всех, кто хочет разобраться в актуальных тенденциях SEO, в каких задачах получения трафика на сайт поможет ZennoPoster.

Краткий план вебинара:

• Общие тенденции SEO.
  
• В каких задачах получения трафика на сайт поможет ZennoPoster:
  • Парсинг ключей с сервисов и исходного текста с сайтов конкурентов с помощью А-parser.
    
  • Генерация контента через нейросети (текст, картинки, видео).
    
  • Постинг на сайты или создание HTML.
    
  • Продвижение ссылочным и ведением своих соц. сетей.
    
• Вопросы и ответы.
  

Зарегистрируйтесь сейчас и присоединяйтесь к бесплатному вебинару, чтобы научиться работать с ZennoPoster совместно с A-Parser.

 A-Parser Support
Дайджест новостей A-Parser

Norton SafeWeb
Новый парсер в Каталоге примеров, позволяет проверять насколько безопасны сайты для посещения по данным компании Norton.


Google Finance
Еще одна новинка в Каталоге примеров: парсер для поиска акций, биржевых фондов и других активов через сервис Google Finance.


Парсер vseinstrumenti.ru
И еще один новый парсер в Каталоге - парсер для сбора данных о товарах на сайте vseinstrumenti.ru.


Обновление ранее опубликованных примеров

• Парсер prom.ua: адаптация к изменениям на ресурсе
  
  
• Сбор ссылок с GET параметрами: актуализация пресета, SE::Google::Modern заменен на SE::Google
  

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 A-Parser Support
Дайджест новостей A-Parser

Генератор картинок BlinkShot
Парсер для сервиса BlinkShot, который генерирует изображений почти в реальном времени с минимальными задержками и без цензуры.


Парсер tgstat.ru
Парсер информации из tgstat.ru. Состоит из 2-х пресетов: парсер ссылок из категорий tgstat.ru и парсер информации со страниц каналов и чатов.


Парсер habr.com
Парсер постов на habr.com. Собирает информацию о постах по ключевым словам с проходом по пагинации и возможностью сортировки.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 A-Parser Support
Дайджест новостей A-Parser

Sucuri sitecheck
Парсер для проверки безопасности сайта через сервис Sucuri. В качестве запросов принимает домены, а в результат по-умолчанию выводит рейтинг, список черных списков, в которых числится домен, информацию о сертификате, список IP, CDN и конечный URL редиректа.


Разбивка результата по времени
Пример шаблона для Формата имени файла результата, который создает новый файл результата каждые N секунд.


Парсер prom.ua
Обновление парсера для парсинга товарных позиций prom.ua. Исправлены следующие ошибки:

• Когда парсер находит 0 товаров, он идет на новую попытку
  
• Когда доходит до последней страницы, парсинг останавливается
  

Генератор картинок BlinkShot
Обновление парсера для сервиса blinshot.io. Реализованы следующие изменения:

• Добавлен Consistency mode
  
• API запрос адаптирован к изменениям
  

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 A-Parser Support
Видео урок: разбивка результата по времени и числу строк

Новые видео по работе с A-Parser от DIM STUDIO:

В первом видео показано, как использовать A-Parser для разбивки результата по времени. Готовый пресет доступен здесь.



Второе видео демонстрирует метод разбивки результата по числу строк. Готовый пресет доступен здесь.



Плейлист со всеми видео уроками от [b]DIM STUDIO[/b]

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!