Master-X
Форум | Новости | Статьи
Главная » Форум » Реклама, Объявления » 
Тема: A-Parser - продвинутый парсер ПС, PR, WS, более 35 парсеров!
цитата
21/05/26 в 19:19
 A-Parser Support
Сборник рецептов #65: проверка DMCA в Google выдаче, парсинг Wayback Machine и Steam Market

65-й сборник рецептов, в котором представлены парсер для проверки запросов DMCA в Google выдаче, парсер сохранённых страниц Wayback Machine и парсер Steam Market.

Проверка запросов DMCA в Google выдаче

Парсер проверяет наличие DMCA-уведомлений внизу выдачи Google. В качестве запросов можно указывать любые поисковые запросы, которые возможны в браузере: домены, операторы Google, обычные ключевые слова и другие варианты. Подходит для быстрой проверки, есть ли по запросу ограничения или жалобы DMCA в поисковой выдаче.




Парсинг Wayback Machine

Парсер веб-архива собирает данные о сохранённых страницах из WebArchive / Wayback Machine. Можно задать начальный и конечный год парсинга, а в результате получить список архивных копий страниц с датой сохранения, ссылкой на архивную версию, исходным URL и заголовком страницы.




Парсер Steam Market

Парсер Steam Market собирает данные из поиска торговой площадки Steam. В качестве запросов принимает ключевые слова, например case или ak 47. В результатах доступны название товара, название игры, изображение, количество и цена.




Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в X.

Все сборники рецептов

Последний раз редактировалось: A-Parser Support (18/06/26 в 06:07), всего редактировалось 2 раз(а)
цитата
29/05/26 в 11:43
 A-Parser Support
1.2.3390 - полное восстановление работы SE::Google, новый docker образ aparser/runtime:headful




Улучшения
  • Полностью восстановлена работа парсера SE::Google под Linux и Windows
  • В SE::Google добавлена опция Write Google timeout HTML (по умолчанию отключена)
  • В SE::Bing::Translator актуализирован список языков

  • В Net::Whois добавлена поддержка домена .us.com

  • В Util::Turnstile добавлена поддержка сервиса разгадывания BotLab
  • Добавлен docker образ aparser/runtime:headful - помогает увеличить скорость парсинга в SE::Google

Исправления в связи с изменениями в выдаче
  • В SE::Google исправлены некоторые ошибки парсинга (включая timeout ошибки), возникающие из-за изменений в верстке
  • В Reddit:: PostInfo исправлен сбор комментариев к публикациям
  • В SE::Yandex:: Direct исправлен сбор $domain, $title, $text

  • В SE::Yandex::WordStat исправлен сбор частотности, а так же разгадывание смарт-каптчи

Исправления
  • В SE::Google исправлено закрытие браузера
  • В SE::Bing::Translator исправлено отсутствие списка поддерживаемых языков для параметров From language и To language
  • В FreeAI:: Perplexity исправлена работа функции New attempt when match для языков, отличных от английского




цитата
18/06/26 в 06:08
 A-Parser Support
Дайджест A-Parser: обновление дополнительных парсеров


Дайджест A-Parser: обновление дополнительных парсеров

Внешние сервисы регулярно изменяют структуру страниц, форматы выдачи, механизмы авторизации и способы загрузки данных. Мы отслеживаем такие изменения и вносим необходимые доработки, чтобы вы могли продолжать использовать парсеры в своих рабочих процессах.


Парсер SimilarWeb

Обновление парсера для сбора данных SimilarWeb

  • Восстановлена корректная работа парсера
  • Модуль обхода защиты переработан с Puppeteer на Playwright
  • Улучшена совместимость с текущими механизмами защиты SimilarWeb

Парсер JS::MailValidator

Обновление парсера для проверки email-адресов

  • Исправлена проверка почты в Outlook/Hotmail, Mail.ru, Яндексе, Рамблере
  • Добавлена поддержка Yahoo через Puppeteer
  • Добавлена поддержка AOL через Puppeteer
  • Добавлен домен hotamil.com

Парсер expireddomains.net

Обновление парсера для сбора данных об удаленных доменах

  • Пресет полностью переписан на JS-парсер
  • Учтена новая обязательная авторизация с MFA
  • Реализована загрузка данных таблицы через XHR-запросы
  • Обновлен набор колонок: убрана ALEXA, добавлены WBY, MMGR и List

Парсер постов из X (Twitter)

Обновление парсера для сбора постов из X

  • Исправлена совместимость с новой структурой X API
  • Исправлена обработка аккаунтов с promoted content
  • Исправлена работа с курсорами пагинации
  • Улучшен экспорт Post ID в Excel для корректного отображения длинных идентификаторов

Парсер всех видео с YouTube-канала

Обновление парсера для сбора видео с YouTube-каналов

  • Добавлена совместимость с новым форматом YouTube lockupViewModel
  • Исправлена обработка ytcfg для каналов с нестандартной структурой
  • Исправлено получение длительности видео
  • Добавлен сбор описаний видео
  • Переработана архитектура для параллельной обработки роликов


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser — отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в X.



цитата
27/07/26 в 19:39
 A-Parser Support


NextGen UI — новый интерфейс A-Parser

В новом обновлении мы завершили переход на NextGen UI — теперь он используется по умолчанию в версиях A-Parser для Windows и Linux.

Интерфейс полностью переписан с нуля на новой архитектуре, работает в браузере и в формате Desktop-приложения, поддерживает тёмную тему и сохраняет привычные возможности A-Parser.

С момента первой тестовой версии NextGen UI получил множество крупных улучшений: расширенную работу с логами, встроенные инструменты тестирования и отладки, улучшенное управление заданиями и пресетами, планировщик, групповые операции и автоматическое восстановление после сбоев.

Основные возможности NextGen UI

  • Расширенная работа с логами. Доступны поиск, фильтрация, выделение, копирование и скачивание записей. Логи отображаются непосредственно при тестировании задания в редакторе, а отладочный вывод можно быстро включать и отключать.
  • Наглядная отладка. JS-дампы, HTTP-запросы и ответы отображаются в виде раскрываемых JSON-деревьев, изображения выводятся прямо в логах. Для регулярных выражений добавлен быстрый переход во встроенный Тестер регулярок.
  • Улучшенный Parser Test. Настроенный в тестере парсер можно перенести непосредственно в редактор задания. При замене парсера предлагается сохранить совместимые переопределённые настройки.
  • Информативная очередь заданий. В очереди отображаются используемый пресет, настройки парсера, точное время запуска и расчётное время до завершения. Добавлены массовое выделение заданий и групповые действия.
  • Удобное управление пресетами. Пресеты можно переименовывать, искать и сортировать. При импорте пресет сначала открывается в редакторе, где его можно проверить и изменить перед сохранением. Для действий «по завершении» добавлены отдельные поля выбора пресетов заданий и конфигураций потоков.
  • Встроенные инструменты. В NextGen UI доступны планировщик заданий, Тестер регулярных выражений, редактор tools.js, расширенные настройки и диалог API-запроса с редактором кода.
  • Сохранение рабочего состояния. Интерфейс запоминает открытые разделы, выбранные вкладки, страницы очереди, прокрутку, положение и размер окон, а также состояние редактора JS-парсеров.
  • Обновлённая тёмная тема. Переработана цветовая схема, повышена контрастность и улучшены визуальные акценты в редакторе заданий.
  • Работа с большими объёмами данных. Ускорена загрузка логов, снижена нагрузка на диск, большие списки файлов подгружаются постепенно по кнопке «Загрузить ещё».
  • Автоматическое обслуживание. Хост и порт ядра настраиваются через интерфейс, свободный порт подбирается автоматически. После сбоя ядро перезагружается, а после обновления A-Parser автоматически перезапускается.


Полностью восстановлена работа SE::Google

Вторым ключевым изменением обновления стало полное восстановление работы парсера SE::Google.

В последние недели Google последовательно усиливал защиту и менял механизмы формирования выдачи, из-за чего сбор результатов стал заметно сложнее. Работа над адаптацией парсера велась практически непрерывно.

В результате:

  • полностью восстановлена работа SE::Google в режиме Browser на Windows и Linux для профилей desktop и mobile;
  • полностью восстановлена работа HTTP-режима на всех платформах и профилях;
  • улучшена работа с пагинацией;
  • добавлено определение неполной выдачи — одной из разновидностей защиты Google;
  • добавлено определение новой капчи «Verifying your request»;
  • исправлено смешивание браузерных заданий при работе через Redis API;
  • восстановлена работа SE::Google::Images;
  • исправлена работа SE::Google::Translate в режиме desktop;
  • восстановлен сбор отзывов в Maps::Google::Reviews;
  • исправлен вывод общего количества отзывов $totalcount;
  • исправлен сбор переменной $claim в Maps::Google;
  • добавлен сбор общего рейтинга организации $avgrating.


Новый парсер SE::Rutube

Добавлен новый парсер SE::Rutube для сбора результатов поиска видео на Rutube.

Улучшения

  • Net::Whois - добавлена работа через серверы RDAP и переменная $rdapserver. Добавлена поддержка доменных зон `.gr` и `.ελ`.
  • Shop::Wildberries::ProductInfo - добавлен сбор цены с кошельком WB в переменную $walletPrice.
  • Util::Turnstile - добавлена возможность обработки Cloudflare Turnstile через XEvil.
  • Telegram::GroupScraper - добавлены новые переменные и массивы, фильтр по дате и возможность пропускать пересланные сообщения.
  • Social::TikTok::Profile - парсер переведён на Puppeteer для обхода блокировки HTTP-запросов со стороны Akamai; восстановлен сбор ссылок на подписки.
  • FreeAI::Kimi - восстановлена работа и добавлена авторизация через Bearer token.
  • SE::Brave - добавлена обработка капчи.


Исправления в связи с изменениями на источниках


Стр. « первая   <  13, 14, 15


Эта страница в полной версии