Новая тема   Ответить

 A-Parser Support
Сборник рецептов #65: проверка DMCA в Google выдаче, парсинг Wayback Machine и Steam Market

65-й сборник рецептов, в котором представлены парсер для проверки запросов DMCA в Google выдаче, парсер сохранённых страниц Wayback Machine и парсер Steam Market.

Проверка запросов DMCA в Google выдаче

Парсер проверяет наличие DMCA-уведомлений внизу выдачи Google. В качестве запросов можно указывать любые поисковые запросы, которые возможны в браузере: домены, операторы Google, обычные ключевые слова и другие варианты. Подходит для быстрой проверки, есть ли по запросу ограничения или жалобы DMCA в поисковой выдаче.




Парсинг Wayback Machine

Парсер веб-архива собирает данные о сохранённых страницах из WebArchive / Wayback Machine. Можно задать начальный и конечный год парсинга, а в результате получить список архивных копий страниц с датой сохранения, ссылкой на архивную версию, исходным URL и заголовком страницы.




Парсер Steam Market

Парсер Steam Market собирает данные из поиска торговой площадки Steam. В качестве запросов принимает ключевые слова, например case или ak 47. В результатах доступны название товара, название игры, изображение, количество и цена.




Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в X.

Все сборники рецептов

 A-Parser Support
1.2.3390 - полное восстановление работы SE::Google, новый docker образ aparser/runtime:headful




Улучшения

• Полностью восстановлена работа парсера SE::Google под Linux и Windows
  
• В SE::Google добавлена опция Write Google timeout HTML (по умолчанию отключена)
  
• В SE::Bing::Translator актуализирован список языков
  
  
• В Net::Whois добавлена поддержка домена .us.com
  
  
• В Util::Turnstile добавлена поддержка сервиса разгадывания BotLab
  
• Добавлен docker образ aparser/runtime:headful - помогает увеличить скорость парсинга в SE::Google
  

Исправления в связи с изменениями в выдаче

• В SE::Google исправлены некоторые ошибки парсинга (включая timeout ошибки), возникающие из-за изменений в верстке
  
• В Reddit:: PostInfo исправлен сбор комментариев к публикациям
  
• В SE::Yandex:: Direct исправлен сбор $domain, $title, $text
  
  
• В SE::Yandex::WordStat исправлен сбор частотности, а так же разгадывание смарт-каптчи
  

Исправления

• В SE::Google исправлено закрытие браузера
  
• В SE::Bing::Translator исправлено отсутствие списка поддерживаемых языков для параметров From language и To language
  
• В FreeAI:: Perplexity исправлена работа функции New attempt when match для языков, отличных от английского