Новая тема   Ответить

 A-Parser Support
Сборник рецептов #58: обработка текстов с помощью ИИ, цены на крипту, поиск сообщений в ТГ-каналах

58-й сборник рецептов, в котором собраны: парсер для сервиса по обработке текстов с помощью ИИ (перефразирование, резюмирование...), парсер для проверки цен на криптовалюты с возможностью выбора из 5 бирж, а также парсер для поиска сообщений по ключевым словам в Telegram каналах.

NeuralWriter - перефразирование, генератор промптов, резюмирование
Парсер сервиса neuralwriter.com. С его помощью можно перефразировать текст (включая перевод на нужный язык), сформировать краткое резюме для большого текста, а также генерировать промпты для моделей ChatGPT и GPT. Парсер имеет возможность читать тексты из файлов.


CryptoExchanges - одновременная проверка цены на криптовалюту на нескольких биржах
Парсер, позволяющий одновременно проверить цену на нескольких крипто биржах по тикеру. Поддерживается 5 бирж.


Парсер поиска Телеграм постов по ключевым словам с tgdev.io/tme
Возможность парсить сообщения из Telegram каналов по ключевым словам. Собираются дата поста, ссылка на пост и его текст.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов





10% скидка на покупки с оплатой USDT TRC20


Скидка 10% на покупки с оплатой USDT TRC20

При оплате A-Parser и других продуктов или услуг у нас, вы получаете возможность приобрести их со скидкой 10% – оплачивая через USDT TRC20!

1. Переходите на сайт A-Parser
2. Выбирайте подходящий продукт или услугу
3. Оплачивайте через USDT TRC20 и получите 10% скидку

Предложение действует ограниченное время!

Если у вас возникли вопросы или вам нужна дополнительная информация, наша команда поддержки всегда готова помочь. Свяжитесь с нами для получения консультации.

 A-Parser Support
Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг вопросов и ответов из выдачи Bing
Пресет для сбора вопросов и ответов из поисковой выдачи Bing. Используется стандартный парсер SE::Bing, в результат выводятся вопросы и ответы на них.

• Обновлено регулярное выражение в связи с изменениями в выдаче
  

Парсим Google новости с датой и преобразуем ее
Пример парсинга Google новостей с датой и преобразованием ее к одному формату

• Обновление в связи с изменениями в выдаче
  

Периодический мониторинг цен с уведомлением в Telegram
В качестве запросов принимаются ссылки на товары, а в результате формируется таблица и отправляются сообщения в подключенный чат Telegram. Детальное описание в статье: https://a-parser.com/resources/367/

• Обновлены сайты примеров
  

Парсер подсказок Яндекс.Маркет
Парсинг подсказок Яндекс.Маркет с частотой и категориями

• Парсер переписан на JS API v2
  
• Исправлена работа с каптчами (полностью наследуется из SE::Yandex)
  
• Исправлено регулярное выражение для хлебных крошек
  

Скачивание картинок
Пример скачивания картинок с определением их размеров

• Парсер переписан на JS API v2
  
• Оптимизированы импорты
  
• Добавлена возможность сортировать картинки по каталогам в зависимости от ориентации
  
• Добавлена возможность фильтровать картинки по размеру файла
  

Парсер Github
Парсер поиска по репозиториям на Github по ключевому слову

• Парсер полностью переписан с использованием JS API v2 и адаптацией к изменениям на источнике
  

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 A-Parser Support
Видео урок: Сбор WordPress сайтов

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан один из вариантов сбора сайтов на движке Wordpress.



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 A-Parser Support
1.2.2062 - парсер профилей Tiktok, поддержка click каптч Яндекса, улучшения и исправления



Улучшения

• Добавлен парсер Social::TikTok::Profile
  
• SE::Yandex - добавлен парсинг быстрых ответов
  
• Добавлена поддержка новых каптч Яндекса (click captcha) в парсерах SE::Yandex::ByImage, SE::Yandex::Images, SE::Yandex::SQI, Shop::Yandex::Market
  
• В Util::AntiGate изменился набор доступных опций, подробнее здесь
  
• В SE::Yandex добавлена опция AntiGate preset for old captcha. С ее помощью можно выбрать пресет антигейта для обычных (старых, в виде одной картинки) каптч. Рекомендации по парсингу Яндекса описаны тут.
  
• В SE::Yandex::Translate добавлена возможность подключать разгадывание каптч
  
• В SE::Bing улучшена скорость, уменьшено количество ошибок Short output, добавлены сессии
  
• В SE::YouTube добавлена опция Advanced filters (param sp=), с помощью которой можно указать сложные комбинации фильтров
  
• Rank::KeysSo - добавлена возможность парсить с авторизацией, актуализированы собираемые данные
  
• В парсерах OpenAI добавлена возможность указывать несколько API ключей
  
• Парсеры WordStat: адаптация к изменениям в авторизации, максимальное кол-во страниц увеличено до 50
  
• JS парсеры: добавлена опция skipProxySettingsInheritance для parser.request()
  

Исправления в связи с изменениями в выдаче

• SE::Google - исправлен парсинг PAA, парсинг выдачи адаптирован к изменениям в верстке
  
• SE::Yandex - адаптация к изменениям в верстке
  
• Исправлен Safe search в SE::Google::Images, SE::Google
  
• Исправлено авторазгадывание Turnstile (опция Provider=Auto (using Chrome) в Util::Turnstile)
  
• Исправлен проход по страницам в SE::Yahoo
  
• В SE::YouTube исправлена работа всех фильтров, исправлен парсинг мобильной выдачи
  
• Maps::Google, SE::YouTube, SE::Yahoo - исправлен обход соглашения с политикой кук
  
• SE::Google::ByImage, SE::Dogpile, SE::DuckDuckGo
  

Исправления

• Исправлена работа HTML::EmailExtractor в некоторых случаях
  
• Исправлен обход CF в Net::HTTP при Engine=HTTP
  
• Исправлена работа SE::Google::Translate при Device=Desktop
  
• Исправлены ошибки в работе SecurityTrails::Domain, Cloudflare::Radar, Rank::MOZ, Rank::CMS, Net::Whois
  
• Устранены падения при использовании прокси из отключенного проксичекера
  

 A-Parser Support
Сборник рецептов #59: дни рождения из FB в Google Calendar, парсер Checktrust и Yahoo Finance

59-й сборник рецептов, в котором собраны парсер для экспорта дней рождений друзей в Google календарь; парсер сервиса проверки качества сайтов Checktrust; парсер Yahoo Finance.

Экспорт дней рождений из Facebook в Google календарь
Данный парсер позволяет спарсить список дней рождения своих друзей на Facebook и сгенерировать файл, готовый для импорта в Google Calendar.


Yahoo Finance
Yahoo Finance - фондовый рынок в реальном времени, котировки.


Парсер checktrust.ru
Парсер сервиса проверки качества сайтов Checktrust. Позволяет собрать все возвращаемые показатели, для примера реализован вывод данных в 3-х различных форматах.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 A-Parser Support
Видео урок: Поиск статей внутри сайта

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ поиска статей внутри сайта с использованием 2-х встроенных парсеров.



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 A-Parser Support
Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Валидатор емайлов
Проверка существования e-mail адресов

• Добавлена поддержка protonmail (proton.me, protonmail.com)
  
• Добавлена поддержка tutanota (tutanota.com, tutanota.de, tutamail.com, tuta.io, keemail.me)
  
• Парсер переписан на JS API v2
  

JS::Yandex::LangDetect
Определение языка страницы через Яндекс Переводчик

• Парсер переписан на JS API v2 (TypeScript)
  
• Добавлена поддержка каптч (наследуется от SE::Yandex)
  
• Добавлен выбор пресета настроек HTML::TextExtractor
  
• Адаптация к изменениям на источнике
  

JS::Yandex::LangDetect::Key
Определение языка ключевого слова через Яндекс Переводчик

• Парсер переписан на JS API v2 (TypeScript)
  
• Парсер наследует JS::Yandex::LangDetect
  

Core Web Vitals
Отчет о скорости сайта

• Обновление в связи с изменениями в выдаче
  

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 A-Parser Support
1.2.2106 - обновленный SE::Rambler, лимит при парсинге в глубину в LinkExtractor и другие улучшения



Улучшения

• В HTML::LinkExtractor добавлена возможность указания лимита количества ссылок при парсинге в глубину
  
  
• В Util::AntiGate добавлена поддержка Capsola, capmonster.cloud
  
  
• В Util::Turnstile добавлена поддержка captcha.guru
  
  
• В Rank::MajesticSEO добавлена возможность указывать собственные юзер-агенты для повышения успешности парсинга
  
• В парсерах Rank::Ahrefs::* добавлена экспериментальная опция Do not search for sitekey, которая отключает поиск sitekey, что в свою очередь ускоряет запуск задания
  
  
• SE::Rambler полностью переписан:
  • обновлен список языков
    
  • добавлена возможность указывать регион
    
  • добавлен выбор десктопной или мобильной выдачи
    
  • обновлена работа с каптчами
    
• JS парсеры: добавлена поддержка тегов для сессий
  

Исправления в связи с изменениями в выдаче

• SE::Bing - уменьшено кол-во ошибок Short output detected
  
  
• Адаптация к изменениям в верстке для SE::Google и SE::Yandex
  
• Исправлен сбор flat переменных в Social::InstagramPost
  
• Исправлен сбор $location в Social::InstagramProfile
  
  
• Исправлен поиск sitekey в Rank::Ahrefs::*
  
• Исправлена работа SE::YouTube при Result type = Movie
  
  
• Исправлен сбор $author_link в GooglePlay::Apps
  
• SE::BingPosition, SE::Google::ByImage, SEDuckDuckGo, SE::Google::Images, Shop::WildberriesProductInfo
  

Исправления

• Исправлены ошибка в Rank::CMS, из-за которой в некоторых случаях он не работал
  
• Исправлена ошибка использования SE::Yahoo через Redis API
  
  
• Исправлена работа SE::YouTube при запросах из JS парсеров
  
  
• Исправлена работа Net::Whois с доменами .se
  
• Исправлено ошибочное определение запроса неудачным в Shop::eBay
  
  
• Исправлено заполнение результатов в Rank::KeysSo
  

 A-Parser Support
Сборник рецептов #60: товары на Walmart, проверка e-mail и доступность доменов

60-й сборник рецептов, в котором подобраны: парсер товаров Walmart, парсер для проверки e-mail и парсер для проверки доступности доменов через сервис Pananames

Парсер товаров walmart.com
Сбор товаров по ключевым словам на торговой площадке walmart.com с возможностью задать количество страниц результатов и выводом результатов в CSV таблицу


Парсер для проверки e-mail
Парсер для проверки адресов электронных почт на валидность, доставляемость и прочие параметры через сервис Email Verification API


Pananames - доступность, цена домена
Парсер, позволяющий проверить доступен ли домен и его цену с использованием сервиса Pananames



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 A-Parser Support
Обновленные пресеты в каталоге A-Parser + новый парсер тегов из сервиса Rapidtags

Обновление пресетов в Каталоге примеров A-Parser

Парсер переводчика Reverso
Переводчик текста через сервис reverso.net

• Исправлена ошибка при отсутствующих $examples или $variants
  
• Поправлено логирование
  

JS::MailValidator
Проверка существования e-mail адресов

• Исправлена проверка почт на protonmail
  

Сокращатель ссылок
Парсер для массового сокращения ссылок с возможностью выбирать используемый сервис

• Удалены неработающие сервисы (cleanuri.com, gotiny.cc, shrtco.de)
  
• Добавлено 2 новых сервиса: gg.gg и urlshort.dev
  

Парсер тегов для YouTube и TikTok из сервиса Rapidtags
Новый пример в Каталоге: пресет для сбора тегов для YouTube и TikTok из сервиса Rapidtags.io.

• можно задать тип: YouTube или TikTok
  
• в качестве запросов можно использовать ключевые слова или ссылки на видео на Youtube
  

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 A-Parser Support
Видео урок: сбор контактов организаций из Google Maps

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ сбора контактов организаций по ключевым словам из заданного участка Google карт.



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 A-Parser Support
1.2.2148 - бесплатное решение Яндекс каптчи, 3 новых парсера, поддержка нового WordStat


Улучшения

• Открыто бесплатное тестирование решения Яндекс каптчи!
  В Util::AntiGate добавлен провайдер A-Parser.Captchas, его можно использовать без указания ключа доступа.
  
• Добавлено 3 новых парсера:
  • SE::Yandex::Video - парсер Яндекс Видео
    
    
  • IP::Info - точные данные об IP-адресах
    
    
  • SE::Bing::Video - парсер Бинг Видео
    
• В SE::Yandex::WordStat добавлена поддержка нового WordStat
  
• В SE::Yandex::SQI добавлен сбор рейтинга магазина в поиске по товарам и рейтинга магазина на Яндекс Маркете
  
• В Social::Instagram::Profile добавлен сбор ссылок, которые были прикреплены в профиле и сбор телефонов из bio
  
• В Maps::Yandex добавлен сбор времени работы организации
  
• Util::AntiGate адаптирован к изменениям в API 2captcha/rucaptcha. А также оптимизирована работа с click каптчей и добавлена опция Log captcha images, позволяющая отключать вывод картинок каптч в лог
  

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке поисковой выдачи Google и Яндекс
  
• В Shop::Yandex::Market исправлена работа со всеми видами запросов
  
• SE::YouTube, GooglePlay::Apps, Shop::Wildberries::ProductInfo, Shop::Wildberries::ProductsList, SE::DuckDuckGo, Reddit::Posts, Reddit::Comments, SE::Google::ByImage, SE::Ask, Shop::Amazon, Social::TikTok::Profile
  

Исправления

• Исправлена ошибка обработки некоторых HTML сущностей в HTML::TextExtractor
  
• Исправлено определение Yandex.Metrika в Rank::CMS
  
• Исправлена работа некоторых опций в SE::Startpage
  

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники

 A-Parser Support
Сборник рецептов #61: сбор характеристик сайтов, парсер архива Telegram ботов и парсер Lalafo

61-й сборник рецептов, в котором содержатся: парсер для сбора характеристик сайтов, парсер архива телеграм ботов и парсер объявлений из Lalafo.

Анализ сайта с помощью be1.ru
Парсер для сбора характеристик сайтов из сервиса be1.ru. Сервис предоставляет отчет по около 60-ти характеристикам.


Парсер архива Телеграм ботов
Парсинг информации о Telegram ботах из сервиса BOTSARCHIVE. Для парсинга используется официальное API.


Парсер объявлений сайта Lalafo
Парсер крупнейшего сайта для размещения бесплатных объявлений Lalafo по поисковому (ключевому) запросу. Возможности: сбор номеров телефонов с объявлений, выбор количества страниц результатов, выбор домена, сбор результатов сразу в CSV таблицу.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 A-Parser Support
Сборник статей #17: поиск и привлечение аудитории в Instagram, сбор баз сайтов на заданных движках

Представляем 17-й сборник статей, в который вошли статья о поиске и привлечении целевой аудитории в Instagram и статья о сборе баз сайтов на определенных движках.

Instagram - сбор пользователей, автоматическая отправка сообщений собранным пользователям в direct
В статье рассмотрен сбор целевой аудитории и привлечение её в наш инстаграм магазин с помощью автоматической рассылки в Direct.


Как спарсить WordPress сайты (и не только) через A-Parser
В этой статье показано как собрать сайты на движке WordPress через A-Parser с минимальным количеством мусора в виде других движков. Кроме того данный подход можно использовать для сбора баз на любых движках.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 A-Parser Support
Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Скриншоты выдачи поисковой системы
Демонстрация возможности делать скриншоты страниц, получаемых другими парсерами

• Добавлена возможность выбирать из нескольких поисковиков (Google/Яндекс/Bing, по аналогии можно добавить остальные)
  
• Все результаты, получаемые от парсера поисковика, теперь перемещены в объект $p1.results (для примера реализован вывод $serp)
  
• Небольшие изменения логики работы
  

Парсер изображений с Flickr
Парсинг картинок из Flickr по ключевому слову

• Пресет переделан в JS парсер на TypeScript
  
• Добавлен выбор параметров поиска: Sort, License, Color, Style
  
• Добавлен параметр выбора количества страниц
  
• Для каждой картинки реализована возможность парсить ссылку, заголовок, описание, владельца, количество добавлений в избранное и количество комментариев
  

Анализ скорости загрузки и юзабилити сайтов
Измерение скорости загрузки страниц, их юзабилити, получение скриншотов сайтов

• Парсер переписан на JS API v2 (TypeScript)
  
• Добавлена возможность указывать ключ API
  
• Адаптация к изменениям на источнике
  

NeuralWriter - перефразирование, генератор промптов, резюмирование
Парсер сервиса neuralwriter.com

• Добавлена поддержка разгадывания каптчи Cloudflare Turnstile - опция Util::Turnstile preset. Разгадывание капчи теперь обязательно, если тип запроса не Prompt Generator
  

Google Indexing API
Добавление или удаление страниц сайта в Google Indexing API

• Парсер переписан на TypeScript (JavaScript API v2)
  
• Добавлена возможность использовать несколько ключей
  

Генерация картинок ruDALL-E
Напишите текстовый запрос — получите сгенерированную ИИ картинку в rudalle.ru

• Исправлена генерация с помощью старой модели (ruDALL-E Malevich)
  
• Для генерации картинки старой моделью теперь не требуется подключение Util::AntiGate
  
• Добавлен выбор модели, которая будет генерировать изображения, добавлена новая модель Kandinsky 3.0 (new)
  
• В моделе Kandinsky 3.0 есть возможность выбрать стиль генерации изображения, доступны все стили
  

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 A-Parser Support
Premium прокси от A-Parser


Мы рады представить вам новые Premium прокси-серверы, которые значительно улучшат вашу работу. Ключевые преимущества Premium прокси:

• База более 10 миллионов резидентных (домашних) IP адресов: Обеспечьте себе разнообразие и стабильность соединения с нашей обширной базой IP адресов.
  
• Быстрое время отклика: Мы гарантируем высокую скорость и оптимальное время отклика, обеспечивая эффективную работу ваших парсеров.
  
• Гибкая фильтрация по странам и городам: Настройте прокси под свои потребности с помощью гибкой фильтрации, чтобы получать доступ к ресурсам из конкретных стран и городов.
  
• Настройки ротации: Используйте различные режимы ротации, включая случайный IP на каждый запрос, ротацию от 1 до 60 минут и режим Sticky, который сохраняет IP на максимально возможное время.
  
• Подходит для браузинга и парсинга: Наши прокси идеально подходят как для браузинга, так и для парсинга, с минимальным риском CAPTCHA и банов.
  
• Доступ к прокси осуществляется по логину/паролю и протоколу SOCKS5, а также может быть организован сразу с нескольких компьютеров и серверов.
  

Лучшие цены на рынке: Premium прокси от $1 за гигабайт трафика.

Для всех пользователей A-Parser доступен бесплатный триал в Личном кабинете на 1 Гб.

 A-Parser Support
1.2.2228 - 2 новых парсера, множество улучшений и исправлений



Улучшения

• Добавлен парсер геолокации IP/домена - IP::Geo
  
• Добавлен парсер для разгадывания RotateCaptcha - Util::RotateCaptcha
  
• В SE::Yandex добавлен параметр Serp time
  
• В парсерах OpenAI::Completions и OpenAI::ChatGPT обновлены модели
  
• В парсеры SE::Google::KeywordPlanner::* добавлен флаг, указывающий на точность данных
  
• В SecurityTrails::IP добавлена возможность парсинга с авторизацией
  
• В Shop::Aliexpress добавлена возможность парсить старую цену и валюту
  
• В SE::Youtube::Video добавлена возможность собирать данные о Shorts
  
• Добавлено информационное сообщение при ошибке импорта JS парсера
  

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке поисковой выдачи Google
  
• Исправлена ошибка при парсинге быстрых ответов в SE::Yandex
  
• Исправлен парсинг нескольких страниц в Shop::eBay при максимальном количестве результатов на страницу
  
• Исправлена работа Net::Whois с некоторыми доменными зонами
  
• Исправлен парсинг постов в Social::Instagram::Profile
  
• Исправлена подстановка переменных в Конструкторе результатов
  
• SE::Bing, Rank::MajesticSEO, SE::Ask, SE::Baidu, SE::AOL, SE::DuckDuckGo, Shop::eBay, SE::Seznam, SE::Google::ByImage, Reddit::Posts
  

Исправления

• Исправлена логика работы SE::Dogpile
  
• Исправлена работа Maps::Yandex с разгадыванием каптч
  
• Исправлена проблема с интерфейсом при сохранении региона в SE::Yandex
  
• SE::YouTube - устранено игнорирование рязрядов в $views при Device = Mobile
  
• Shop::Ebay - исправлены ошибки в парсинге цифровых значений
  
• Shop::Aliexpress - исправлены ошибки парсинга $shipping_price и $sold_count
  
• Исправлена работа tools.task.id в формате результата
  
• Исправлена ошибочная возможность перезаписать default пресет настроек
  
• Исправлена проблема зависания регулярных выражений в Parse custom result
  
• Исправлена ошибка вызова Social::TikTok::Profile в JS парсере
  

 A-Parser Support
Обзор Premium Proxy от A-Parser (скорость, выбор локации, браузинг)

В данном видео продемонстрирована настройка и скорость работы новых Premium прокси. Данные прокси вы можете использовать как в A-Parser, так и в браузере или в любом другом SEO-софте.



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 A-Parser Support
Сборник рецептов #62: проверка текстов, Markdown разметка, простой файловый сервер на базе A-Parser

62-й сборник рецептов, в котором содержатся: парсер сервиса zerogpt для проверки текстов, пример использования Markdown разметки для генерации HTML страниц и альтернативный метод получения файлов результатов работы А-Парсера.

ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта
Парсер сервиса zerogpt.com. Поддерживается выбор режима работы с текстом: проверка грамматики и орфографии или детект искусственного интеллекта, т.е. был ли проверяемый текст сгенерирован с помощью ИИ.



Парсер перевода Markdown разметки в HTML
Парсер собирает выдачу Google встроенным парсером. Далее, используя заготовленный Markdown шаблон template.md, который можно легко редактировать по своему усмотрению, переводит Markdown разметку в HTML с учетом собранных результатов.



Альтернативный метод получения файлов результатов
Реализация простого файлового сервера на базе A-Parser. Суть примера заключается в том, чтобы по запросу на заранее известный url получить любой файл из папки results.
В качестве кейсов применения можно рассматривать любые задачи, в которых требуется получать прямой доступ к файлам результатов и при этом имена файлов заранее известны. Например: с помощью Планировщика периодически запускаются несколько заданий, которые пишут результаты в файлы со статическими именами. И с помощью данного пресета можно легко и в любое время получить эти файлы.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 A-Parser Support
1.2.2262 - новые опции во встроенных парсерах, адаптация к изменениям на источниках данных



Улучшения

• В SE::Google:
  • добавлен параметр Empty totalcount is error, детальнее тут
    
  • добавлен сбор тегов (массив $tags.$i.tag)
    
• SE::Yandex - улучшен парсинг сниппета генеративного ответа
  
• В парсере OpenAI::ChatGPT обновлены модели и добавлен параметр Another model name
  
• В SE::Yandex::WordStat добавлена опция Wordstat 2 parse all table data, детальнее тут
  
• В SE::YouTube::Video расширен перечень собираемых данных, детальнее тут
  
• В SE::You добавлена возможность задавать кол-во страниц для парсинга ссылок
  
• Следующие настройки перенесены из опций в параметры парсера:
  SE::Google: Parse people also ask
  SE::Yandex: Parse Quick answers и Parse generative answer
  

Исправления в связи с изменениями в выдаче

• В SE::Yandex исправлена работа с каптчами
  
• Исправлен парсинг дат в SE::Google
  
• Исправлен парсинг быстрых ответов в SE::Yandex
  
• В SE::Yandex::WordStat исправлены ошибки в работе с WordStat 2
  
• Исправлена работа Shop::Wildberries::ProductsList с некоторыми запросами
  
• Исправлен сбор $related в SE::Yahoo
  
• В SE::Yandex::Direct исправлен парсинг доменов для некоторых случаев
  
• Исправлена ошибка Unexpected token в Social::TikTok::Profile
  
• Исправлен сбор $views в SE::Bing::Video
  
• В SE::You исправлен парсинг ссылок на превью
  
• В Shop::Yandex::Market исправлен парсинг $products.$i.imagelink, $products.$i.rating, $products.$i.commentscount
  
• Исправлена ошибка при парсинге больше 5-ти страниц в SE::Ask
  
• Адаптация к изменениям на источниках: Shop::Amazon, Shop::AliExpress, Shop::Yandex::Market, SecurityTrails::IP
  

Исправления

• Исправлена проблема с отображением сохраненных заданий
  
• Исправлена работа опции Collect full region в Maps::Google
  

 A-Parser Support
Сборник рецептов #63: конвертация Youtube видео в статьи, парсер Шедеврум, парсер Pinterest Trends

63-й сборник рецептов, в котором содержатся: парсер для конвертации Youtube видео в полноценные HTML страницы с картинкой и текстовым описанием содержимого видео, парсер картинок из shedevrum.ai и парсер Pinterest Trends.

Конвертация Youtube видео в HTML страницы
Пример парсера, который, используя сервисы ИИ, создает полноценные HTML страницы, содержащие тематическую картинку и текст с разметкой, который дублирует содержание видео. На иллюстрации для примера показана статья, сгенерированная по нашему недавнему видео о Premium прокси.


Парсер картинок с Шедеврум с дополнительными данными
Парсер картинок с дополнительными данными по ключевым словам из сервиса shedevrum.ai. Можно парсить ссылки на картинки, promptы по которым генерировались эти картинки, описание и т.д.


Парсер Pinterest Trends
Сбор данных о трендах в Pinterest по ключевым словам с возможностью выбора региона и даты. Собираются данные о популярности и демографии ключевого слова, а также связанные ключевые слова и популярные пины.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 A-Parser Support
Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Генерация картинок ruDALL-E
Генерация картинок по текстовым запросам через нейросеть ruDALL-E. Присутствует возможность выбирать модель и стиль генерации.

• Добавлена опция Save image, позволяет отключить сохранение изображения в файл, по-умолчанию включена
  
• Изображение теперь доступно в переменной $data
  

Парсинг отзывов Google Play Market
Данный парсер собирает комментарии (ссылка на аватар, рейтинг и имя юзера, а также текст отзыва) к приложению в Google Play Market.

• Исправлен парсинг
  
• Парсер переписан на TS (API v2)
  
• Добавлена возможность указания количества страниц парсинга
  

Naver Ads
Парсер рекламных объявлений из Naver по ключевым словам с возможностью указать количество страниц парсинга.

• Исправлен сбор всех результатов
  
• Адаптация к изменениям на источнике
  

JS::TextFromSE
Объединение парсера поисковой выдачи и парсера текста в одном JS парсере на примере решения задачи по парсингу текстов.

• Парсер переписан на TypeScript API v2
  

Парсер Aliexpress товаров
Парсер, позволяющий получить информацию о товаре на Aliexpress, подавая на запрос ссылку на товар.

• Адаптация к изменениям на источнике
  
• $delivery теперь массив
  
• $formattedQuery был удален
  
• Вместо $html исходный код страницы сохраняется в $data
  

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 A-Parser Support
Сборник статей #18: вывод в CSV, парсинг номеров телефонов, обзор Collect full region в Maps::Google

Представляем 18-й сборник статей, в который вошли статья о выводе результатов в CSV таблицы, статья об универсальном парсинге номеров телефонов и статья с обзором функции Collect full region парсера Google Maps.

Всё о выводе результатов в CSV (табличное представление результатов)
Табличное представление результатов - это очень популярный вид форматирования данных, собираемых А-Парсером. И чаще всего для этого используется именно формат CSV. В этой статье описаны все варианты и нюансы работы с CSV в контексте A-Parser. А также рассказано чем и как правильно обрабатывать CSV файлы.


Универсальный парсер телефонов
Как известно, номера телефонов проблематично парсить из-за отсутствия единого формата их записи. В этой статье мы поделимся одним из методов универсального парсинга номеров телефонов, а также заодно покажем как можно использовать npm модули без написания JS парсеров.


Детальный обзор Collect full region в Maps::Google
Детальное описание функции Collect full region в парсере Google Карт, варианты ее настройки, рекомендации для наибольшей производительности и сравнение скорости работы парсера на разных прокси.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 A-Parser Support
1.2.2306 - новый парсер подсказок Google Trends, новые опции в существующих парсерах, исправления



Улучшения

• Добавлен новый парсер SE::Google::Trends::Suggest - сбор подсказок Google Trends
  
• Улучшена очистка ссылок в SE::Bing
  
• В парсер DeepL::Write добавлен выбор стиля и тональности, а также возможность использовать режим исправления
  
• В SE::Yandex добавлен вывод "пропущенных слов"
  
• В Rank::MajesticSEO добавлен параметр Additional headers for requests without Chrome, который позволяет задать заголовки для запросов без без браузера
  
• В SE::Yandex::WordStat::ByDate добавлена поддержка нового Wordstat 2
  
• В SE::Yandex::Register добавлена новая опция OnlineSIM domain которая дает возможность указать домен который будет использоваться в API запросах к OnlineSIM
  

Исправления в связи с изменениями в выдаче

• Rank::KeysSo - исправлена ошибка заполнения некоторых результатов
  
• Исправлен парсинг $owner_link и $owner_name в парсере Social::Instagram::Post
  
• Исправлен парсинг $thumb в Social::Instagram::Profile
  
• Исправлен парсинг $serp.$i.social в Maps::Yandex
  
• Исправлен парсинг комментариев в SE::YouTube::Video
  
• Парсер Rank::Ahrefs::KeywordGenerator адаптирован к изменениям на источнике
  
• SE::Yahoo, Shop::Wildberries::ProductInfo, SE::Google::Images, Rank::MajesticSEO, SE::Dogpile::Images, SE::DuckDuckGo, Cloudflare::Radar
  

Исправления

• Исправлены падения парсера при использовании определенных запросов в HTML::EmailExtractor
  
• Исправлена работа повторных попыток для получения robots.txt в Check::BackLink
  
• Исправлен режим Bulk mode в парсерах SE::Google::KeywordPlanner::*
  

 A-Parser Support
Видео урок: поиск Телеграм каналов через Google и их сортировка

2 новых видео урока по работе с A-Parser от DIM STUDIO в которых показан способ поиска Телеграм каналов через поиск в Google и сортировка собранных каналов.





Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!