A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, п

Manibawy · **Добавлено:** Чт янв 28, 2021 8:28 pm

Естественно же надо, стоит пытаться

A-Parser Support · **Добавлено:** Вт фев 16, 2021 11:28 am

Сборник рецептов #45: парсеры Google Places и prom.ua, получение характеристик картинок "на лету"

45-й сборник рецептов, в который вошли парсер результатов поиска на Google Places, парсер для prom.ua и пример скачивания картинок с одновременным определением их характеристик.

Парсер Google Places
Парсер для поиска заведений по ключевым словам в Google Places. В отличие от парсера Google Maps здесь не нужно задавать координаты поиска, а достаточно вместе с ключевым словом написать нужный город.

Парсер prom.ua
Парсинг товарных позиций для одной из крупнейших в Украине торговых площадок prom.ua. Кроме собственно названий товаров и их цен, позволяет собирать такие данные продавцов, как телефоны и электронные почты.

Скачивание картинок
В этом примере показан способ решения задачи по скачиванию картинок и одновременному получению их характеристик, а именно размера и ориентации. Для получения характеристик используется NodeJS модуль.

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser Support · **Добавлено:** Ср мар 03, 2021 10:13 am

1.2.1148 - накопительное обновление встроенных парсеров и исправление Bypass Cloudflare

Улучшения

В HTML::LinkExtractor добавлена опция Skip comment blocks, которая позволяет исключить из парсинга блоки html комментариев
Повышена производительность Shop::Yandex::Market
В Check::RosKomNadzor добавлена возможность выбирать источник для проверки
Maps::Yandex переписан на TypeScript, добавлена возможность подключения сервисов разгадывания каптч
В Rank::Alexa::API добавлена возможность получать название страны вместо ее кода
В Rank::Ahrefs расширен перечень собираемых данных
В SE::Seznam добавлена поддержка сессий и возможность разгадывать каптчи
Реализована возможность использовать прокси с одним IP:port, но с разными логинами

Исправления в связи с изменениями в выдаче

Множество различных адаптаций к изменениям в верстке страниц с результатами в SE::Google и SE::Yandex
Множество исправлений в Rank::MajesticSEO, связанных с постоянными изменениями в логике запроса и верстке страницы
В Rank::Alexa::API исправлено получение кода страны
В Rank::Ahrefs исправлен парсинг рейтинга
Исправлена работа с каптчами в SE::Yandex, SE::Yandex::SQI, SE::Yandex::Images
Исправлен парсинг $keywords в SE::Yandex::ByImage
Исправлена работа SE::Yandex::Direct, SE::Ask, SE::Baidu, SE::Bing::Suggest, Rank::KeysSo, SE::Google::TrustCheck, SE::Google::ByImage, Check::RosKomNadzor, SE::Seznam, SE::MailRu, Rank::Ahrefs, Rank::Ahrefs::KeywordDifficulty, Rank::Ahrefs::KeywordGenerator

Исправления

Исправлен экспериментальный обход защиты Cloudflare с помощью Chrome
Исправлена ошибка в Maps::Yandex, из-за которой не собиралось больше 1 страницы, а также исправлена проблема с получением исходного кода страниц
В SE::Youtube исправлено игнорирование настроек поиска, проход по пагинации, а также в некоторых случаях не делались повторные попытки
В SE::Google::KeywordPlanner исправлена авторизация
Исправлена утечка памяти, которая проявлялась при долго работающих заданиях с большим числом запросов
Исправлена ошибка с Buffer, проблема появилась в одной из предыдущих версий

A-Parser Support · **Добавлено:** Вс май 16, 2021 12:38 pm

Обновление документации и курс по заработку на PBN используя A-Parser

Обновленная документация

Мы не стоим на месте: постоянно совершенствуем наш продукт, расширяем его функционал, ориентируясь на сегодняшние потребности пользователей и на удобство использования A-Parser. В соответствии с этим мы полностью обновили нашу техническую документацию, в первую очередь изменили интерфейс, создали логичную структуру разделов, предусмотрели удобную навигацию и поиск.

Кроме дополнения и обновления существующей документации добавлены новые, ранее не публиковавшиеся разделы:

настройка и работа с Docker
новое API v2 для написания JS парсеров с использованием TypeScript
использование Chrome с прокси с помощью Puppeteer
взаимодействие с A-Parser черезRedis API
использование Node.js модулей

Также, для всех встроенных парсеров добавили блоки с примерами их использования. Вся документация сопровождается скриншотами и различными примерами, большинство из которых можно импортировать в свой А-Парсер и изучить.

Обновленная документация еще будет расширяться и дополняться, но Вы уже сейчас можете ознакомиться с ней, перейдя по ссылке: https://a-parser.com/docs/

Курс по заработку на PBN используя A-Parser(+включает лицензию)

Наш хороший друг Николай Кодий запускает второй набор на курсы по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов. Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов. Данный курс без "воды" — вы получите концентрат опыта и алгоритмы наработок, которые никто другой не показывает. Курс насыщен практикой на реальных задачах. Каждый выпускник сможет в дальнейшем сотрудничать с Николаем или получить рекомендацию от него и контакты компаний, которые часто ищут специалистов по PBN. Подробнее о курсе читайте в его телеграм-канале https://t.me/mypbn/1113

A-Parser Support · **Добавлено:** Чт май 27, 2021 2:42 pm

Сборник рецептов #46: парсинг сообщений из Viber, корейский поисковик и сбор контактов организаций

46-й сборник рецептов, в который вошли парсер сообщений Viber, парсер корейского поисковика и пресет для сбора контактов организаций из каталога.

Парсер Viber - сбор сообщений из публичных групп вайбер
В А-Парсере уже довольно давно существует парсер для сбора сообщений из публичных групп в Telegram. Представляем аналогичное решение для не менее популярного мессенджера - Viber.

Парсер корейского поисковика Daum.net
Еще один парсер поисковых систем, на этот раз корейской daum.net

Парсинг контактов организаций из ua-region.info
Пресет для сбора телефонов, почт, сайтов, адресов и прочей информации из каталога организаций ua-region.info

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser Support · **Добавлено:** Чт июн 17, 2021 8:13 am

1.2.1239 - обновление Node.js, поддержка ReCaptcha v3 и Smart captcha, исправление ошибок

Улучшения

Node.js обновлен до версии 15.14.0
Добавлена возможность разгадывать Google ReCaptcha v3 в виде нового парсера Util::ReCaptcha3
В SE::Yandex, а также в некоторых других парсерах Яндекса реализована обработка новой Smart captcha
В Rank::MajesticSEO добавлен режим парсинга через Chrome
В SE::DuckDuckGo актуализированы языки и регионы
В SE::Google::Cache добавлена возможность использовать сервисы разгадывания рекаптч
В SE::YouTube добавлен сбор ссылок на канал
Актуализирован список языков в DeepL::Translator
Теперь в SE::Bing при обнаружении бана, прокси банится парсером вместо простой смены
В Shop::Amazon обновлен юзер-агент, за счет чего выросла производительность

Исправления в связи с изменениями в выдаче

Множество адаптаций SE::Google и SE::Yandex к изменениям в верстке страниц с выдачей
Исправлен постоянный бан запросов в SE::Google::Cache и SE::Bing
Исправлен проход по пагинации в SE::DuckDuckGo
В SE::Youtube исправлен подсчет кол-ва результатов и определение существования следующей страницы
Исправлена работа с каптчей в Shop::Amazon
Исправлена разбивка на блоки больших запросов в SE::Yandex::Translate
Исправлены SE::Bing, SE::MailRu, SE::MailRu::Position, SE::Google::Compromised, Rank::MajesticSEO, Rank::KeysSo, SE::Yandex::Direct, SecurityTrails::IP, Net::Whois, SE::Bing::Translator, SE::DuckDuckGo, Social::Instagram::Profile, Shop::Yandex::Market, Rank::Ahrefs::KeywordGenerator, Rank::Ahrefs::KeywordDifficulty, SE::Seznam, Shop::Amazon, Rank::Linkpad

Исправления

Исправлен баг в HTML::LinkExtractor, из-за которого парсинг по запросу останавливался с ошибкой
В Rank::MOZ исправлено отсутствие повторных попыток, а также изменена логика определения неудачных запросов
Исправлена ошибка проверки прокси, если в пароле был символ "*"
Исправлен баг, из-за которого при использовании шаблонизатора в Additional headers переставал работать Check content
Исправлена логика проверки результатов в SE::Bing::Images
Исправлена работа XPath
Исправлена утечка памяти: при длительной работе процесс node.js постепенно заполнял всю доступную оперативную память
Исправлена работа с прокси на некоторых сайтах, баг появился в одной из предыдущих бета-версий

Xireala · **Добавлено:** Ср июн 23, 2021 5:30 pm

Вышла новая версия парсера,там все ошибки пофиксиили

A-Parser Support · **Добавлено:** Пт авг 13, 2021 4:58 pm

Курс по заработку на PBN используя A-Parser(+включает лицензию)

Наш хороший друг Николай Кодий запускает очередной набор на курсы по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Курс учит профессии или помогает в ней прокачаться и упорядочить знания.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Данный курс без "воды" и с живыми вебинарами, с разборками домашних заданий — вы получите концентрат опыта и алгоритмы наработок, которые никто другой не показывает. А, кроме того, сможете попрактиковаться в поиске дропов на продажу. И поднятии на них сеток, для себя или на продажу.

Курс насыщен практикой на реальных задачах. Каждый выпускник получает весь необходимый инструментарий. Многие из выпускников потом находят работу в хороших компаниях или работают на себя.

Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link

A-Parser Support · **Добавлено:** Пт авг 27, 2021 6:25 pm

Сборник рецептов #47: информация о Youtube каналах, отзывы из Google Play и чекер апдейтов

47-й сборник рецептов, в который вошли парсер данных о Youtube каналах, парсер отзывов из Google Play и универсальный чекер изменений на страницах с уведомлением в Telegram.

Парсинг данных о Youtube канале
Парсер для сбора информации о каналах на Youtube. Данный парсер собирает описания каналов, дату регистрации, общее количество просмотров, страну, ссылки и email, если он есть в описании.

Парсинг отзывов Google Play Market
Парсер комментариев к приложениям в Google Play, который позволяет парсить как тексты отзывов, так и различную информацию: имя автора, аватар, дату и рейтинг.

Универсальный чекер апдейтов(текста, цен и т.п.) на страницах с уведомлением в Telegram
Данный парсер позволяет отслеживать изменения на различных страницах и получать уведомления в Telegram. Особенностью парсера является возможность гибко добавлять признаки для разных сайтов без необходимости вмешиваться в код. Также парсер формирует отчет, в котором видно сколько раз сработали и сколько уведомлений было отправлено.

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser Support · **Добавлено:** Ср сен 08, 2021 9:08 am

1.2.1294 - новые опции и расширение перечня типов собираемых данных в некоторых парсерах, багфиксы

Улучшения

В SE::Google добавлены новые опции:
- Exact match - соответствует опции в поисковике "Точное соответствие";
- Safe search - позволяет включать/отключать Безопасный поиск Google
В SE::DuckDuckGo добавлены опции Safe search и Serp time, а также исправлены мелкие ошибки в логике работы
В SE::Google::Trends добавлена опция Use empty queries(ignore query value) которая позволяет осуществлять поиск по категории
В SE::Yandex::Direct реализована поддержка каптч, а также добавлена переменная, позволяющая различать органическую и рекламную выдачу
В SE::YouTube добавлена возможность парсить "Похожие запросы", а также собирать дату добавления видео
В SE::Yandex::Suggest добавлен выбор способа запроса, один из которых позволяет собирать все расширенные подсказки (реклама, факты, ссылки на сайты)
В Net::HTTP добавлена опция Don't verify TLS certs
В Google::Maps добавлена возможность парсить ссылку на карточку компании
Добавлено обнаружение ограниченных (18+) профилей в Social::Instagram::Profile
Улучшена поддержка доменных прокси
Исправлена работа с await this.requestв JavaScript API v2
Реализован автоматический запуск заданий в статусе Some error при перезагрузке A-Parser
Добавлен флаг статичного формата имени файла результата, который позволит более гибко называть файлы и при этом сохранять возможность получать ссылки на них через getTaskResultsFile

Исправления в связи с изменениями в выдаче

Исправлено определение AMP ссылок в SE::Google
Исправлен парсинг рекламных анкоров в SE::Yandex
Исправлена проблема со 100%-м баном запросов в SE::Bing
Исправлена работа Net::Whois с доменной зоной .sex
В Shop::AliExpress изменился набор собираемых данных
Адаптация к изменениям в верстке: SE::Google, SE::Yandex, SE::Bing, SE::Seznam, Rank::MOZ, DeepL::Translator, HTML::LinkExtractor, SE::Startpage, SE::Yandex::ByImage, Rank::MajesticSEO, Shop::Yandex::Market, SE::Rambler, SE::YouTube

Исправления

Исправлена работа с поисковыми операторами в SE::DuckDuckGo
Исправлена работа SE::Google::Translate с некоторыми языками
Исправлена работа Redis API, проблема появилась в одной из предыдущих версий

A-Parser Support · **Добавлено:** Ср сен 29, 2021 11:47 am

Сборник статей #13: работа с MongoDB и поиск дроп доменов

Представляем 13-й сборник статей, в который вошли статья о работе с MongoDB и статья по поиску дроп доменов с использованием A-Parser.

Пример интеграции А-Парсера с MongoDB. CRUD Операции
В данной статье рассмотрен пример интеграции А-Парсера с MongoDB. В частности показаны CRUD операции. В качестве хранимых данных в базе используются результаты работы парсера поисковой выдачи Bing.

Дроп домены: для построения сеток PBN
PBN, или Private Blog Network — это сетка сайтов, созданных для того, чтобы с них проставлять ссылки на свои «белые» проекты для выхода в ТОП в высококонкурентных нишах. Такая сетка строится на дроп-доменах, поскольку у них есть история (конечно же, она должна быть чистой), траст, беклинки и даже трафик. В этой статье на конкретном примере показан пример решения задачи по поиску дропов с использованием A-Parser.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :-D

) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

A-Parser Support · **Добавлено:** Чт окт 07, 2021 6:01 pm

1.2.1325 - новые парсеры Pinterest, улучшения в существующих парсерах, исправление ошибок

Улучшения

Добавлены парсеры Pinterest:
- SE:: Pinterest - парсинг поисковой выдачи Pinterest
- SE:: Pinterest::Suggest - парсинг подсказок Pinterest с возможностью парсить в глубину
В SE::Google добавлен парсинг исправленного запроса
В SE:: Dogpile::Images добавлена поддержка рекаптч
В Shop::Yandex::Market добавлен сбор количества покупок и просмотров
В HTML::EmailExtractor улучшено обнаружение почт, защищенных CF

Исправления в связи с изменениями в выдаче

Адаптация к изменениям в верстке в SE::Google и SE::Yandex
Исправлено определение turbo страниц в SE::Yandex
Исправлена и оптимизирована работа SE::Google::TrustCheck и SE::Google::Compromised
SE::Google::Cache, SE:: DuckDuckGo, Rank::Alexa, Rank::Ahrefs

Исправления

Исправлена проблема с распознаванием символов диакритики
Устранены падения при ошибках в некоторых API запросах
Исправлены зависания при парсинге SE::Yandex с использованием аккаунтов
Исправлена ошибка распознавания дат в Net::Whois, а также адаптирован сбор данных для некоторых зон
Исправлена ошибка выбора IP для Xevil/CapMonster в Util::ReCaptcha2
Исправлена ошибка с указанием Provider url в Util::ReCaptcha2
Исправлена ошибка при которой отсутствовал объект с перечнем редиректов в Net::HTTP при Engine = Chrome
Исправлена работа Net::HTTP с http сайтами при Engine = Chrome
JS парсеры: исправлена работа noChange в this.proxy.set()
JS парсеры: исправлена ошибка, при которой set.lvl был пустой при вызове другого парсера из JS парсера
Исправлена работа кнопки Выход

A-Parser Support · **Добавлено:** Ср окт 20, 2021 6:52 pm

Сборник рецептов #48: скорость загрузки сайтов, парсер SocialBlade и определение категорий сайтов

48-й сборник рецептов, в котором собраны пресеты для сбора данных о скорости загрузки сайтов, парсинга статистики из SocialBlade и определения категорий сайтов.

Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool
Пресет для сбора данных о скорости загрузки сайтов/страниц с возможностью выбрать платформу (Desktop/Mobile/All). С его помощью можно массово измерить скорость по большим спискам сайтов и сравнить их производительность.

Парсинг статистики с Social Blade
Парсер для сбора данных из сервиса socialblade.com. С его помощью по ключевому слову, имени, бренду можно найти пользователей по социальным платформам, собрать количества подписчиков и спарсить теги твича.

Проверка категории сайтов через сервис cyren.com
Парсер сервиса cyren.com. С его помощью можно определить категорию сайта, а также собрать Alexa rank и некоторые Whois данные.

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser Support · **Добавлено:** Пт окт 29, 2021 8:58 am

Видео урок: Сбор форм обратной связи с тематических ресурсов +200 OK

Новый видео урок по работе с A-Parser от DIM STUDIO, в котором рассмотрен способ сбора форм обратной связи с тематических ресурсов.

Видео: https://youtu.be/idhtDKBrucI

В данном уроке показано как собрать формы обратной связи с тематических ресурсов с последующей проверкой на 200 OK через A-Parser для подготовки к последующему прогону через Xrumer.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO !

A-Parser Support · **Добавлено:** Вт дек 07, 2021 8:01 am

Сборник статей #14: авторизация на сайтах, скачивание изображений и парсинг Telegram

Представляем 14-й сборник статей, в который вошли обзор вариантов авторизации на сайтах, статья о скачивании изображений из сайтов и способ получения сообщений из чатов Telegram.

Варианты авторизации на сайте с помощью A-Parser
В статье рассмотрено 3 основных варианта авторизации на сайте с использованием различного функционала A-Parser.

Скачивание всех изображений из сайта
Обзор решения задачи по скачиванию всех изображений из сайта. В статье рассмотрено 2 способа парсинга и показаны преимущества и недостатки каждого.

Способ получения данных с чатов Телеграм используя экспорт сообщений
Статья, посвященная вопросу парсинга данных из Telegram. В статье описаны и сравниваются между собой встроенный в клиент Telegram экспорт сообщений и парсинг с помощью A-Parser.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки

) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

SEO: Софт и информация

A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, п

Кто сейчас на форуме