ГлавнаяОсновы SEOПродвижениеМонетизацияКаталог Статей

SEO: Софт и информация

Как создать, раскрутить и монетизировать свой ресурс
Текущее время: Чт дек 13, 2018 5:47 am

Часовой пояс: UTC + 2 часа




Начать новую тему Ответить на тему  [ Сообщений: 46 ]  На страницу Пред.  1, 2, 3, 4  След.
Автор Сообщение
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Ср янв 10, 2018 9:57 am 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 45
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Сборник статей #2: цикл статей-уроков по созданию JS парсеров

Как известно, в A-Parser есть возможность создавать свои собственные парсеры, которые могут иметь практически любую логику и в то же время позволяют пользоваться всеми преимуществами А-Парсера. Для написания таких парсеров используется язык JavaScript. В нашей документации подробно описаны все функции и методы, которые можно использовать при написании парсеров. А в сегодняшнем сборнике мы на практических примерах покажем наиболее часто применяемые функции. Поехали!

Изображение
  1. Получение результатов от стандартного парсера.
    В этой статье описано использование функции yield this.parser.request, которая позволяет работать с уже существующими парсерами, получать от них данные и дополнительно обрабатывать их.
  2. Парсинг сайта с проходом по страницах.
    Здесь показан общий подход к созданию парсера, который будет "ходить" по страницам на сайте и забирать с них некоторую информацию.
  3. Парсинг title и description для топ10 сайтов по запросу.
    В данном примере показано как написать собственный парсер, который объединит в себе две разных задачи: парсинг топ10 сайтов и парсинг данных из каждого полученного сайта. При этом также будет показана возможность реализации выбора между несколькими поисковиками, что делает такой парсер еще более универсальным.
  4. Реализация подстановки запросов и их многопоточной обработки.
    Этот пример продемонстрирует, как "на лету" добавлять запросы с помощью tools.query.add, а также, как обрабатывать их в многопоточном режиме.
  5. Работа с CAPTCHA.
    В этой статье на простом примере будет показан общий подход к работе с сайтами, на которых появляется каптча. Будет пошагово разобран алгоритм и продемонстрирован результат работы.
  6. Работа с ReCaptcha2.
    А в этом примере по аналогии с обычной каптчей демонстрируется алгоритм работы с рекаптчей, а также вкратце поясняется принцип ее действия.

Для каждой статьи в конце будет продемонстрирован результат работы и дана ссылка на готовый парсер.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Вт янв 23, 2018 4:46 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 45
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
1.2.78 - поддержка сессий в JS парсерах, улучшение SE::Google::Modern, правки в интерфейсе

Изображение

Улучшения

  • Добавлена поддержка сессий в JavaScript парсерах
  • В ИзображениеSE::Google::Modern добавлена поддержка сессий и улучшена производительность за счет уменьшения частоты появления каптч/рекаптч
  • Добавлена переменная $query.prev - показывает запрос, который использовался на предыдущем уровне
  • Для JS парсеров добавлен метод this.logger.putHTML, который позволяет вывести в лог HTML код
  • В Lite версию добавленИзображениеSE::Google::Modern и ИзображениеUtil::ReCaptcha2
  • В x86 версиях добавлено предложение перейти на x64
  • Добавлена возможность переименовывания пресетов
  • В окне выбора пресета для папок реализована "память на сворачивание"
  • Изменены иконки для JS парсеров
  • Исправлены ошибки с переводом в интерфейсе
  • Исправлено отображение HTML тегов в логах
  • Исправлен баг при импорте с вложенным парсером
  • Исправлен баг с прокруткой при сохранении JS парсеров и пресетов
  • Доработан Конструктор регулярных выражений
  • Другие мелкие правки в интерфейсе, направленные на улучшение общей работы

Исправления в связи с изменениями в выдаче

  • В ИзображениеSE::Google::Modern исправлен парсинг сниппетов и рекламы, а также мобильной выдачи
  • В ИзображениеSE::Google::Suggest исправлен парсинг подсказок, а также добавлена опция Remove HTML tags, позволяющая получать подсказки с или без html тегов
  • Исправлен парсинг анкоров и сниппетов в ИзображениеSE :: DuckDuckGo
  • ИзображениеSE::Ask, ИзображениеSE :: Dogpile, ИзображениеRank::Mustat

Исправления

  • Исправлен баг с перемещением заданий в очереди
  • В ИзображениеSE::Google::Modern исправлен баг с кодировкой
  • Исправлена работа параметров Request delay и Extra query string во всех JS парсерах
  • Исправлен выбор файлов запросов
  • Исправлено отображение иконок для JS парсеров


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пт фев 02, 2018 12:10 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 45
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Видео урок: Создание JS парсеров. Получение результатов от стандартного парсера

Это видео начинает цикл уроков по созданию JavaScript парсеров. Здесь рассказано о том, как начать писать собственные парсеры, используя функционал JS парсеров в А-Парсере.

Изображение

В уроке рассмотрено:
  • Создание кастомного JS парсера
  • Использование встроенного парсера внутри JS парсера
  • Парсинг выдачи поисковой системы с фильтрацией результатов по заданному условию
Полезные ссылки:
Статья и готовый парсер: https://a-parser.com/resources/254/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Вт фев 13, 2018 10:48 am 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 45
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Видео урок: Создание JS парсеров. Парсинг сайта с проходом по страницах

Второе видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать несложный парсер сайта, который будет "листать" страницы, используя функционал JS парсеров в А-Парсере.

Изображение

В уроке рассмотрено:
  • Создание кастомного JavaScript парсера без использования встроенных парсеров
  • Парсинг контента сайта постранично с использованием регулярных выражений
  • Реализация прохода по страницам ("пагинации") в JS парсере

Статья и готовый парсер: https://a-parser.com/resources/255/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пт фев 23, 2018 12:44 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 45
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
1.2.138 - поддержка Node.js модулей, обработка ReCaptcha2 во всех парсерах Google, парсер AliExpress

Изображение

В A-Parser 1.2.138 добавлена эмуляция node версии 8.9.x с поддержкой загрузки модулей и частичной реализацией fs и net модулей. Это дает возможность обращаться из JavaScript парсеров напрямую к файловой системе, а также использовать подключение по TCP из модулей к другим сервисам(например mysql, redis, chrome...).

Все это позволило загружать и использовать node модули из каталога npm, в котором собраны множество полезных библиотек для обработки данных, коннекторы к базам данных и множество других интересных вещей. На данный момент протестированы следующие модули: md5, async-redis, jsdom, puppeter.
Улучшения
  • Добавлена поддержка Node.js модулей в JavaScript парсерах
  • Изображение SE::Google:: Position, Изображение SE::Google::Compromised и Изображение SE::Google::TrustCheck полностью переписаны, добавлена поддержка ReCaptcha2
  • Улучшена работы Изображение SE::Google::Modern в целом
  • В Изображение SE::Youtube добавлен выбор языка, а также реализована возможность включать/отключать Безопасный режим
  • Добавлен Изображение Shop::AliExpress
  • Улучшена проверка создаваемых переменных в пресетах
  • Улучшена работа сессий
  • Исправлено отображение имени файла запроса на карточке задания
  • Улучшена работа скрола в Тестовом парсинге
  • Добавлено удаление переносов из сниппетов в Изображение SE::Google::Modern
  • Картинка каптчи в парсере Изображение SE::Yandex::Register теперь скачивается через прокси
  • Множество мелких улучшений в интерфейсе
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена работа Конструктора регулярных выражений
  • Исправлена работа с кодировками в парсерах переводчиков и JS парсерах
  • Исправлена работа Изображение SE::Google:: Position
  • Исправлен выбор региона в Изображение SE::Yandex:: Direct
  • Исправлена работа опции Location в Изображение SE::Google::Modern
  • Исправлена работа сессий в Изображение SE::Google::Modern при переопределенном домене
  • Исправлена ошибка при совместном использовании опций Перезаписи файла, Начального и Конечного текстов
  • Исправлено отображение вкладок в Тесте задания
  • Исправлено отображение списка пресетов в поле Запустить по завершению
  • Исправлена работа this.proxy.set в JS парсерах
  • Исправлена передача дополнительных параметров в JS парсерах
  • Исправлена ошибка, из-за которой через API нельзя было указать Начальный и Конечный тексты
  • Исправлен экспорт пресетов


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн мар 05, 2018 12:24 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 45
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Использование Xevil совместно A-Parser для разгадывания ReCaptcha2

Изображение

Как известно, сейчас Google при парсинге очень часто выдает рекаптчу, что значительно усложняет и замедляет сбор данных.
В A-Parser есть возможность обходить данную проблему, разгадывая рекаптчу с помощью сторонних сервисов. Поддерживаются различные онлайн сервисы, а также программные решения.

Одним из таких решений есть XEvil. Его использование дает хороший прирост в скорости, а также значительно удешевляет парсинг, ведь здесь нету оплаты за количество разгаданных каптч/рекаптч, как в онлайн сервисах. Кроме этого, XEvil умеет разгадывать практически любые обычные каптчи (в виде картинки) и данная возможность также поддерживается в A-Parser.

Изображение

На данный момент использовать разгадывание рекаптчи с помощью XEvil можно в таких парсерах:

В видео показано:
  • подключение Xevil к A-Parser для работы с ReCaptcha2
  • проверка работы и демонстрация работы в SE::Google::Modern

Ознакомиться более детально с возможностями XEvil можно по ссылкам:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Чт мар 15, 2018 10:06 am 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 45
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb

21-й сборник рецептов. В нем мы научимся отправлять сообщения в Telegram прямо из A-Parser, изучим работу с модулями Node.js в JS парсерах на примере решения задачи фильтрации по множеству признаков, а также спарсим весь IMDb. Поехали!

Уведомления в Telegram из A-Parser

Telegram является одним из самых популярных мессенджеров благодаря своей простоте, и в то же время большому функционалу. Среди прочего, в Телеграме можно создавать ботов, с помощью которых можно делать чаты более интерактивными. Взаимодействие с ботом на на стороне сервера происходит через Telegram Bot API. Используя эти возможности, можно легко и буквально за несколько минут настроить уведомления себе в Telegram прямо из парсера. О том, как это сделать, а также несколько реальных примеров - по ссылке выше.
Изображение

Изображение

Фильтрация по множеству признаков

Как известно, для фильтрации в А-Парсере используется встроенный функционал фильтров. Но бывают ситуации, когда список признаков, наличие которых нужно проверять, очень большой и его сложно вписать в строку стандартного фильтра.
Начиная с версии 1.2.127 в A-Parser добавлена поддержка модулей Node.js. Благодаря этому появилась возможность читать список признаков из файла и использовать его для проверки страниц. О том, как это сделать, а также готовый парсер с мультифильтром - по ссылке выше.

Изображение

Парсинг рекомендаций фильмов из IMDb

Пример решения задачи по сбору данных о фильмах и их рекомендаций на IMDb. Данная статья показывает, как можно решать задачи, которые на первый взгляд требуют много времени и ресурсов, буквально за несколько часов. Узнать о том, как спарсить весь IMDb за 1,5 часа, а также посмотреть пресет и забрать готовую базу можно по ссылке выше.

Изображение

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники рецептов:
Сборники статей:


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн мар 26, 2018 12:28 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 45
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
1.2.160 - поддержка SQLite, проверка доменов на клей, Parse all results в SE::Yahoo

Изображение
Улучшения
  • Добавлена поддержка SQLite в JavaScript парсерах и шаблонизаторе, пример использования здесь
  • Добавлена защита от случайного закрытия окна парсера
  • В Изображение SE::Yahoo добавлены Parse all results и Parse related to level
  • Изображение SE::Yandex::TIC полностью переписан, добавлена возможность проверять домены на клей
  • В Изображение Rank::MegaIndex добавлена поддержка ReCaptcha2
  • Улучшен парсинг сниппетов в Изображение SE:: DuckDuckGo
  • Улучшен сбор почт в Изображение HTML::EmailExtractor
Исправления в связи с изменениями в выдаче
  • Обновлен алгоритм Bypass Cloudflare
  • Изображение SE::Bing::Translator почти полностью переписан в связи с изменением логики работы переводчика Bing
  • Исправлена работа Изображение SE::Seznam с некоторыми видами запросов
  • Исправлен парсинг related keywords, а также мобильной выдачи в Изображение SE::Google::Modern
  • Исправлен парсинг related keywords в Изображение SE::Bing
  • Исправлена работа Изображение SE::IxQuick при работе с русскоязычными запросами
  • Изображение SE::Yandex:: Direct, Изображение SE::Google::ByImage, Изображение SE::Yandex::WordStat
Исправления
  • Исправлена работа Изображение SE::Google::Modern на IPv6 прокси
  • Исправлена ошибка, из-за которой Изображение SE::Google::Modern собирал ссылки с пометкой опасных сайтов в общий массив ссылок
  • Исправлена работа с оператором поиска + в Изображение SE::Bing
  • Исправлен парсинг запросов со спецсимволами в Изображение SE:: DuckDuckGo
  • Исправлена работа Изображение Rank::MajesticSEO
  • Исправлен баг с overrideOpts в JS парсерах
  • Исправлена работа с переменными при их создании в Parse custom results, а также при использовании нижнего подчеркивания в именах в Конструкторе результатов
  • Исправлена работа tools.js, баг появился в одной из предыдущих версий
  • Исправлен баг, из-за которого А-Парсер падал на некоторых ОС, появился в одной из предыдущих версий


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн апр 02, 2018 3:06 pm 
Не в сети
Аватар пользователя

Зарегистрирован: Пн апр 02, 2018 2:48 pm
Сообщений: 3
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Отличный парсер, которым успешно пользуются многие клиенты BotmasterLabs :)
Особенно хорош в сочетании с XEvil 4.0


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Чт апр 05, 2018 10:34 am 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 45
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Видео урок: Создание JS парсеров. Работа с CAPTCHA
Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.

Изображение

В уроке рассмотрено:
  • Создание JS-парсера для разгадывания капчи
  • Работа с объектом this.captcha внутри JavaScript кода
  • Описание процесса разгадывания каптчи, реализованного в A-Parser

Статья и готовый парсер: https://a-parser.com/resources/257/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн апр 16, 2018 12:01 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 45
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов

22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!

Получение страниц сайта и проверка индексации в Google и Яндекс
Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше.
Изображение

Парсим title и description для TOP10 поисковой выдачи по ключевому слову
Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше.
Изображение

Поиск сабдоменов сайта
Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется ИзображениеHTML::LinkExtractor и Parse to level для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше.
Изображение

Кроме этого:

Еще больше различных рецептов в нашем обновленном Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь нанаш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.


Сборники статей:


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Чт апр 26, 2018 10:48 am 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 45
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Сборник статей #3: пагинация, переменные и БД SQLite

В этом сборнике статей мы рассмотрим все возможные варианты решения задачи прохода по пагинации на сайтах, очень детально изучим работу с переменными в JavaScript парсерах, а также попробуем работать с базами данных SQLite на примере парсера курсов валют. Поехали!

Обзор вариантов прохода по пагинации

В A-Parser существует несколько способов, с помощью которых можно реализовать проход по пагинации. В связи с их разнообразием, становится актуальным вопрос выбора нужного алгоритма, который позволит максимально эффективно переходить по страницам в процессе парсинга. В этой статье мы постараемся разобраться с каждым из способов максимально подробно. Также будут показаны реальные примеры и даны рекомендации по оптимизации многостраничного парсинга. Статья - по ссылке выше.
Изображение

Переменные в парсерах JavaScript

JS парсеры в А-Парсере появились уже около года назад. Благодаря им стало возможным решать очень сложные задачи по парсингу, реализовывая практически любую логику. В этой статье мы максимально подробно изучим работу с разными типами переменных, а также узнаем, как можно оптимизировать работу сложных парсеров. Все это - в статье по ссылке выше.
Изображение

Разработка JS парсера с сохранением результата в SQLite

Начиная с версии 1.2.152 в A-Parser появилась возможность работать с БД SQLite.
В данной статье мы рассмотрим разработку JavaScript парсера, который будет парсить курсы валют из сайта finance.i.ua и сохранять их в БД. В результате получится парсер, в котором продемонстрированы основные операции с базами данных. Подробности, а также готовый парсер - по ссылке выше.
Изображение


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн май 07, 2018 11:55 am 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 45
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
1.2.185 - увеличение скорости в SE::Google::Modern, новые возможности Net:: DNS, множество улучшений

Изображение
Улучшения
  • Изображение SE::Google::Modern - многократно увеличена скорость парсинга
  • Множество улучшений в ИзображениеNet:: DNS:
    • Возможность указать несколько DNS и задать метод выбора
    • Бан нерабочих/плохих DNS по специальному эвристическому алгоритму
    • Возможность вывести в результат использованный DNS сервер при удачном запросе
  • В Изображение SE::Google::Modern добавлена опция Use sessions
  • В Изображение SE::Yandex::WordStat добавлена настройка пресета антигейта для логина
  • Также в Изображение SE::Yandex::WordStat удалены настройки Use logins/Use sessions, теперь они включены всегда
  • Добавлена возможность автоматического удаления задания из Завершенных
  • В макросе подстановок {num} добавлена поддержка обратного отсчета
  • В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии
  • В JavaScript парсерах добавлена возможность прямого сохранения в файл
  • В API методе oneRequest/bulkRequest добавлена возможность указать configPreset
  • В связи с неактуальностью удалены парсеры SE::Google::Mobile и SE::Yandex::Catalog
Исправления в связи с изменениями в выдаче
Исправления
  • Количество неудачных больше не обнуляется при постановке на паузу
  • Исправлена проблема с подключением Node.js модулей на Linux
  • Исправлено падение парсера в редких ситуациях при использовании JS парсеров
  • Решена проблема с подключением Node.js модулей lodash, sequelize
  • Исправлена ошибка итератора при равных границах в макросе {num}


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Чт май 17, 2018 10:27 am 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 45
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Видео урок: Создание JS парсеров. Работа с ReCaptcha2


Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.

Изображение


В уроке рассмотрено:
  • Описание и настройка парсера ИзображениеUtil::ReCaptcha2
  • Описание принципа работы ReCaptcha2
  • Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч

Ссылки:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн май 28, 2018 12:21 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 45
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат

23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали!

Получение категорий сайтов из Google

Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google.
Изображение

Выгрузка товаров в формате YML

YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных данных в YML можно посмотреть по ссылке выше.
Изображение

Парсим Google новости с датой и преобразуем ее

В поисковой выдаче Google возле новостей публикуется дата. Как правило, это могут быть метки "10 ч. назад" или "26 мая 2018 г.". Иногда может возникнуть задача спарсить все даты и привести их к единому виду. Как именно это сделать, можно узнать по ссылке выше.
Изображение

Кроме этого:
Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники рецептов:


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 46 ]  На страницу Пред.  1, 2, 3, 4  След.

Часовой пояс: UTC + 2 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
cron




Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group (блог о phpBB)
Сборка создана CMSart Studio
Русская поддержка phpBB