ГлавнаяОсновы SEOПродвижениеМонетизацияКаталог Статей

SEO: Софт и информация

Как создать, раскрутить и монетизировать свой ресурс
Текущее время: Вт июл 14, 2020 2:37 pm

Часовой пояс: UTC + 2 часа




Начать новую тему Ответить на тему  [ Сообщений: 96 ]  На страницу Пред.  1 ... 3, 4, 5, 6, 7
Автор Сообщение
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Вт апр 28, 2020 12:34 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 95
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Сборник рецептов #40: посещаемость организаций, SSL сертификаты, ikea и анализ доменов

Представляем вашему вниманию 40-й сборник рецептов, в который вошли:
  • парсер данных о посещаемости организаций
  • парсер данных о SSL сертификатах
  • парсер товаров на ikea.com
  • комплексный пресет для анализа доменов по ряду характеристик
  • способ извлечения доменов из ссылок без фактического захода на страницу

Посещаемость в Google Maps
В поисковой выдаче Google для определенных запросов отображается расширенный сниппет с информацией об организации из Google карт. В частности, обычно отображается информация о посещаемости в разрезе дней недели.
Представляем парсер, который собирает данные о посещаемости.
Изображение

Данные по SSL сертификату
Данный парсер собирает информацию о SSL сертификате сайта. В качестве источника данных используется сторонний ресурс.
Изображение

Парсер ikea.com
Парсер данных из ikea.com, который позволяет собирать различную информацию о товарах. Согласно данным из Википедии, ikea - это одна из крупнейших в мире торговых сетей по продаже мебели и товаров для дома.
Изображение

Кроме этого:
Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пт май 08, 2020 1:21 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 95
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Видео урок: Сохранение результатов в несколько файлов используя переменные, массивы и условия
В этом видео уроке рассмотрены способы сохранения результатов в несколько файлов, используя переменные и массив, при определенных условиях.

Изображение

В видео рассмотрено:
  • Вывод результатов в разные файлы с разными именами используя переменные
  • Вывод результатов для каждого файла отдельно по определенному условию
  • Вывод результатов для двух файлов с условием, используя массив

Полезные ссылки:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
Изображение


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн май 18, 2020 11:18 am 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 95
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Сборник рецептов #41: Google таблицы, отправка писем и авторизация с помощью puppeteer
Представляем 41-й сборник рецептов, который полностью посвящен использованию различных Node.js модулей в A-Parser.
  • Работа с Google таблицами
  • Отправка писем из А-Парсера
  • Авторизация с помощью puppeteer
Сохранение результатов в Google SpreadSheets
Один из часто задаваемых вопросов в поддержке, это вопрос о возможности писать результаты прямо в Google Таблицы. Поэтому мы подготовили небольшой пример парсера, который демонстрирует такую возможность.
Изображение

Отправка почтовых писем
Еще одна возможность, о которой часто спрашивают наши пользователи - отправка писем. Такой функционал может быть использован для уведомлений о различных событиях в заданиях, в том числе о завершении их работы. Поэтому мы также подготовили пример, демонстрирующий отправку писем прямиком из А-Парсера.
Изображение

Авторизация на GitHub с использованием puppeteer
Еще один пример по заявкам наших пользователей, демонстрирующий загрузку страницы, авторизацию на ресурсе и простую навигацию.
Изображение


Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Чт июн 11, 2020 6:19 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 95
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
1.2.912 - обновление NodeJS, повышение производительности, адаптация к изменениям в рекаптчах

Изображение

Мы завершили переход на NodeJS в качестве основного движка для парсеров и представляем новую стабильную версию 1.2.912 с поддержкой NodeJS 14.2.0. Данное обновление сочетает в себе множество улучшений, включая повышение производительности, уменьшение потребления памяти, полностью новый сетевой стек, а также поддержку нативных NodeJS модулей, позволяющую использовать всю мощь каталога npmjs в A-Parser'е

Также в данное обновление включены изменения по работе с ReCaptcha2 в парсере Google, наша команда одна из первых нашла решение по обходу новой версии рекаптчи и протестировала его совместно с сервисом RuCaptcha, за что им отдельный респект. На данный момент корректный обход каптчи протестирован с RuCaptcha, Anti-Captcha, XEvil и CapMonster.

Помимо этого было произведено множество оптимизаций в ядре A-Parser'а, значительно увеличилась производительность при использовании большого числа заданий или больших списков прокси. Парсер Изображение Rank::CMS был полностью переписан и стабилизирован, добавлена поддержка нового формата apps.json и поддержка пользовательских правил.

Улучшения
  • NodeJS обновлен до v14.2.0, v8 до 8.1
  • Добавлена поддержка параметра data-s в рекаптчах для Изображение SE::Google, также добавлена опция ReCaptcha2 pass proxy
  • Увеличен лимит потоков до 10000 для OS Windows
  • Значительно улучшена производительность при большом числе активных прокси и/или заданий, полностью переписан стек по работе с прокси, оптимизирована работа с большими списками
  • Добавлен новый парсер Изображение Rank::KeysSo
  • Полностью переписаны на JS Изображение SE::Yahoo::Suggest, Изображение Rank::Alexa::API и Изображение Rank::Archive
  • Улучшена производительность при использовании регулярных выражений, а также улучшена совместимость
  • В Изображение SE::Google::KeywordPlanner добавлено автоматическое получение токена
  • В Изображение SE::Bing добавлена возможность парсить ссылки на кэшированные страницы, а также добавлена возможность парсить мобильную выдачу
  • В парсере Изображение Util::ReCaptcha2 при выборе провайдера Capmonster или Xevil теперь необязательно указывать Provider url
  • В Изображение SE::Google::Trends добавлена возможность указывать произвольный диапазон дат
  • В Изображение Rank::CMS добавлен выбор движка регулярок и поддержка собственного файла с признаками
  • В Изображение SE::Yandex::ByImage добавлена опция Don't scrape if no other sizes, которая позволяет отключить сбор результатов, если искомой картинки нет в других размерах
  • [NodeJS] Добавлена защита от бесконечных циклов и долгих регулярок
  • [NodeJS] Исправлена работа this.cookies.getAll()
  • [JS парсеры] Добавлена опция follow_meta_refresh для this.request
  • [JS парсеры] Добавлена опция bypass_cloudflare для this.request
  • [JS парсеры] Underscore заменен на Lodash
  • [JS парсеры] В логе добавлена пометка при вызове других парсеров
  • [JS парсеры] Использование предыдущего прокси после запроса к другому парсеру
  • [JS парсеры] Добавлен метод destroy()
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлен баг, из-за которого игнорировался выбранный проксичекер
  • Исправлена работа функций Decode HTML entities и Extract domain в Конструкторе результатов
  • Исправлена проблема с определением кодировки
  • Исправлена ошибка использования $tools.query
  • Исправлен баг в Изображение Rank::MajesticSEO при котором использовались все попытки при отсутствии результатов
  • Исправлена работа http2
  • Исправлена ошибка, когда парсер падает из-за невозможности писать в alive.txt
  • Исправлено разгадывание каптч в Изображение SE::Yandex::Register и Изображение Check::RosKomNadzor
  • Исправлена разница в запросах, отправляемых через Изображение Net::HTTP и JS
  • Исправлен баг в Изображение SE::Yahoo
  • Исправлены ошибки в Изображение Rank::CMS при выборе приложения без категории
  • [NodeJS] Исправлен подсчет времени исполнения кода парсера
  • [JS парсеры] При пустом body не передавался заголовок content-length при post запросе
  • [JS парсеры] Исправлена работа CloudFlare bypass
  • [JS парсеры] Исправлена работа с сессиями
  • [JS парсеры] Исправлена работа с overrides для this.parser.request
  • [JS парсеры] Исправлена ошибка определения кодировки в JS парсерах

Изображение


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн июн 22, 2020 1:02 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 95
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Сборник рецептов #42: поиск битых ссылок, сервисы статистики и коммерциализация запросов

Представляем 42-й сборник рецептов, в котором собраны парсеры для определения наличия на сайте битых ссылок, сбора данных об используемых сервисах статистики и определения коммерциализации ключевых слов.

Парсер Ahrefs::BrokenLink
Ahrefs Broken Link Checker - это сервис, позволяющий определить наличие битых ссылок на сайте, а также некоторую другую полезную информацию.
Изображение

Парсер builtwith.com
Этот парсер собирает данные об используемых на сайтах сервисах статистики с ресурса BuiltWith. С его помощью можно получить список id используемых сервисов статистики, а также список других сайтов, на которых используются эти же id.
Изображение

Определение коммерциализации запроса
Способ определения степени коммерциализации ключевых слов, основанный на анализе поисковой выдачи Яндекса. Оценивается количество вхождений определенного списка слов в анкорах и сниппетах ТОП10 выдачи.
Изображение
Кроме этого:
Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн июл 06, 2020 4:31 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 95
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Видео урок: где смотреть переменные, скрытые переменные и какой результат они выводят (примеры)

В этом видео рассмотрели где смотреть переменные, какие бывают скрытые переменные и какой результат они выводят на примерах.

Изображение

Содержание видео:
00:20 - 1. Где смотреть какие у парсера есть переменные?
1:16 - 2. Какие бывают скрытые переменные ($query.*, $root и т.п.)?
1:22 - переменная root
2:08 - переменная root объект
3:14 - переменная query.orig
4:04 - переменная query.first
5:24 - переменная query.lvl
5:50 - переменная query.prev
6:20 - переменная query.num

Все возможные методы TT для работы с обьектами
Форматирование запросов (шаблоны)

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Изображение


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 96 ]  На страницу Пред.  1 ... 3, 4, 5, 6, 7

Часовой пояс: UTC + 2 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:




Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group (блог о phpBB)
Сборка создана CMSart Studio
Русская поддержка phpBB