ГлавнаяОсновы SEOПродвижениеМонетизацияКаталог Статей

SEO: Софт и информация

Как создать, раскрутить и монетизировать свой ресурс
Текущее время: Ср окт 17, 2018 11:19 pm

Часовой пояс: UTC + 2 часа




Начать новую тему Ответить на тему  [ Сообщений: 42 ]  На страницу Пред.  1, 2, 3
Автор Сообщение
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн июн 11, 2018 10:38 am 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 41
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
1.2.216 - улучшения в SE::Google::Modern и JS парсерах, а также множество других

Изображение

Улучшения
  • Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой
  • Добавлен повтор без смены прокси при неудачной отправке рекаптчи в Изображение SE::Google::Modern
  • Добавлен бан прокси при получении 403 кода ответа в Изображение SE::Google::Modern
  • Процент неудачных запросов теперь отображается относительно числа выполненных запросов
  • Добавлена возможность вызвать URL после выполнения задания
  • Улучшен обзор каталогов при выборе файлов запросов
  • Добавлена поддержка setInterval в JavaScript парсерах
  • Уменьшено Wait between get status и улучшено логгирование в Изображение Util::ReCaptcha2
  • Улучшена обработка редиректов
  • Добавлена защита от бесконечного выполнения в JavaScript парсерах
  • Значительно увеличены возможности check_content в JS парсерах
  • В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлено ведение лога при нескольких паузах задания
  • Исправлена ошибка, из-за которой запрос считался неудачным при пустой выдаче в Изображение SE::Google::Modern
  • Исправлена работа с url, содержащими фрагмент # в Изображение Net::HTTP
  • Исправлен парсинг ссылок в Изображение HTML::LinkExtractor
  • Исправлена работа опции Pages count в Изображение SE::Yandex
  • Исправлен выбор файлов запросов на Windows 10
  • Исправлена ошибка, из-за которой иногда нельзя было удалить файл с запросами
  • Исправлено отображение проксичекера в конфиге потоков
  • Исправлена кодировка некоторых результатов в Изображение SE::Google::Suggest
  • Исправлена ситуация, когда не читались настройки из config.txt


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Чт июн 21, 2018 10:32 am 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 41
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Сборник рецептов #24: уведомление в Telegram об экспайре доменов, чекер РКН и работа с SQLite

24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали!

Получаем уведомления в Telegram об окончании срока регистрации доменов

Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше.

Изображение

Проверка блокировки РосКомНадзора через GitHub

В А-Парсере есть стандартный парсер Check::RosKomNadzor Check::RosKomNadzor, который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса, для работы обязательно нужно подключать антигейт. Кроме того, официальный сервис РКН часто подвергается атакам, в связи с чем может быть недоступен. Но существуют альтернативные источники данных, доступность которых значительно выше и к тому же не требующие проверки в виде каптчи. Парсинг одного из таких источников и реализована в пресете по ссылке выше.

Изображение

Простой парсер обменника с записью в БД SQLite

Как известно, в A-Parser реализована возможность чтения/записи данных в БД SQLite. В этом рецепте показано использование этого функционала на примере парсинга курсов валют. Готовый парсер доступен по ссылке выше.

Изображение

Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь нанаш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.



Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн июл 02, 2018 11:20 am 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 41
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
1.2.246 - обновление базы Rank::CMS и новые функции в парсерах Baidu и MajesticSEO

Изображение
Улучшения
  • В Изображение Rank::CMS обновлена база определяемых движков, теперь поддерживается одновременно старый и новый формат apps.json (при обновлении рекомендуется также обновить apps.json)
  • Изображение SE::Baidu полностью переписан:
    • добавлен парсинг related keywords
    • убран $cachedate из $serp, т.к. его похоже больше нет в выдаче
    • добавлена опция Get full link, преобразующая обрезанные ссылки в полные
    • исправлены некоторые регулярные выражения и баг с двойным http в ссылках
  • Изменения в Изображение Rank::MajesticSEO:
    • Добавлен параметр Check type, позволяет выбрать тип проверки: Root Domain/Subdomin/URL
    • Убран параметр Extract domain
    • Исправлена работа в некоторых случаях
  • Улучшена отзывчивость в редакторе JavaScript парсеров
  • Улучшена работа Изображение HTML::EmailExtractor, устранены зависания, которые возникали на определенных страницах
  • Обновлен список регионов в парсерах Яндекс
  • Пустой результат в Изображение SE::Google::Trends больше не считается неудачным запросом
  • Улучшена работа с сессиями в Изображение SE::Yandex::WordStat
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг рекламы в Изображение SE::Yandex
  • Исправлена работа, а также улучшен алгоритм парсинга в Изображение SE:: DuckDuckGo
  • Исправлено указание региона в парсерах Яндекс
  • Исправлен парсинг $ads.$i.visiblelink в Изображение SE::Google::Modern
  • Исправлен парсинг $totalcount в Изображение SE::Yandex:: Direct
Исправления
  • Исправлена ошибка, из-за которой процент обработанных запросов мог быть больше 100
  • Исправлены ошибки, из-за которых парсинг мог зависать при снятии с паузы, а также сбивался перебор в макросах подстановок
  • Исправлено отображение кириллицы в $headers в Изображение Net::HTTP
  • Исправлена ошибка в Конструкторе результатов, из-за которой в редких случаях парсер мог падать
  • Устранена проблема с кодировкой при работе с SQLite
  • Исправлена ошибка со сменой прокси в JavaScript парсерах


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн июл 23, 2018 10:37 am 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 41
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Видео урок: Создание JS парсеров. Работа с SQLite
Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео показано, как работать с базой данных SQLite в JS парсере.
Изображение

В этом уроке рассмотрены:
  • Знакомство с языком запросов SQL
  • Создание простейшей базы данных SQLite при работе с JS-парсером
  • Получение и запись данных в базу SQLite при работе с JS-парсером
Ссылки:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Чт авг 02, 2018 9:54 am 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 41
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
1.2.270 - новый парсер Rank::Curlie, множество доработок в Node.js функционале

Изображение

Улучшения
  • Добавлен новый парсер Изображение Rank::Curlie
  • В Изображение HTML::LinkExtractor улучшена обработка портов по умолчанию, теперь ссылки с портом приводятся к каноническому виду
  • Оптимизирована работа Изображение SE::Yandex::WordStat
  • Улучшена работа с сессиями в Изображение SE::Yandex
  • Улучшена обработка некорректных ответов в Изображение SE::Yandex Изображение SE::Google::Suggest
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена проблема с запуском на некоторых linux дистрибутивах
  • Исправлена загрузка node.js модулей в редких случаях на Windows
  • JS парсеры: добавлена поддержка dns.lookup и улучшена совместимость с модулем mysql2
  • JS парсеры: исправлен util.promisify
  • Исправлена работа некоторых Node.js модулей
  • В Изображение SE::Google::Modern и Изображение SE::Bing $totalcount при 0 результатов теперь возвращает 0
  • Исправлено логгирование в режиме foreground


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн авг 13, 2018 11:08 am 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 41
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
25-й сборник рецептов
25-й сборник рецептов. В нем будет показан способ периодического парсинга с дозаписью результатов в таблицу, рассмотрен парсинг с помощью Node.js модуля Cheerio без использования регулярных выражений, а также показан парсер первой мобильной поисковой системы в Китае - Shenma. Поехали!

Периодическая проверка обратных ссылок с дозаписью результатов в таблицу
Пример решения одной из наиболее запрашиваемых задач - дозапись периодически получаемых результатов в одну и ту же таблицу. В качестве хранилища данных используется SQLite, при каждом запуске данные добавляются и выводятся в таблицу. Готовый пресет с комментариями - по ссылке выше.
Изображение

Парсер поисковой системы Haosou
Как известно, в основе почти любого парсера используются регулярные выражения, реже - XPath. Работа с этими методами требует определенных знаний, что в свою очередь может вызывать некоторые сложности. Поэтому существуют и другие методы. Использование одного из них на примере парсинга популярного в Китае поисковика Haosou, показано по ссылке выше.
Изображение

Парсер китайского поисковика Shenma
Еще один китайский поисковик в этом сборнике - Shenma. Это первая мобильная поисковая система в Китае, ориентирована в первую очередь на мобильные сайты. Пресет - по ссылке выше.
Изображение

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники рецептов:


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Чт авг 23, 2018 1:19 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 41
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Видео урок: Создание JS парсеров. Реализация подстановки запросов и их многопоточной обработки.
Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео будет показано, как "на лету" добавлять запросы в задание и многопоточно их обрабатывать.
Изображение
В одной из наших статеймы рассмотрели способ разработки парсера, который собирает ТОП 10 из выдачи поисковика, а затем по очереди парсит нужные данные по полученным ссылкам. Вроде все неплохо, но если у вас не 10 запросов, несколько тысяч? Задание будет выполняться очень долго, а время это самый драгоценный и не восполняемый ресурс.
К счастью в A-Parser есть такая замечательная вещь, как многоуровневый парсинг, который позволяет многократно увеличить скорость парсинга, и в этом видео мы рассмотрим как этой возможностью пользоваться.

В этом уроке рассмотрено:
  • Реализация раздельных процедур парсинга в зависимости от внешних условий, а именно - уровня парсинга
  • Подстановка запросов в задание "на лету"
  • Использование стандартных парсеров в кастомных JavaScript парсерах
Ссылки:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн сен 03, 2018 2:01 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 41
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
1.2.292 - новый парсер Яндекс ИКС, улучшения в работе с кодировками, оптимизации встроенных парсеров
Изображение
Улучшения
  • Добавлен парсер ИзображениеSE::Yandex::SQI - парсер Индекса качества сайта (Яндекс ИКС)
  • Оптимизирована работа Очереди заданий
  • Добавлена поддержка множества экзотических кодировок китайского языка
  • Добавлена опция Save as UTF-8 with BOM, которая решает проблему определения кодировки при открытии сформированного CSV в Excel
  • ИзображениеSE::Youtube полностью переписан с использованием современного юзерагента
  • ИзображениеSE::AOL::Suggest оптимизирован и переписан на JavaScript
  • Улучшена работа ИзображениеSE::Google,ИзображениеSE::Google::Modern, ИзображениеRank::MajesticSEO,ИзображениеSE::Bing,ИзображениеShop::Amazon
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена работа ИзображениеNet::Whois для некоторых доменных зон
  • Исправлена ошибка, при которой не импортировался пресет, если не установлены модули, используемые в нем
  • Исправлена кодировка при использовании fs.readdirSync в JS парсерах


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Чт сен 13, 2018 6:00 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 41
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Сборник статей #5: собственный канал в Telegram и массовое добавление товаров в OpenCart
В 5-м сборнике статей на реальном примере будет показано, как создать свой канал в Телеграме и полностью автоматизировать его наполнение контентом. Также мы продолжаем цикл статей по работе с OpenCart и во 2-й части будет рассмотрен вопрос массового добавления товаров. Как обычно, в каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

Полноценный Telegram канал на базе A-Parser
В этой статье будет описан способ создания полноценного канала в Telegram c автоматизированным сбором контента и постингом сообщений через заданные интервалы. И конечно, все это на базе A-Parser. Все подробности, а также готовые пресеты - по ссылке выше.
Изображение

Работаем с OpenCart. Часть 2. Массовое добавление товаров
Мы продолжаем цикл статей о заливке товаров в интернет-магазин на базе OpenCart. Во второй части будет рассмотрено массовое добавление товара. Подробности, а также пример готового парсера - по ссылке выше.
Изображение

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн сен 24, 2018 3:57 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 41
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Видео урок: Массовое добавление товаров в OpenCart
Данный парсер является примером для разработки парсера работающего с OpenCart. Решение демонстрирует возможность сбора данных о товарах из стороннего сайта и заливку их на собственный сайт на базе OpenCart через API.
Изображение
В этом уроке рассмотрены:
  • парсинг товаров из интернет-магазина
  • авторизация в OpenCart
  • работа с API OpenCart для публикации товаров

Статья и готовый пресет опубликованы в нашем Каталоге: https://a-parser.com/resources/302/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Чт окт 04, 2018 1:45 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 41
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
1.2.319 - новый парсер подсказок Youtube, поддержка модуля MySQL2, множество улучшений и оптимизаций
Изображение
Улучшения
  • Добавлен новый парсер ИзображениеSE::Youtube::Suggest
  • Добавлена совместимость с модулем mysql2 в JavaScript парсерах
  • В ИзображениеUtil::ReCaptcha2 добавлена поддержка сервиса R.I.P.captcha
  • В ИзображениеSE::Bing::Suggest добавлена возможность выбора страны
  • Уменьшено потребление оперативной памяти, а также оптимизирована начальная загрузка, интерфейс теперь открывается быстрее
  • База регионов в ИзображениеSE::Yandex обновлена и значительно увеличена
  • Для всех стандартных парсеров, кроме тех, которые работают на основе ИзображениеNet::HTTP, из настроек убраны Max body size и Use gzip
  • Улучшен ИзображениеShop::Amazon
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена работа с прокси при получении каптчи в ИзображениеSE::Yandex::Register
  • В очень редких случаях в ИзображениеSE::Yandex могла возникать ошибка Content mismatch
  • Исправлен ИзображениеNet::Whois при работе с .eu доменами


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контент
СообщениеДобавлено: Пн окт 15, 2018 2:11 pm 
Не в сети

Зарегистрирован: Пт июн 09, 2017 10:21 am
Сообщений: 41
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Видео урок: Полноценный Telegram канал на базе A-Parser
Это видео демонстрирует возможность создания полноценного Telegram канала на базе A-Parser. Парсер периодически и без вмешательства пользователя будет собирать контент и публиковать его на канале.
Изображение
В уроке рассмотрены:
  • Регистрация и настройка канала в Телеграм.
  • Последовательное выполнение нескольких заданий.
  • Сохранение промежуточных данных в базу SQLite с последующим чтением.
  • Настройка пресета для постинга сообщений в Telegram-канал.
Статья с подробным описанием процесса создания: https://a-parser.com/resources/300/
Ссылки на готовые пресеты:
https://a-parser.com/resources/38/
https://a-parser.com/resources/298/
https://a-parser.com/resources/299/
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 42 ]  На страницу Пред.  1, 2, 3

Часовой пояс: UTC + 2 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:




Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group (блог о phpBB)
Сборка создана CMSart Studio
Русская поддержка phpBB