A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента

Список разделов Продвижение сайта / Поисковая оптимизация SEO

Описание: продвижение сайтов

Сообщение #61 A-Parser Support » 21 мая 2019, 14:02

1.2.484 - 4 новых парсера, улучшение работы и исправление существующих
Изображение
Улучшения
  • Новые парсеры:
    • ИзображениеMaps::Google - по ключевым словам собирает различные данные об организациях в заданных координатах
    • ИзображениеMaps::Yandex - по ключевым словам собирает различные данные об организациях в заданных координатах
    • ИзображениеRank::Bukvarix:: Domain - сбор ключевых слов по домену
    • ИзображениеRank::Bukvarix::Keyword - сбор ключевых слов по домену
  • Удалены 4 неактуальных парсера: Rank::SEMrush::Keyword, SE::QIP, SE::QIP::Position, Rank::MegaIndex
  • Улучшена работа ИзображениеSE::AOL
  • JS парсеры: для this.request добавлена опция data_as_buffer, которая определяет возвращать data как строку(String) или объект Buffer

Исправления в связи с изменениями в выдаче
  • В ИзображениеSE::Google::Modern исправлена работа с рекаптчами, исправлен парсинг сниппетов, а также исправлен парсинг мобильной выдачи
  • ИзображениеRank::SEMrush полностью переписан, также полностью изменился список собираемых данных, парсер возвращает только те данные, которые доступны без авторизации
  • Полностью переписан ИзображениеRank::Alexa
  • Исправлена работа ИзображениеRank::MajesticSEO, теперь обязательно требуется установка Node.js и модуля brotli
  • В ИзображениеRank::Social::Signal удалена переменная $facebook_share в связи с прекращением поддержки со стороны FB
  • ИзображениеSE::IxQuick, ИзображениеShop::AliExpress, ИзображениеSE:: DuckDuckGo::Images , ИзображениеShop::Amazon, ИзображениеCheck::RosKomNadzor

Исправления
  • Исправлена работа с запросами, содержащими пробел в ИзображениеSE:: DuckDuckGo
  • Исправлена проблема с декомпресией данных на некоторых сайтах
  • JS парсеры: исправлена работа setImmediate
A-Parser Support
Автор темы
Репутация: 0
С нами: 2 года 1 месяц

Сообщение #62 A-Parser Support » 31 мая 2019, 17:09

Видео урок: Получение уведомлений в Telegram об окончании срока регистрации доменов
В этом видеоуроке будет показано, как настроить периодическую проверку окончания срока регистрации доменов, и получать уведомления в телеграм, если он меньше заданного количества дней.
Изображение
В уроке рассмотрено:
  • использование tools.js для написания собственных функций
  • работа с шаблонизатором Template Toolkit
  • проверка доменов через WHOIS
  • цепочки заданий
  • отправка сообщений в Telegram с помощью бота
Полезные ссылки:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 2 года 1 месяц

Сообщение #63 A-Parser Support » 11 июня 2019, 13:41

1.2.503 - обновление JavaScript движка и множество улучшений
Изображение
Улучшения
  • Движок v8 обновлен до версии 7.5, помимо увеличения скорости есть множество улучшений в поддержке новых возможностей языка JavaScript
  • В ИзображениеSE::Yandex в массив $ads добавлена переменная $visiblelink, в которой содержится видимая ссылка
  • В ИзображениеRank::Bukvarix:: Domain добавлена переменная $totalcount которая содержит количество результатов
  • В ИзображениеSE::Yahoo добавлена опция Not found is error, указывающая, считать ли отсутствие результатов ошибкой

Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена редкая проблема с ошибками в JS парсерах на Windows
  • В ИзображениеSE::Baiduисправлена работа функции Get full links для результатов без ссылок
  • Исправлена проблема с Decode JSON error в парсерах WordStat
  • Исправлен баг с перезагрузкой кода JS парсера при редактировании в сторонних приложениях, проблема возникла в одной из предыдущих версий
Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 2 года 1 месяц

Сообщение #64 A-Parser Support » 21 июня 2019, 13:16

Сборник рецептов #33: парсинг Google карт, сбор вопросов из поиска, перевод текстов целиком
33-й сборник рецептов, в котором мы будем собирать данные из Google maps в указанной местности, спарсим блок вопросов и ответов в поиске Гугла и научимся использовать файлы целиком в качестве запросов. Поехали!

Сбор всех организаций в определенной местности
Начиная с версии 1.2.482 в A-Parser появились парсеры карт Google и Яндекс. Принцип работы обоих одинаков - в настройках указываются координаты точки и зум, парсер собирает результаты поиска по ключевым словам в этой точке и области вокруг нее, ограниченной зумом. Но если стоит задача собрать данные, например, со всего города, то для ее решения нужно указывать диапазон координат и "заставить" парсер пройтись по ним. Как это сделать, а также пример пресета - все это показано по ссылке выше.
Изображение

Парсер собирающий вопросы и ответы из выдачи Google
Google по некоторым запросам показывает в поисковой выдаче блок вопросов и ответов People also ask (Похожие запросы). Наши пользователи периодически интересуются, как можно парсить этот блок, получая отдельно вопросы и ответы на них. Поэтому мы публикуем в нашем каталоге пример такого парсера, а забрать его можно по ссылке выше.
Изображение

Использование файлов целиком в качестве запросов
Общеизвестно, что в А-Парсере каждая строка в исходном файле - это отдельный запрос. Но существуют задачи, когда необходимо использовать все содержимое файла как один запрос, игнорируя разбивку на строки. Благодаря JavaScript парсерам такая возможность есть и по ссылке выше опубликован пример парсера, который получает все содержимое файла, переводит его на заданный язык и сохраняет в новый файл.
Изображение

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 2 года 1 месяц

Сообщение #65 A-Parser Support » 2 июля 2019, 16:06

Видео урок: Макросы подстановок
В этом видеоуроке мы изучим один из инструментов для работы с запросами - макросы подстановок. С их помощью можно значительно увеличивать количество запросов, листать страницы и многое другое.
Изображение
В уроке рассмотрено:
  • макрос {num} на примерах прохода по страницам и перебора координат в парсере Google maps
  • макрос {az} на примере парсинга по доркам для увеличения кол-ва запросов и соответственно результатов
  • макрос {each} на примере парсинга подсказок для генерации словосочетаний

Полезные ссылки:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 2 года 1 месяц

Сообщение #66 A-Parser Support » 12 июля 2019, 16:56

1.2.534 - 6 новых парсеров, поддержка Node.js в tools.js, множество исправлений в парсерах
Изображение
Улучшения
  • Добавлено 4 новых парсера Instagram
  • Добавлено 2 новых парсера SerpStat
  • Добавлена поддержка дробных чисел в макросе подстановок {num}
  • Добавлена поддержка Node.js в tools.js, теперь можно использовать возможности Node.js (включая модули) в обычных пресетах во всех полях кроме Parse custom results, фильтров и Конструкторов результатов
  • Шаблоны Template Toolkit в настройках парсеров теперь работают для всех запросов
  • Стабилизирована работа ИзображениеSE::Google::Modern после изменений со стороны Google, благодаря чему несколько уменьшилось количество рекаптч
  • Улучшена проверка ответа в ИзображениеMaps::Yandex, улучшен сбор картинок, а также добавлена возможность собирать ссылки на страницу организации
  • API: для oneRequest/bulkRequest добавлен параметр needData, указывающий, передавать ли в ответе data/pages, используется для экономии памяти, по умолчанию отключен
  • Обновлены apps.json и user-agents.txt, при установке обновления также рекомендуется обновить эти файлы
Исправления в связи с изменениями в выдаче
  • Исправлена ситуация, при которой в ИзображениеSE::Google::Modern выдавался 597 код ответа
  • В ИзображениеSE::Yandex исправлена ситуация, при которой в результатах появлялись "пустые" ссылки, а также исправлен парсинг сниппетов в мобильной выдаче
  • Исправлена редко встречающаяся проблема с ИзображениеSE::Google::Translate, когда парсер получал в ответ 403 статус
  • Исправлено определение языка запроса в ИзображениеSE::Google::Translate
  • Исправлена работа ИзображениеSE::YouTube, а также исправлен сбор $title
  • В ИзображениеRank::Social::Signal удалена переменная $linkedin_share в связи с прекращением поддержки со стороны LinkedIn
  • В ИзображениеShop::Yandex::Market исправлен парсинг $features для некоторых видов запросов
  • Исправлен урл запроса в ИзображениеSE:: DuckDuckGo
Исправления
  • Исправлен баг в ИзображениеRank::Bukvarix:: Domain, из-за которого в некоторых случая парсинг завершался с ошибкой
  • В парсерах Maps::* исправлена работа с отрицательными координатами
  • В ИзображениеRank::SEMrush исправлена ошибка определения "удачности" запроса
  • Исправлен баг в tools.js, возникший после обновления V8
  • API: исправлена работа метода getAccountsCount
  • JS парсеры: исправлен баг со слэшем в check_content
Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 2 года 1 месяц

Пред.

Вернуться в SEO

cron