[Продам] Парсер/граббер постов ВК (фильтрует, выкачивает, формирует CSV)

webguru

webguru

Создатель
Регистрация
17 Фев 2017
Сообщения
11
Реакции
2
VK Posts Parser - шаблон для программы ZennoPoster предназначенный для парсинга/граббинга постов со стен сообществ и/или профилей в ВК.

Если у вас нет программы ZennoPoster и вы не хотите ее покупать, то можно выписать так называемый ZennoBox который позволит вам запускать шаблон. Подробнее об этом в самом конце этого поста.

С помощью этого шаблоны можно:
  • Отбирать посты по множеству различных фильтров
  • Собрать подробную информацию о различных параметрах постов (CSV)
  • Выкачивать посты целиком или их отдельные элементы
Кому может пригодиться:
  • SMM-специалистам
  • Контент-менеджерам и тем кто ведет свои сообщества в различных соцсетях
  • Рекламщикам, маркетологам, аналитикам
  • Дорвейщикам, арбитражникам, сеошникам
  • Тем кому просто нужно скачать содержимое постов со стены или их отдельные элементы к себе на ПК
Фильтры по которым можно отбирать посты со стен:

f1.png
f2.png

Результат работы шаблона

Результат состоит из двух составляющих:

1) Папки с выкаченными постами или их отдельными элементами. Какие конкретно элементы выкачивать вы задаете самостоятельно во входных настройках

1.png

posts.png


2) CSV (Excel) файл с прошедшими все фильтры постами и их параметрами. Создается всегда.

Пример CSV файла с результатом парсинга. Таблица слишком широкая и не умещается на один экран, поэтому прикрепляю 2 скриншота (второй после скрола вправо).

csv1.png

после скрола вправо до упора

csv2.png

Расшифровка столбцов CSV файла:
URL - это URL адрес конкретного поста в ВК.
timestamp - время публикации поста в формате Unix (количество секунд, прошедших с полуночи 1 января 1970 года). Чем свежее пост, тем больше эта цифра. Колонка удобна для сортировки постов по дате публикации.
datetime - время публикации поста в привычном нам формате ДД.ММ.ГГГГ ЧЧ:ММ ... при фильтрации данных в Excel удобно выделять определенные годы / месяцы / дни.
type - может иметь значение post или repost
views - количество просмотров
likes - количество лайков (отметок нравится)
reposts - количество репостов
comments - количество комментариев
ltr - лайкабельность поста в % ( ltr = (likes/views)*100% )
rtr - репостабельность поста в % ( rtr = (reposts/views)*100% )
ctr - комментируемость поста в % ( ctr = (comments/views)*100% )
images - количество картинок
video_total - общее количество видео в посте
video_vk - количество видео VK
video_youtube - количество видео с YoutTube
video_vimeo - количество видео с Vimeo
audio - количество аудиозаписей
doc_total - общее количество документов
doc_gif - количество документов GIF
doc_word - количество документов Word
doc_excel - количество документов Excel
doc_pdf - количество документов PDF
doc_ppt - колчичество документов PPT (Power Point)
text_len - количество симоволов текста
int_links - ( no/yes) - наличие внутренних ссылок
ext_links - ( no/yes) - наличие внешних ссылок
is_ads - помечен ли пост как реклама ( 1 - да | 0 - нет )
is_article - является ли пост ссылкой на статью (1 - да | 0 - нет)
can_comment - можно ли комментировать пост (1 - да | 0 - нет)
can_repost - можно ли репостнуть пост (1 - да | 0 - нет)
signer_id - идентификатор автора, если запись была опубликована от имени сообщества и подписана пользователем;

Про статьи ( articles )

Шаблон работает именно с постами, статьи он не грабит! Во-первых, статья это вообще отдельная сущность, а не пост в привычном понимании этого слова. Когда Вы на какой-либо стене видите пост со ссылкой/кнопкой "Читать", то это именно то чем кажется - пост с прикрепленной ссылкой на статью, а не сама статья. Именно так он и грабится как пост состоящий из ссылки на статью.

Таким образом, запретив в фильтрах внутренние ссылки, вы исключите все посты ссылающиеся на статьи! Так же это можно сделать в Excel, отфильтровав по полю is_article

Еще немного про шаблон
  • Работает по POST/GET запросах без использования браузера, для получения данных использует VK API
  • Умеет работать с прокси (хотя в большинстве случаев можно обойтись и без них)
  • Умеет работать с антикапча-сервисами antigate (anti-captcha) и rucaptcha + есть возможность разгадывать капчу вручную или через CapMonster2. Сразу хочу сказать что встретить капчу при таком виде парсинга - это еще ой как нужно постараться ;-)
  • Рекомендуется запуск в 1 поток т.к каждый поток использует ВСЕ имеющиеся аккаунты ВК, они меняются при каждом новом обращении к API ... это позволяет парсить действительно крупные сообщества.
  • Для работы нужны аккаунты ВК и возможно прокси. Для небольших сообществ хватит и 1 аккаунта без прокси, но если парсить нужно крупные сообщества, то желательно иметь несколько акков ВК! Я, например, использую 4-5 аккаунтов без прокси, хватает для парсинга практически любых сообществ.
  • Написан целиком на C#
Дополнительная информация
  • Лицензионный ключ привязывается к вашему Zenno ID. Если у вас несколько ZennoPoster-ов купленных в одном личном кабинете ZennoLab, то шаблон будет работать на каждом из них (так как у них одинаковый ZennoID), но не одновременно! Что бы перейти с одного ZP на другой шаблон должен не работать на первом 30 минут.
  • Шаблон закрыт от редактирования и имеет права только на выполнение.
  • Шаблон будет работать на версиях ZP от 5.10.2.0
  • Шаблон после покупки нельзя переоформить на другой email/id т.е вы не можете его перепродать или передать кому-то еще
  • У меня нет манибэка! Если после покупки шаблона он вдруг по какой-либо причине стал вам не нужен, тема под которую вы хотели его использовать умерла или не оправдала себя, вы вдруг поняли что в интернете денег нет, то все эти аргументы не принимаются!
Внимание:

На данный момент музыка из постов не выкачивается! (надеюсь временно)
Раньше была возможность получить .mp3 файл, но теперь ВК стал хранить аудио в другом формате - M3U8 - это такой плейлист-контенейнер в котором находятся ссылки на множество кусочков в формате .ts ... и что бы получить привычный нам mp3 нужно эти .ts файлы скачать, склеить и перекодировать в MP3. На ум сразу же пришел FFMPEG, он умеет работать с таким форматом, но к сожалению тесты показали что периодически при работе с такими файлами он подвисает и вешает весь поток т.ч от него пришлось отказаться. Пока за неимением хороших вариантов убрал пункт отвечающий за сохранение аудио. Все остальное качается как и прежде. Так что прошу иметь это ввиду!

DEMO-версия

Если у вас имеется ZennoPoster, то вы можете убедиться в работоспособности шаблона. Демо работает 1 сутки с момента первого запуска и сохраняет не более 10 постов.

Для просмотра ссылки Войди или Зарегистрируйся

Инструкция внутри архива - файл instruction.docx

Демо от не демо отличается лишь вписанным во входные настройки лицензионным ключом т.ч запустив шаблон без лиц. ключа у вас автоматически запуститься DEMO-режим.

Стоимость шаблона

1 месяц - 750 руб (экономия 0 руб)
3 месяца - 1950 руб (получается 650/месяц, экономия 300 руб)
6 месяцев - 3300 руб (получается 550/месяц, экономия 1200 руб)
12 месяцев - 5400 руб (получается 450 руб/месяц, экономия 3600 руб )

Апдейты / обновления

Багфиксы и обновления бесплатные.

Контакты

* Telegram: Для просмотра ссылки Войди или Зарегистрируйся
* Email: profitbunker(собака)gmail.com

Если есть возможность, то отвечаю сразу, если нет, то как только такая возможность появится. Поэтому не нужно отдельно писать "привет", "как дела?", "есть вопрос" и ждать ответа ... сразу пишите что Вы с форума nulled по поводу VK Posts Parser и свой вопрос.

Если у вас нет ZennoPoster, но хочется использовать шаблон

В этом случае можно сделать так называемый ZennoBox, который позволит вам запускать только купленные вами шаблоны.
За каждую выписку шаблона в ZennoBox необходимо заплатить ZennoLab-у (разработчикам zennoposter) разовый платеж в $10, который естественно перекладываются на конечного покупателя т.е на вас. Эти $10 прибавляются к стоимости аренды шаблона.
 

Вложения

  • main.png
    main.png
    77,2 KB · Просмотры: 1
Последнее редактирование:
Всем привет.

Внимание: На данный момент музыка из постов не выкачивается! (надеюсь временно)
Раньше была возможность получить .mp3 файл, но теперь ВК стал хранить аудио в другом формате - M3U8 - это такой плейлист-контенейнер в котором находятся ссылки на множество кусочков в формате .ts ... и что бы получить привычный нам mp3 нужно эти .ts файлы скачать, склеить и перекодировать в MP3. На ум сразу же пришел FFMPEG, он умеет работать с таким форматом, но к сожалению тесты показали что периодически при работе с такими файлами он подвисает и вешает весь поток т.ч от него пришлось отказаться. Пока за неимением хороших вариантов убрал пункт отвечающий за сохранение аудио. Все остальное качается как и прежде. Так что прошу иметь это ввиду!
 
Приветствую!

Добавлена дополнительная проверка на бан аккаунтов для которых уже получен и сохранен токен.
Перед началом парсинга шаблон получает токены для новых аккаунтов и проверяет на бан аккаунты для которых токен уже ранее получен и сохранен. Как правило запрос информации о текущем юзере с ранее полученным токном содержит в ответе признак того заблочен аккаунт или нет, но бывают случаи когда аккаунт заблочен, а никаких признаков этого в ответе нет. Для этого и добавлена дополнительная проверка!

Шаблон перезалил Для просмотра ссылки Войди или Зарегистрируйся

Так же напоминаю что у шаблона есть демо-версия и любой обладатель ZennoPoster может скачать и протестировать работоспособность шаблона. Демо работает 1 сутки с момента первого запуска и сохраняет не более 10 постов. Демо от не демо отличается лишь вписанным во входные настройки лицензионным ключом т.ч запустив шаблон без лиц. ключа у вас автоматически запуститься DEMO-режим. Инструкция внутри архива - файл instruction.docx

Контакты

* Telegram: Для просмотра ссылки Войди или Зарегистрируйся
* Email: profitbunker(собака)gmail.com
 
Мне больше всего понравился данный парсер тем что у него удобный и не сложный функционал
 
Всем привет.

Во входные нараметры шаблона добавлена настройка "HTTP(S) Proxy для доступа к серверу лицензий". Если по какой-либо причине на вашем ПК на котором крутиться шаблон нет доступа к серверу лицензий и соответственно шаблон не может проверить лицензию, то вы можете воспользоваться данной настройкой указав там HTTP(S) Proxy через которую сайт доступен. Данная прокси используется исключительно при проверке лицензии и никак не влияет на ваши аккаунты (у которых могут быть свои прокси). SOCKS прокси в данной настройке не поддерживаются, только HTTP(S).

Формат записи прокси: login:password@host:port
 
Всем привет!

Парсер постов ВКонтакте теперь поддерживает еще больше параметров (которые можно дописать в ссылках) для переопределения общих параметров заданных во входных настройках шаблона.

Формат добавления параметров к ссылкам:
https://vk.com/supergroup?param1=value1&param2=value2&param3=value3&...

где paramX - переопределеяемый параметр, а valueX - значение переопределяемого параметра

Переопределенные параметры действуют только при парсинге ссылки для которой они заданы! Если какой-то параметр не переопределен, то он берется из входных настроек шаблона.

Доступные на данный момент параметры и их значения:

folder_prefix - префикс папок в которые сохраняются посты ( например: ссылка?folder_prefix=post )

period_days - сканировать записи ха последние N дней ( например: ссылка?period_days=100 )

max_posts - ограничить результат N записями ( например: ссылка?max_posts=200 )

filter - с какими записями на стене работать. Возможные значения - owner (записи владельца стены), others (записи не от владельца стены), all (все записи)

download - что выкачивать из постов. Возможные значения: text, image, video, doc_gif, doc_word, doc_excel, doc_pdf, doc_ppt, doc_psd, poll, link, img_links, orig_post_url, json . Если нужно указать сразу несколько значений, то они указываются через запятую (без доп пробелов)

images - фильтр по изображениям. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?images=1-3 )

videos - фильтр по видео. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?videos=0-10 )

vkvideos - фильтр по ВК-видео. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?vkvideos=0-10 )

youtube - фильтр по YouTube видео. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?youtube=0-10 )

vimeo - фильтр по Vimeo видео. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?vimeo=0-10 )

audio - фильтр по аудио. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?audio=0-10 ). Напоминаю что аудио на данный момент в шаблоне не качается (!!!), но отобрать посты его созаржищие можно!

docs - фильтр по доментам/файлам. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs=0-10 )

docs_gif - фильтр по доментам/файлам типа анимированный GIF. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_gif=0-10 )

docs_word - фильтр по доментам/файлам типа Word. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_word=0-10 )

docs_excel - фильтр по доментам/файлам типа Excel. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_excel=0-10 )

docs_pdf - фильтр по доментам/файлам типа PDF. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_pdf=0-10 )

docs_ppt - фильтр по доментам/файлам типа PPT. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_ppt=0-10 )
 
Небольшой апдейт

1) Добавлена доп. проверка ссылок на видео в постах которые отдает VK API. Иногда какие-то видео-сервера ВК работают не очень стабильно и в результате ссылка на видео оказывается битой, но при этом ВК дает и резервный сервер который следует использовать в случае проблем с основным. Так что теперь шаблон перед скачиванием видео из поста проверяет не битая ли ссылка и при необходимости использует резервный сервер.

2) Расширение исполняемого файла поменялось с .xmlz на .zp


P.S Так же напоминаю что Для просмотра ссылки Войди или Зарегистрируйся и любой обладатель ZennoPoster может скачать и протестировать работоспособность шаблона. Демо работает 1 сутки с момента первого запуска и сохраняет не более 10 постов. Этого достаточно чтобы убедиться в работоспособности шаблона, посмотрить как все это выглядит на практике (а не в описании на форуме) и понять подходит ли данный шаблон для ваших задач. Демо от не демо отличается лишь вписанным во входные настройки лицензионным ключом т.ч запустив шаблон без лиц. ключа у вас автоматически запуститься DEMO-режим. Инструкция внутри архива - файл instruction.docx
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху