[Продам] Tweets Parser - парсер постов из Twitter (качает тексты, фото, видео, сохраняет твиты в JSON)

webguru

Создатель
Регистрация
17 Фев 2017
Сообщения
11
Реакции
2
Всем привет!

Многие люди далекие от Twitter зачастую полагают что это какая-то совсем экзотическая соцсеть в которой ничего интересного нет. Но это не совсем так, а точнее сказать совсем не так! Как и в любой другой социальной сети там есть огромное количество разного рода тематических аккаунтов (пабликов) с регулярно обновляющимся интересным контентом (тесты, фото, видео в разных сочетаниях). Именно этот контент и представляет для нас большой интерес т.к позволяет наполнять им свои аккаунты/сообщества в любых соцсетях, включая свои аккаунты в том же Twitter.
Вот вам несколько примеров таких пабликов:
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
С недавних пор Twitter в РФ заблокирован т.ч RU-пользователям для просмотра вышеуказанных ссылок потребуется прокси/vpn.
Таких аккаунтов очень много и все они являются отличным источником готового контента для копирования в любые соцсети или сайты. Но особенно много интересных пабликов в буржуйнете т.к там популярность Twitter очень и очень высока. То есть это отличный источник контента на совершенно разных языках.

Теперь вопрос: как же нам на постоянной основе парсить (выкачивать целиком или частично) популярные твиты из интересующих нас аккаунтов? Думаю Вы уже догадались - с помощью данного шаблона для программы ZennoPoster.

Tweets-Parser - это шаблон для программы ZennoPoster, который парсит посты (твиты) из указанных аккаунтов Twitter по заданным критериям, позволяющий полностью или частично выкачивать эти самые твиты. Для особо продвинутых пользователей так же есть функции позволяющие создать для каждого твита файл tweet.json и/или делать HTTP POST запросы на указанный URL с передачей данных твита так же в формате JSON ... но об этом чуть позже.

Шаблон работает на основе Excel файла заданий в котором указывается откуда парсим и задаем критерии для отбора нужных нам твитов

Lanjv-JIhGU.jpg


Что конкретно сохранять указывается во входных настройках

MMUziQi1vwY.jpg


В результате у вас на ПК будут папки со скаченными твитами

woouTt_tvZc.jpg


А так же Excel-файл с параметрами и текстами (без медиа), если включена соответствующая настройка

-j7cmrCCaEk.jpg


* Для постоянного сбора новых твитов удовлетворяющих заданным критериям запуск шаблона настраивается через расписание в ZennoPoster. Ведутся списки уже ранее сохраненных твитов по каждому твиттер-аккаунту т.ч повторно твиты не сохраняются.

* Шаблон гибридный. Он загружает аккаунт который парсит в браузере без отображения содержимого, но сами твиты получает через POST/GET запросы, а не путем бесконечного скролла в браузере (в превью инстаеса видно что ничего не скролится). Это очень сильно ускоряет парсинг и избавляет от подвисаний браузера.

* Поддерживается многопоток и прокси, НО я рекомендую работать в 1 поток и с паузами между парсингом разных аккаунтов ... в таком случае прокси в большинстве случаев не нужны.

* Для парсинга не нужны аккаунты Twitter ( твиттер позволяет загрузить только последние 800 твитов и это количество никак не меняется для залогиненных аккаунтов )

Функции для продвинутых пользователей

1) В шаблоне есть настройка позволяющая для каждого скаченного твита записать файл tweet.json, который содержит полные данные твита в формте JSON. В этом файле помимо текста и счетчиков содержатся так же прямые ссылки на фото и видео на серверах Twitter.

Этот файл имеет такой формат:

W58S9pMB_B0.jpg


2) Есть функция позволяющая при каждом нахождении твита удовлетворяющего заданным вами критериям делать HTTP POST запрос на указанный вами URL и передавать в переменной tweet такой же JSON как указан выше. Далее вы можете его например сразу сохранять к себе в базу данных с которой работает ваш софт или же сразу выводить к себе на сайт или .... на что хватит вашей фантазии.

На каких версиях ZennoPoster работает

Я тестировал на 7.31 и 7.6.0, возможно работает и на более младших версиях 7-ки.
Шаблон имеет расширение .zp так что в пятом зеннопостере уже не откроется.

Цена:

1 месяц - 550 руб (экономия 0 руб)
3 месяца - 1500 (получается 500/месяц, экономия 150 руб)
6 месяцев - 2700 (получается 450/месяц, экономия 600 руб)
12 месяцев - 4800 (получается 400 руб/месяц, экономия 1800 руб )

Оплата на карту Сбера ( на крайний случай крипта USDT )

DEMO-версия

Вы можете скачать DEMO версию прямо сейчас и убедиться в работоспособности шаблона:

Для просмотра ссылки Войди или Зарегистрируйся

Инструкция по настройка внутри архива - файл instruction.doc

Ограничения DEMO:
- Работает 3 часа с момента первого запуска в ZennoPoster
- Глубина сканирования ограничена 25 последними твитами для каждого сканируемого аккаунта
- Сохраняет лишь 10 отобранных по критериям твитов для каждого сканируемого акккаунта

Если у вас нет ZennoPoster, но хочется использовать шаблон

В этом случае можно сделать так называемый ZennoBox, который позволит вам запускать только купленные вами шаблоны.
За каждую выписку шаблона в ZennoBox необходимо заплатить ZennoLab-у (разработчикам zennoposter) разовый платеж в $10, который естественно перекладываются на конечного покупателя т.е на вас. Эти $10 прибавляются к стоимости шаблона.

Контакты

Telegram: Для просмотра ссылки Войди или Зарегистрируйся
Email: profitbunker@gmail.com

Другие мои проекты

VK-Botovod - мощный ВК комбайн (вэб-админка, мультимессенджер, куча заданий и возможностей)
VK Clips Parser - парсер клипов ВК (качает клипы, текст, формирует JSON клипа, делает сводку в Excel)
Парсер/граббер постов ВК (фильтрует, выкачивает, формирует CSV)
 
Последнее редактирование:
Всем привет.

Во входные нараметры шаблона добавлена настройка "HTTP(S) Proxy для доступа к серверу лицензий". Если по какой-либо причине на вашем ПК на котором крутиться шаблон нет доступа к серверу лицензий и соответственно шаблон не может проверить лицензию, то вы можете воспользоваться данной настройкой указав там HTTP(S) Proxy через которую сайт доступен. Данная прокси используется исключительно при проверке лицензии и никак не влияет на ваши аккаунты (у которых могут быть свои прокси). SOCKS прокси в данной настройке не поддерживаются, только HTTP(S).

Формат записи прокси:
login:password@host:port
 
Всем привет!

1) По просьбам трудящихся парсер больше не сохраняет твиты являющиеся комментариями к другим твитам (и ретвиты таких твитов то же). Это когда твит содержит в себе другой твит + имет некий комменарий от автора ( токое получается когда жмешь Quote tweet на каком-то твите и пишешь свой ответ/комментарий). Большинство пользователей использует парсер для сбора постов с целью их перепубликации в других соцсетях и все эти комментарии к чужим твитам там вообще не к месту. Теперь их не будет.

2) В логе теперь отобраются не только сохраняемые твиты, но и те что пропускаются парсером (с указанием причины пропуска).
 
Всем привет!

1) В JSON-файл твита и Excel файл с общим списком твитов и их параметрами добавлена информация о количестве просмотров твита (view), а так же параметры ltr, rtr и ctr.

ltr - лайкабельность твита (в процентах ). Считается по формуле (Лайки/Просмотры)*100%
rtr - репостабельность твита (в процентах). Считается по формуле (Репосты/Просмотры)*100%
ctr - комментируемость твита (в процентах). Считается по формуле (Комментарии/Просмотры)*100%

2) Исправлен небольшой баг при парсинге твитов из поиска
 
Назад
Сверху