Seokulinar
Создатель
- Регистрация
- 14 Дек 2008
- Сообщения
- 46
- Реакции
- 3
- Автор темы
- #1
Предлагаю комплекс софта и методику для постоянного сбора уникального контента. Парсим документы в промышленных объемах. Не стоит бояться, что контент закончится - его так много, что хватит на всех, плюс непрерывно появляются тонны нового. Если вы думаете что там нечего ловить, то это не так - 0,5-1% уника там есть, и это как крупинки золота среди тонн руды - мало кто способен его добыть, да и сомневаюсь что хоть кто-то пытался. Ну а если парсим, к примеру, 10Gb - то можете сами представить сколько это было бы ручной работы. Месяц сидеть пришлось бы.
Предлагаемая методика позволяет свести ручную работу к минимуму и получить на выходе файлы с уником. Объемы такой работы смотрите ниже - все проверил и расписал максимально подробно. Т.е. на обработку 5Gb потребуется 1-2 дня, в зависимости от мощности вашего компьютера. Конвертация и проверка на уник идет в автоматическом режиме, вам надо только следить чтобы программы работали как надо. Ну и посидеть потом пару часов - перебрать вручную полученный результат. Мне и получаса хватило )
Цена более чем символическая, не отбить её просто невозможно
Состав сборки:
- шаблон под Для просмотра ссылки Войдиили Зарегистрируйся, если у вас нет постера то можно использовать Для просмотра ссылки Войди или Зарегистрируйся
- очень удобная программа для удаления дублей (free)
- очень удобная программа-конвертер всех форматов документов (free)
- методика-мануал по поиску файлов с уникальным текстом (все подробно со скринами).
Как это работает:
- на входе файл с ключами, по которым будем парсить, на выходе папки по имени ключа, внутри все файлы разложены по папкам форматов файла.
- в данный момент грабит doc, docx, rtf, txt + могу добавить форматы по вашему желанию.
- ключи по мере парсинга из базы удаляются, так что если вдруг шаб вылетит по какой то причине - его можно снова запускать и он будет парсить с того же места.
- далее работаем по методике и получаем чистый уник. Потребуется 2-3 бакса на антикапчу.
Результаты эксперимента:
Была взята небольшая база ключей (ок.100шт), по которой за 10 часов на 10Mbit'ном канале в 1 поток было скачано ок. 5 Gb документов, все файлы скомпонованы по типам, после чего за день все было переконвертировано в txt.
Скриншоты:
Получилось ок 8 000 файлов, которые были прогнаны экспресс-проверкой, на что ушел второй день. Затем все получившиеся файлы были прогнаны второй раз с уже более строгими настройками. В результате получилось почти 100 Мб (1500 файлов) уникального (от 70%) текста в txt формате и стоило это ок $2,5 (за разгадывание капчи на antigate.com). Далее весь этот массив подлежал ручной проверке. В основном это оказались уникальные дипломы, лекции, конспекты, курсовые, книги и просто статьи. Иногда попадались большие файлы с творчеством пользователей - понятное дело, что они были уже 100% уникальны. Буквально за 30 минут я насобирал тематичных статей из чистого уникального текста без цифр и прочего мусора на 500 тыс знаков (на 1500р при средней цене за скан в 3р/1k). Причем это зависит от ключей, которые вы используете. Я предполагаю что можно найти такие ключи, по которым процент уника будет больше. Всем желающим могу выслать пак на 250 тыс. знаков уникального теста. Более подробно у меня на сайте.
Скриншоты:
Стоимость всей сборки - $10
Другие мои шаблоны:
или Зарегистрируйся
Контакты:
3409-3409
bazzinga.ru
bazzinga.lab(гав!)gmail.com
Предлагаемая методика позволяет свести ручную работу к минимуму и получить на выходе файлы с уником. Объемы такой работы смотрите ниже - все проверил и расписал максимально подробно. Т.е. на обработку 5Gb потребуется 1-2 дня, в зависимости от мощности вашего компьютера. Конвертация и проверка на уник идет в автоматическом режиме, вам надо только следить чтобы программы работали как надо. Ну и посидеть потом пару часов - перебрать вручную полученный результат. Мне и получаса хватило )
Цена более чем символическая, не отбить её просто невозможно
Состав сборки:
- шаблон под Для просмотра ссылки Войди
- очень удобная программа для удаления дублей (free)
- очень удобная программа-конвертер всех форматов документов (free)
- методика-мануал по поиску файлов с уникальным текстом (все подробно со скринами).
Как это работает:
- на входе файл с ключами, по которым будем парсить, на выходе папки по имени ключа, внутри все файлы разложены по папкам форматов файла.
- в данный момент грабит doc, docx, rtf, txt + могу добавить форматы по вашему желанию.
- ключи по мере парсинга из базы удаляются, так что если вдруг шаб вылетит по какой то причине - его можно снова запускать и он будет парсить с того же места.
- далее работаем по методике и получаем чистый уник. Потребуется 2-3 бакса на антикапчу.
Результаты эксперимента:
Была взята небольшая база ключей (ок.100шт), по которой за 10 часов на 10Mbit'ном канале в 1 поток было скачано ок. 5 Gb документов, все файлы скомпонованы по типам, после чего за день все было переконвертировано в txt.
Скриншоты:
Получилось ок 8 000 файлов, которые были прогнаны экспресс-проверкой, на что ушел второй день. Затем все получившиеся файлы были прогнаны второй раз с уже более строгими настройками. В результате получилось почти 100 Мб (1500 файлов) уникального (от 70%) текста в txt формате и стоило это ок $2,5 (за разгадывание капчи на antigate.com). Далее весь этот массив подлежал ручной проверке. В основном это оказались уникальные дипломы, лекции, конспекты, курсовые, книги и просто статьи. Иногда попадались большие файлы с творчеством пользователей - понятное дело, что они были уже 100% уникальны. Буквально за 30 минут я насобирал тематичных статей из чистого уникального текста без цифр и прочего мусора на 500 тыс знаков (на 1500р при средней цене за скан в 3р/1k). Причем это зависит от ключей, которые вы используете. Я предполагаю что можно найти такие ключи, по которым процент уника будет больше. Всем желающим могу выслать пак на 250 тыс. знаков уникального теста. Более подробно у меня на сайте.
Скриншоты:
Стоимость всей сборки - $10
Другие мои шаблоны:
- Отправка заявок и сбор заданий для Блогуна (рост дохода и экстремальная экономия времени!)
- Поиск и вступление в закрытые группы ВК и ОД - можно собирать уникальный контент или использовать их в других парсерах
- Комплекс шаблонов для блогов LiveJournal.com (ЖЖ) - реггер, постер, френдер, филлер и чекер френдов.
- любые другие шаблоны на заказ
Контакты:
