[Продам] Универсальный парсер контента AI-Parser

[CyberScript]

Продаётся универсальный парсер контента AI-Parser.

Сайт программы (временный Для просмотра ссылки Войди или Зарегистрируйся (на сайте, кроме подробного описания, есть примеры отпарсенных статей и видео, демонстрирующее работу скрипта).

Возможности парсера (вкратце
1. Интеллектуальный парсинг, скрипты не привязаны к конкретным шаблонам сайта, парсинг возможен на большинстве сайтов. Парсер сам определяет статью на страничке сайта.
2. Сохранение статей в txt-файлы без HTML-тегов.
3. Многопоточное сканирование (что существенно увеличивает скорость процесса).
4. Сканирование одновременно нескольких сайтов.
5. Сохранение статей в нужной кодировке.
6. Обработка куки от сервера.
7. Возможность работы через прокси-сервер.
8. Возможность остановки с последующим продолжением сканирования с момента остановки.
9. Динамический вывод статистики сканирования в окно браузера.
10. Просмотр результатов сканирования через браузер.
11. Скачивание всех статей сайта в виде zip-архива.
12. Многое другое.

Цена парсера соответствует цене примерно 4-5 парсерам, заточенным под конкретные сайты (шаблоны). Если Вам необходимо много контента с разных сайтов, Вы получите колосальную экономию денег и времени (не придётся для каждого нового сайта искать программиста для написания парсера и обсуждать с ним задачу).

Разработчик: CyberScript
Цена: 200$
Связь ICQ: 6901159 (в сети бываю не всегда, пишите в оффлайн)

Перед покупкой парсера готов предоставить возможность теста системы (на моём сервере). Перед тестом просмотрите видео и примеры отпарсенных статей (что бы понять, что это то, что Вам нужно). Для получения права тестирования Вам необходимо перевести 200 WMZ на мой счёт с кодом протекции сроком на 1 сутки. Если после теста Вы не передумали покупать парсер, просто даёте мне код протекции, и я высылаю скрипты. Если же передумали, через сутки деньги возвращаются к Вам.
Это нужно для того, что бы исключить желающих просто потестить парсер без намерений его купить.

Текущая на данный момент версия: AI-Parser (v1.4)

 

[CyberScript]

2. Фото не парсит. При необходимости, реализовать можно.
3. Статьи тянет до тех пор, пока они еще есть на сайте.
4. Контент сохраняется в txt. Зачем для текста csv не понятно.

 

[vector]

2. Фото не парсит. При необходимости, реализовать можно.
3. Статьи тянет до тех пор, пока они еще есть на сайте.
4. Контент сохраняется в txt. Зачем для текста csv не понятно.

Если Контент сохраняется в txt, то возможно его сохранить в 1 строку каждый текст?
>Зачем для текста csv не понятно.
Испозую программу фильтрации обявлений, а она в свою очередь принимает файлы формата csv..

 

[CyberScript]

vector
Да, можно сделать, что бы контент сохранялся в одну строку и в csv файл. Подобная переделка будет бесплатной. Более того, уже делал переделку одному клиенту, что бы контент в строку сохранять.
P.S. Вот только, как я понял из нашего с Вами разговора в скайпе, Вам нужны именно объявления, но они содержат слишком мало теста и парсер их не воспринимает за статьи. Можно в настройках парсера уменьшить размер определяемой статьи, но тогда появляется опасность, что за статью может быть принята какая-либо информация на страничке, реально статьей (объявлением) не являющаяся.
Если Вы предоставите ссылки на несколько досок объявления, подобных тем, что Вам нужны, я смогу ответить, можно ли использовать данный парсер для Вашей задачи или нет.

 

[ZCFD]

Итог:
Добротнореализованная хорошая идея. На нулледе помнится обсуждали тему универсального парсера. Этот скрипт весьма близок к результату.
Аккуратный интерфейс. Хотелось бы больше пояснений ( хотя бы всплывающих подсказок ).
За время теста, скрипт не на всех сайтх показал отличный результат. Как программист, скажу что это вероятно из-за того что все делалось с настройками по-умолчанию. Число символов и плотность тегов позволяют настраивать чуствительность парсера. Зато там где скрипт брал след – работал отменно. Новостные сайты, каталоги статей, блоги – самое то для работы с AI-Parser.

Пожелания:
• Сделать настройку глубины парсинга. Пока ее нет – кнопка Преравать самое то.
• Сделать экспорт в файлы по схеме ( или элементарные шаблоны ) для экспорта в xml/БД
• Добавить пакетную работу. Она есть, но вот будет ли продолжаться работа после закрытия браузера – мне так и не удалось понять.
• Мелкие доработки по интерфейсу.
Для ликвидации синяков под глазами домашними средствами (я, как житель мегаполиса, тоже сталкиваюсь с этой проблемой) могу посовет
овать не выбрасывать чайные пакетики, а хранить их в морозилке. Утром прикладывай их под глаза минут на десять. Не больше, чтобы не застудить лицевой нерв. Или, если пьешь заварной чай, заливай его в форму для льда и протирай этими кубиками лицо. Зеленым или черным чаем – не важно, подходит и тот и другой. Эта процедура нормализует кровоснабжение и улучшает тонус сосудов. Неплохо помогает убрать синяки и обычный сырой картофель (приложи пару очищенных кружков).
Но к терапевту сходить все же следует: вдруг эти круги – следствие какой-то внутренней болезни? Для ликвидации синяков под глазами домашними средствами (я, как житель мегаполиса, тоже сталкиваюсь с этой проблемой) могу посоветовать не выбрасывать чайные пакетики, а хранить их в морозилке. Утром прикладывай их под глаза минут на десять. Не больше, чтобы не застудить лицевой нерв. Или, если пьешь заварной чай, заливай его в форму для льда и протирай этими кубиками лицо. Зеленым или черным чаем – не важно, подходит и тот и другой. Эта процедура нормализует кровоснабжение и улучшает тонус сосудов. Неплохо помогает убрать синяки и обычный сырой картофель (приложи пару очищенных кружков).
Но к терапевту сходить все же следует: вдруг эти круги – следствие какой-то внутренней болезни? Для ликвидации синяков под глазами домашними средствами (я, как житель мегаполиса, тоже сталкиваюсь с этой проблемой) могу посоветовать не выбрасывать чайные пакетики, а хранить их в морозилке. Утром прикладывай их под глаза минут на десять. Не больше, чтобы не застудить лицевой нерв. Или, если пьешь заварной чай, заливай его в форму для льда и протирай этими кубиками лицо. Зеленым или черным чаем – не важно, подходит и тот и другой. Эта процедура нормализует кровоснабжение и улучшает тонус сосудов. Неплохо помогает убрать синяки и обычный сырой картофель (приложи пару очищенных кружков).
Но к терапевту сходить все же следует: вдруг эти круги – следствие какой-то внутренней болезни?

Скриншоты в аттаче

 

[Olexiy_in_UKR]

Посмотрел видюшки и результат работы парсера и был приятно шокирован.
При парсинге больших сайтов может возникнуть проблема -
владельцы сайтов могут накатать абузу за создание паразитной нагрузки на сервер (у меня уже прецеденты были) потому есть предложение сделать возможность парсинга через прокси/соксы
один поток - один прокси (или больше потоков на один прокси, если их не достаточно)

АПДЕЙТ
упс, плохо читал описание программы
оказывается она умеет работать через прокси (!) (в видюшках этот момент не рассматривался. потому думал что не умеет)

7. Возможность работы через прокси-сервер.

 

[satih]

Кстати насчет абуз да, даже не абузы а бан айпи, паузы в парсинге обычно это решают, если нет сил с проксями заморачиватся, скажем 5 сек каждые 10 страниц обычно работает.

 

[Nellisen]

Продаётся универсальный парсер контента AI-Parser.
Сайт программы (временный Для просмотра ссылки Войди или Зарегистрируйся (на сайте, кроме подробного описания, есть примеры отпарсенных статей и видео, демонстрирующее работу скрипта).
Возможности парсера (вкратце
1. Интеллектуальный парсинг, скрипты не привязаны к конкретным шаблонам сайта, парсинг возможен на большинстве сайтов. Парсер сам определяет статью на страничке сайта.
2. Сохранение статей в txt-файлы без HTML-тегов.
3. Многопоточное сканирование (что существенно увеличивает скорость процесса).
4. Сканирование одновременно нескольких сайтов.
5. Сохранение статей в нужной кодировке.
6. Обработка куки от сервера.
7. Возможность работы через прокси-сервер.
8. Возможность остановки с последующим продолжением сканирования с момента остановки.
9. Динамический вывод статистики сканирования в окно браузера.
10. Просмотр результатов сканирования через браузер.
11. Скачивание всех статей сайта в виде zip-архива.
12. Многое другое.
Цена парсера соответствует цене примерно 4-5 парсерам, заточенным под конкретные сайты (шаблоны). Если Вам необходимо много контента с разных сайтов, Вы получите колосальную экономию денег и времени (не придётся для каждого нового сайта искать программиста для написания парсера и обсуждать с ним задачу).
Разработчик: CyberScript
Цена: 200$
Связь ICQ: 6901159 (в сети бываю не всегда, пишите в оффлайн)
Перед покупкой парсера готов предоставить возможность теста системы (на моём сервере). Перед тестом просмотрите видео и примеры отпарсенных статей (что бы понять, что это то, что Вам нужно). Для получения права тестирования Вам необходимо перевести 200 WMZ на мой счёт с кодом протекции сроком на 1 сутки. Если после теста Вы не передумали покупать парсер, просто даёте мне код протекции, и я высылаю скрипты. Если же передумали, через сутки деньги возвращаются к Вам.
Это нужно для того, что бы исключить желающих просто потестить парсер без намерений его купить.
Текущая на данный момент версия: AI-Parser (v1.4)

по какому алгоритму работает "Интеллектуальный парсинг, скрипты не привязаны к конкретным шаблонам сайта, парсинг возможен на большинстве сайтов. Парсер" ? Общий смысл, а то так ничем не отличается от Веб-Граббера, или сибир текст маркета

 

[CyberScript]

Вышла новая версия парсера: AI-Parser (v1.5.1)

Что было изменено:
1. Улучшен алгоритм поиска ссылок по сайту.
2. Добавлена возможность сканировать сайты, построенные с применением фреймов.
3. Добавлена возможность сканировать не весь сайт, а папку с подпапками, т.е. можно указать адрес так: site.ru/papaka, сканирование будет только в данной папке и ее подпапках.
4. Небольшие изменения в модуле поиска статей.

 

[CyberScript]

Обновление парсера: AI-Parser (v1.5.2)

1. Профиксен модуль поиска ссылок (ссылки, в параметрах которых встречаются слеши, парсер воспринимал, как пути, исправлено).
2. Изменения в параметрах "Игнорировать ссылки, содержащие" и "Парсить только ссылки, содержащи". В некоторых комбинациях они работали не совсем корректно. Исправлено.
3. Небольшая оптимизация скриптов в модули AI-поиска.

 

[CyberScript]

Вышла новая версия парсера: AI-Parser (v1.6)

1. Фактически переписана половина кода, для парсера разработан новый движок, более гибкий и проще поддающийся модификации.
2. Параметр "Глубина сканирования", показывающий на какую глубину продвигаться по ссылкам сайта.
3. Задание фраз, автоматически вырезаемых из TITLE при формировании имени файла.
4. Настройка максимальной длинны имени файла со статьёй.
5. Задание шаблона имени файла со статьёй.
6. Здание шаблона файла со статьёй.
7. Несколько переделан интерфейс, в особенности это касается раздела настройки конфигураций парсера.
8. Профиксены некоторые баги в блоке поиска ссылок.
9. Улучшен алгоритм поиска статей (в частности, теперь парсер берёт большинство сайтов с невалидным HTML-кодом, что раньше он делал с трудом).

Не смотря на все нововведения, цена парсера снижается на 5% и теперь составляет 190$