Парсер Datacol

[APSALIM]

Datacol - парсер для любых сайтов

Связанные темы:

 

[dr_dren]

Из того что я тестировал то:
7.27 стабильная работа.
7.30 стабильная работа.
А в 7.31 присутствует ошибка при импорте. И еще иногда выбрасывает при парсинге.
В 7.32 вроде бы стабильно (но до конца не проверял).

А есть 7.27 версия рабочая у Вас? Можете в ЛС скинуть =) А то из-за ссл не парсится контент блин

 

[gramlik]

В последних версия Datacol стал употреблять все больше и больше ресурсов. Я помню еще с версии 7.12 это началось. Говорю потому что именно 7.12 кряк делал лично. После 7.12 работал еще и на 7.15, может и разработчик что и оптимизирует. Но когда в много-поточном (20 потоков) режиме, к примеру, делаю парсинг почты то нагрузка на ЦП 60-70% минимум.

прожорливость вебдрайверов растет. Если камень не старше 3 лет и количество потоков парсинга совпадает с количеством потоков камня то нормальная нагрузка идет и распределяется. В целом парсер никак не оптимизирован под большие объемы данных.

 

[l0cky]

А в 7.31 присутствует ошибка при импорте. И еще иногда выбрасывает при парсинге.

При импорте чего ?

 

[gramlik]

При импорте чего ?

Скорее всего при импорте результатов . Проблемы с импортом существуют как в простом режиме, так и в потоке . У меня встречалась ситуация что в Эксель вообще не сохранялось , а в csv сбой строк с данными

 

[sardoor]

Ну ок. Что бы просто не бросаться словами, снял видео по кря-кря-кря версии 7.12.
Показано все для простого пользователя, можно сделать не только эту версию, но это уже другой разговор.

На версию 7,32 коды такие же?

 

[gramlik]

Ребята, да, при импорте контактов. По поводу сохранения то такого не встречал, но мне тоже говорили что с сохранением тоже не все гладко. Мое мнение таково что: "Разработчику Datacol нужно не гнаться за добавлением функционала и выпускать новые версии со скоростью звука а подумать про оптимизацию того функционала что уже есть.".

проблемы начинаются на больших обьемах . например на 40 000 строк уже можно встретить проблемы даже в сохранении в потоке

 

[l0cky]

Честно говоря, я так и не понял, что вы импортируете в Datacol.
Проблемы с экспортом/сохранением в Excel у него есть и были в различных версиях. В 7.27 проявляется значительно реже, чем в предыдущих и как и раньше решается сохранением в произвольный формат.
Добавлю, что зачастую это проявляется из-за скриптов работающих на сайте-источнике или потому, что данные не могут быть сохранены в Excel ячейке.

 

[gramlik]

Честно говоря, я так и не понял, что вы импортируете в Datacol.
Проблемы с экспортом/сохранением в Excel у него есть и были в различных версиях. В 7.27 проявляется значительно реже, чем в предыдущих и как и раньше решается сохранением в произвольный формат.
Добавлю, что зачастую это проявляется из-за скриптов работающих на сайте-источнике или потому, что данные не могут быть сохранены в Excel ячейке.

в произвольный формат например в csv тоже ошибки в т.ч. и в потоке.

 

[l0cky]

без конкретики возникающие проблемы обсуждать бесполезно. Надо смотреть, что отдаёт или не отдаёт сайт. У меня с произвольным потоком проблем не было.

 

[gramlik]

без конкретики возникающие проблемы обсуждать бесполезно. Надо смотреть, что отдаёт или не отдаёт сайт. У меня с произвольным потоком проблем не было.

Да причем тут что отдает сайт , суть в том что программа например 10 000 строк может сохранить , а 50 000 строк не может. Берем произвольный формат csv с сохранением в конце парсинга или в потоке и в файле получаем что на каких то строках в одном и том же столбце данные из других столбцов и получается что данные поплыли. v 7.31 .