Импорт csv в mysql - готовый модуль

[Zacker2]

Ищу готовый модуль для импорта csv в mysql желательно под yii2.

1. Возможность для пользователя указывать таблицы (какой товар в какой таблице находить)
пример:
Название - (A)
Штрихкод - (B)
Производитель (C)
и.т.д.

2. Нужен индикатор прогресса загрузки (импорта) csv.
на гитхабе не смог найти.

Прошу помочь с протестированными вариантами, csv объемные, до 5 млн. таблиц в каждом csv.

 

[ZiX]

Ищу готовый модуль для импорта csv в mysql желательно под yii2.

1. Возможность для пользователя указывать таблицы (какой товар в какой таблице находить)
пример:
Название - (A)
Штрихкод - (B)
Производитель (C)
и.т.д.

2. Нужен индикатор прогресса загрузки (импорта) csv.
на гитхабе не смог найти.

Прошу помочь с протестированными вариантами, файлы csv объемные, до 5 млн. таблиц в каждом csv.

ишь ты ! и индикатор! И под твою бд! всё думаешь готово?))
НужнО писать.
Если только у вас какой-то готовый вариант...

 

[Zacker2]

ишь ты ! и индикатор! И под твою бд! всё думаешь готово?))
НужнО писать.
Если только у вас какой-то готовый вариант...

Под мой бд не нужно )) эт я уже сам)) пост на тот случай, если у кого готовый завалялся, буду приемного благодарен )

 

[ZiX]

Под мой бд не нужно )) эт я уже сам)) пост на тот случай, если у кого готовый завалялся, буду приемного благодарен )

такое врядли есть готовое... там дел то на пол часа...
Мануалов по ajax дофига
И по таким ситуациям были... по прогресс. итд. ищи гуглом

 

[Zacker2]

А если серьезно, страх в объемности файлов, поэтому нужен протестированый вариант, чтобы сервер не загубить...
Если кого-то индикатор смущает, то годиться и без, добавить не сложно...

P.S. Если до вечера не найдется, сяду писать, но надеюсь кто-то уже изучил детали...

 

[ZiX]

А если серьезно, страх в объемности файлов, поэтому нужен протестированый вариант, чтобы сервер не загубить...
Если кого-то индикатор смущает, то годиться и без, добавить не сложно...

Не загубишь... я например изза лени щас 4ляма записей перегоняю в бд при этом производя расчёты и разбивая на таблицы и каждый проход foreach проверяя данные на совпадение в 2х таблицах в которых и так по ляму
и ничо... временно конечно поднял до 4 ядер и 3г оперативы... но сносно... уже часов 30 процесс.
Многопоточность мне ненужна... противопоказана.

А тот же ajax писать и каждый раз дёргать csv это ппц...
Хранить данные в сессии тоже...
Можно попробовать в оперативе...
мемкеш. Чтото я не подумал...

 

[Zacker2]

Для просмотра ссылки Войди или Зарегистрируйся - Установил этот экстеншн, все работало нормально с файлами не более 1mb, пока не попробовал импортировать excel файл объемом 7mb. В результате комп завис, пришлось перезагружаться, и так при каждой попытке...

 

[latteo]

А если серьезно, страх в объемности файлов, поэтому нужен протестированый вариант, чтобы сервер не загубить...

Для просмотра ссылки Войди или Зарегистрируйся - Генераторы (yield) в php
Хотя можно и без yield, просто через fgetcsv

 

[javx]

Для просмотра ссылки Войди или Зарегистрируйся

 

[Zacker2]

Можно Вас попросить написать любой пример кода, который сможет импортировать excel файл размером 7mb в mysql...
На данном этапе использовать мемкеш рановато, так как мой комп зависает когда пытается вытащить из excel информацию, а не при обработке ее в базе...

При выполнении этой части кода происходит зависание:

$objectPhpExcel = $objectreader->load($fileName);

P.S. касается только объемных файлов, файлы до 1mb импортируются без проблем...
Относительно советов грузить построчно, то просьба показать пример!