ZebroidФорумПубличный разделВопросыПочему экспорт в XLS в 30 раз быстрее импорта

Почему экспорт в XLS в 30 раз быстрее импорта

25 декабря 2011, 21:08
Зарегистрирован: 26 апреля 2010, 01:51
Зеброид при сохранении проекта выскакивал с Exception на проекте с 40 тысячу мелких статей.

Пришлось выгружать в Excel, всего два столбца.

Экспорт прошел быстро, занял пару минут. Файл xls - 17 мегабайт.

Импорт обратно после перезапуска Зеброида по тому же самому шаблону "2-column" (название + статья) шел целый час.

Почему такая разница? Вроде примерно равнозначные задачи.

Может импорт из XLS неэффективный алгоритм использует?



26 декабря 2011, 05:02
Зарегистрирован: 10 апреля 2012, 00:00
Это даже близко не одно и то же. Проведу аналогию: почему книжки лежащие на полке и рассортированы по категориям, цвету и автору скинуть в 2 тележки в 30 быстрей, чем потом эти же книжки с этих же тележек расставить обратно на полки.

К тому же я провел аналогичный эксперимент на немного меньшем проекте (у меня получился файл в 5 Мб): экспорт длился 1 мин, импорт - 3 мин.



26 декабря 2011, 06:32
Зарегистрирован: 26 апреля 2010, 01:51
Разница в 3 раза вполне объяснима, но в 30 перебор.

Могу выслать xls-файл для теста импорта, тем более, что после импорта его так и не удалось сохранить, опять exception (первый раз при самом импорте, второй раз после нормального импорта при сохранении).



26 декабря 2011, 06:39
Зарегистрирован: 10 апреля 2012, 00:00
Конечно же отправляйте



27 декабря 2011, 07:24
Зарегистрирован: 21 сентября 2010, 01:15
Тоже приходится импорт ждать.

Иногда даже не понятно, программа зависла или импортирует.

Выделение 4 процессоров никак не влияло.

Был бы благодарен, если импорт ускорится.



27 декабря 2011, 07:46
Зарегистрирован: 10 апреля 2012, 00:00
В конкретном случае [user:1vailxqj]Oleg[/user:1vailxqj]а, тормозом было то, что у него все посты без названий и программа долго генерировала для 40к постов уникальные alt_name. Этот момент подправлен. А вообще тормозом импорта из экселя, как ни странно есть сам эксель. Почему то он очень медленно считывает и отдаёт программы данные с запрашиваемых ячеек.

А выделять дополнительные ядра в данном случае, что дать человеку еще несколько лопат - копать он от этого быстрее не будет.



27 декабря 2011, 07:58
Зарегистрирован: 21 сентября 2010, 01:15
А если попробовать с ods ?

Сам ексель позволяет сохранять как OpenDocument.



27 декабря 2011, 09:29
Зарегистрирован: 10 апреля 2012, 00:00
Нету разницы какой формат файлов обрабатывается



18 января 2012, 04:19
Зарегистрирован: 27 октября 2011, 17:11
Здравствуйте! Подскажите импорт с xls (файлик большой 8м.) как мне сделать разбивку по строке? Чтобы каждая новая строка в таблице была отдельной записью в проекте, при этом чтобы структура самой таблички сохранялась? Имя строк a1, a2 и т.д.



18 января 2012, 05:50
Зарегистрирован: 21 сентября 2010, 01:15
Например, столбец A - это заголовки, B - текст статьи

В зебройде открываешь импорт, там профили и присваиваешь значения



Делаешь импорт, Каждая строка, будет отдельной записью, всё просто