ZebroidФорумПубличный разделВопросыИмпорт большой базы

Импорт большой базы

08 января 2012, 12:38
Зарегистрирован: 04 апреля 2011, 19:12
С горем по полам ипортировал базу новостей (300 000 *.htm и столько же картинок) за 14 часов и в итоге даже не смог сохранить проект чтобы перегрузить зеброид так как при любом действии выбивало Out of memory. Пришлось закрыть. И что теперь? Заново всё начинать смысла нет никакого. И так, можно ли как то сократить время ипорта и не ожидать заведомо ошибки или существуют некие ограничения на количество записей?



08 января 2012, 12:53
Зарегистрирован: 26 апреля 2010, 01:51
Теже проблемы были.

Приходится делить большой проект на части и обрабатывать отдельно.

Нынче появилась капля-макрос, поэтому уже не так кисло работать с большими проектами, как раньше, хотя, конечно, все равно неудобно.



08 января 2012, 13:41
Зарегистрирован: 10 апреля 2012, 00:00
К сожалению программа заведомо не может определить хватит ли ей оперативки на работу с вашим проектом или нет, чтобы предупредить. От себя добавлю, что не рекомендуется создавать проекты больше 50 000 записей.



08 января 2012, 13:49
Зарегистрирован: 04 апреля 2011, 19:12
Ну 2 ГБ ОЗУ уже давно никого не удивить но и как бы не мало считается... Ну до 50 000 вообще без проблем импортируется...

Я вот тут сейчас импортирую с выключенной очисткой тегов Word и выключенной прописью названий для картинок. Ну за каких-то пол часа уже 57% импортировало.... что будет дальше отпишусь позже.



08 января 2012, 13:51
Зарегистрирован: 04 апреля 2011, 19:12
Теже проблемы были.

Нынче появилась капля-макрос, поэтому уже не так кисло работать с большими проектами, как раньше, хотя, конечно, все равно неудобно.


Капля макрос рулит но до нее я даже не дошел ибо после попыток сохранить проект любое другое действие привело к полному зависанию и отказу.



08 января 2012, 13:56
Зарегистрирован: 10 апреля 2012, 00:00
Проект весь сохраняется в оперативкие, причем это не только тексты, это еще и технические данные о каждой записи, так что 2 Гб в данном случае не так много, для 300к. Ну и не всегда винда отдаёт программе всю свободную оперативку.



03 февраля 2012, 09:04
Зарегистрирован: 09 ноября 2009, 19:38
Такая же проблема. Оперативки у меня 16 Гб. Windows 7 Ultimate 64-bit.(amd phenom 1100t (3,3Гц))

Импортирую XML файл из партнерки gdeslon c количеством записей около 85-90 тысяч.

В этом файле есть ссылки на картинки - нажимаю закачать ссылки в зебройде. Работает комп 2-3 часа. Но потом при замене ссылок в записях этими картинками - выбивает ту же самую ошибку "Out of memory".

Уже 2-3 раза такое было. при просмотре через диспетчера задач - zebroid*32.exe занимает памяти всего не более 1,5 Гб.

Были случаи при обработке и экспорте данного проекта из 85-90 тыщ записей - что прога зависает и в диспетчере показывает тоже не более 1,5 гигов оперативы.

До 60000 тыщ записей прога норм отрабатывает , а вот 80-90 тыщ что-то уже с ошибками зависает.

странно что-то..



03 февраля 2012, 11:21
Зарегистрирован: 10 апреля 2012, 00:00
Вы читали мой предыдущий ответ? Ну что вы от меня хотите, ну не даёт ваша винда Зеброиду больше оперативки, и ей всё равно сколько у вас планок в компе, 32-битный программы ограничены не количеством свободной оперативки, а размером адресного пространства. Ну если вам так уж интересно почему 1,5 Гб, когда положено быть 2 Гб - напишите в сапорт майкрософт, я не знаю по какому принципу их ОС определяет какому приложению сколько положено.



03 февраля 2012, 11:27
Зарегистрирован: 22 октября 2011, 13:54
Ребята, что вы пристали к человеку? Вы что не понимаете, правило, о том что "размер не имеет значение", придумали женщины, и то, чтобы утешать мужчин. А вот в компьютерном деле, невозможно растягивать всё что угодно до бесконечности. Надо исходить из реальности.



03 февраля 2012, 11:35
Зарегистрирован: 09 ноября 2009, 19:38
СПС. извиняюсь за не осведомленность...

Значит никак. ok.

попробуем покопать в другом месте. как что-то нарою - тут сообщу. ;)