ZebroidФорумПубличный разделВопросыИмпорт большой базы

Импорт большой базы

08 января 2012, 12:38
Зарегистрирован: 04 апреля 2011, 19:12
С горем по полам ипортировал базу новостей (300 000 *.htm и столько же картинок) за 14 часов и в итоге даже не смог сохранить проект чтобы перегрузить зеброид так как при любом действии выбивало Out of memory. Пришлось закрыть. И что теперь? Заново всё начинать смысла нет никакого. И так, можно ли как то сократить время ипорта и не ожидать заведомо ошибки или существуют некие ограничения на количество записей?



03 февраля 2012, 11:37
Зарегистрирован: 10 апреля 2012, 00:00
Ну не совсем никак, возможно в будущем я таки смогу перевести Зеброид на 64-битный компилятор. Ну а пока, просто разбивайте на более мелкие проекты. Всё таки с каплей-максро, обработка одного проекта не отличается от обработки десяти



03 февраля 2012, 12:20
Зарегистрирован: 26 апреля 2010, 01:51
Ну не совсем никак, возможно в будущем я таки смогу перевести Зеброид на 64-битный компилятор. Ну а пока, просто разбивайте на более мелкие проекты. Всё таки с каплей-максро, обработка одного проекта не отличается от обработки десяти


Большой sql-файл тяжело делить на части.

Это же не текстовый.



03 февраля 2012, 16:17
Зарегистрирован: 10 апреля 2012, 00:00
Согласен, мой совет не панацея, но пока попытки перевести проект на 64 битный компилятор не увенчались успехом.



03 февраля 2012, 16:39
Зарегистрирован: 22 октября 2011, 13:54
64-битовый потребует другое железо?



04 февраля 2012, 04:08
Зарегистрирован: 21 сентября 2010, 01:15
А если при запуске программы запускать два .exe приложения зебройда? виндовс ведь для каждого выделит свой лимит памяти...

Во многих программах такое вижу, запускаешь одну программу, а в диспетчере весит несколько процессов, типа ещё обновление.

Ну это я так, мыслями делюсь...



04 февраля 2012, 05:20
Зарегистрирован: 10 апреля 2012, 00:00
64-битовый потребует другое железо?


64-битный процессор (других в продаже уже давно нету) и 64-битную ОС



04 февраля 2012, 10:13
Зарегистрирован: 22 октября 2011, 13:54
[quote="Valiks":cp1slg1w]64-битовый потребует другое железо?


64-битный процессор (других в продаже уже давно нету) и 64-битную ОС[/quote:cp1slg1w]

Срочно разбогатеть надо будет



04 февраля 2013, 14:26
Зарегистрирован: 25 декабря 2012, 11:51
я вот впервые начал использовать эту прелесть)) (зеброида)

закинул в импорт файл 20мб txt

сохранил значит как 1 статью.,

дальше выбрал разбивка статей, по признаку, по регулярному выражению \n (новая строка)

то есть, мне нужно 1 пост = 1 строка из этого файла., в файле 187к строк.

это я для твиттера подготовил почищенное и т.д.

так вот вопрос, а сколько оно будет разбивать по времени)?

ps^ комп вроде как мощный, i7 4ядра физ 4виртуальных, 8гб ram (ноут).

ну в общем-то к компу тут претензий нет... этот процесс никак его не нагружает. CPU на 12% и ram свободно 4гб и не уменьшается.



04 февраля 2013, 14:34
Зарегистрирован: 10 апреля 2012, 00:00
Может долго разбивать. Сколько по времени сказать не могу, я не делаю таких замеров. Лучше всего не делать проектов у которых больше 50к записей, тормоза обеспечены, крутизна компьютера при таких объемах не имеет особого значения.