ZebroidФорумПубличный разделОптимизацияАрхивОбработка больших проектов

Обработка больших проектов

27 декабря 2011, 16:18
Зарегистрирован: 26 апреля 2010, 01:51
Обработка больших проектов нужна.

Вроде в сентябре вышла стабильная версия, которая могла в этом помочь.

Обсуждение было здесь viewtopic.php?f=5&t=1081



27 декабря 2011, 17:42
Зарегистрирован: 10 апреля 2012, 00:00
Смотрел я на новый компилятор, есть две проблемы:

1. Перевести сейчас проект на этот компилятор не получится (часть библиотек от сторонних производителей которые я использую еще не поддерживаю её)

2. При работе в 64 битном режиме нельзя подключать 32-битные библиотеки (в этом случае лемматизация пролетает, так как 64 битной версии используемой библиотеки нету)

Со вторым пунктом думаю можно смирится, а вот для первого нужно время. Может еще что-то вылезет, но пока даже нету смысла рыпаться :(



21 марта 2012, 09:29
Зарегистрирован: 10 апреля 2012, 00:00
Решил вопрос по другому: добавил режим "Большой проект" (раньше он существовал, но принцип работы был другой и с выходом версии 3.5 пришлось убрать как несовместимый), при котором программа использует Memory-mapped файлы для хранения текстов.

Плюсы такого подхода:



  • Информация хранится в виртуальной памяти управлением которой занимается ОС. Другими словами программа использует всю доступную винде оперативку и, в случае её нехватки, файлы подкачки


  • Нету необходимости ждать перехода на 64-битный компилятор
  • <\ul>

    Минусы:



    • 5-10% падение скорости обработки текстов (спорный минус, так как использование 64 адресного пространства так же чревато падением скорости, да и процент подобран на глаз, возможно он значительно ниже)


    • При использовании этой технологии винда не скупится на оперативку и вполне возможно, что другим программам будет не комфортно работать, если в Зеброиде открыт очень большой проект (так же довольно спорный минус, скорее компромисс)


    • Ввиду того, что организацией памяти занимается ОС, в диспетчере задач не видно реальной картины того, сколько использует Зеброид оперативной памяти (видно только ту часть, которая действительно расположена в виртуальном адресном пространстве процесса, а это всё, кроме текстов постов)
    • <\ul>

      Итого, я считаю, выход из положение более чем удачный. Реализовано в четвертой версии программы. Предвидя вопросы: я не могу назвать точных сроков её выхода, возможно где-то через неделю-полторы дам на тесты бета версию четверки.