Зависание и большая нагрузка при поиске меток для словаря.

Окно Зеброида подвисает минут на 10, программа начинает потреблять 25% процессора периодами гораздо больше, а вот если статей в 2 раза больше, то завершения процесса мне дождаться не удалось либо Зеброид просто намертво зависал, если поставить лимит выборки 100 то ситуация практически не меняется.

Я думаю всё это происходит из-за очень большой нагрузки которую создает программа.

Оптимизируйте работу программы и решите проблему с такого рода зависаниями.

Характеристики системы:

Windows 7 x64

Процессор 2.4 Phenom 4-ядра

Оперативной памяти 4 Гб.

Статистика проекта:

Статей 951

Рубрик 1

Меток 0

Знаков без пробелов 1 810 285

Знаков с пробелами 1 995 362

Среднее число знаков б/п на статью 1904

Настройка поиска меток:

Мин. Длина слова 3

Лимит выборки 500

У меня самый большой проект из :

знаков без пробелов 946 184

знаков с пробелами 1105 683

щас задал выборку такую же сделало за 1мин 40сек, правда процессор сильнее грузило на 48-50%.

Лимит выборки не влияет на быстродействие, потому что он показывает заданое количество самых популярных слов, а для это сначало нужно получить список этих слов.

Я посмотрю что можно сдлеать и к следующей версии постараюсь максимально ускорить этот процесс

Проверил только что на солянке с разных тематик (это максимаьная нагрузка, потому что много разных слов и мало повторений), на таком проекте:

Статей: 187

Рубрик: 196

Меток: 0

Знаков без пробелов: 1 921 322

Знаков с пробелами: 2 196 376

Среднее число знаков б/п на статью: 10 274

Результат:

Примерно 8 минут, загрузка процесора 50% (полностью заняло одно ядро). Никаких зависаний, всё прошло хорошо.

Система уменя Виста х86, процессор 1.7х2

Я попробую оптимизировать этот процесс, но обещать значительных увеличений производительности не могу. Сам по себе процесс очень трудоемкий: выбираются все слова со всех текстов, групируются, сортируються по убыванию количества совпадений, а потом выводится список на часто употребляемых.

Самое главное чтобы прога не висла при этом процессе, а с нагрузкой я готов мириться.

Самое главное чтобы прога не висла при этом процессе, а с нагрузкой я готов мириться.

Мне трудно что то говорить о Вин7, которая еще, на сколько мне извесно, не вышла со стадии тестирования, и тем более о 64 битной ОС (программа писалась под 32 бита), но я обещаю вам что сделаю всё что в моих силах

Переписал алгоритм выборки слов. Промаялся целый день но оно того стоило :D

Скорость работы увеличина примерно в 50 раз!!!

Этот проект:

Статей: 187

Рубрик: 196

Меток: 0

Знаков без пробелов: 1 921 322

Знаков с пробелами: 2 196 376

Среднее число знаков б/п на статью: 10 274

Был обработан за 12 сек.

З.Ы. Сегодня ночью или завтра утром будет обновление, что вас ждёт в обновлении можно посмотреть в этом списке: viewtopic.php?f=5&t=4&p=4

Павел, отпишитесь о результах, если всё ок - я тему закрою

Павел, отпишитесь о результах, если всё ок - я тему закрою

Проверил сейчас работоспособность новой версии на проекте:

Статей 14700

Рубрик 1

Меток 170

Знаков без пробелов 34 871 922

Знаков с пробелами 38 252 028

Среднее число знаков б/п на статью 2366

Выборка была сделана примерно за 1 МИНУТУ!

Спасибо.

Тему можно закрывать.