ZebroidФорумПубличный разделОптимизацияАрхивЗаливка/скачивание картинок - процесс "Получаем список картинок" идет с постоянным замедлением

Заливка/скачивание картинок - процесс "Получаем список картинок" идет с постоянным замедлением

12 июля 2017, 20:29
Зарегистрирован: 01 сентября 2011, 18:52
Здравствуйте

При попытке скачать большое число картинок для большого числа статей процесс «Получаем список картинок» идет с очень явным замедлением. По прогрессбару первые 2-3 процента проходят за 5 секунд, а где-то после 25% один процент занимает более 2 минут. При этом полностью загружено только 1 ядро процессора (в настройках указано больше ядер, они не используются). В результате подготовка списка картинок занимает не один час (и речь именно о подготовке списка картинок, без загрузки).

Один из самодельных плагинов получает список всех картинок проекта за считанные минуты, плюс делает ряд операций с заменой атрибутов картинок и все это в большинстве случаев занимает менее 10 минут. Поэтому полагаю что с процессом получения списка картинок что-то не то и его можно оптимизировать.

Программа версии 5.7.8 10903, проект открыт в режиме обычный проект, статей 10к, картинок 30к.

Комментарий отредактирован 2 раз(а). Последний раз редактировал Kostushko 13 июля 2017, 04:50.
12 июля 2017, 20:35
Зарегистрирован: 10 апреля 2012, 00:00
Здравствуйте.

Ок, я проверю.

15 июля 2017, 11:36
Зарегистрирован: 10 апреля 2012, 00:00
Проверил на таком проекте:


Анализ проекта занял 31 секунду.

Можете скинуть свой проект?

15 июля 2017, 18:57
Зарегистрирован: 01 сентября 2011, 18:52
Я ошибся по оценке числа картинок (когда они были не закачаны оценить кол-во по статистике нельзя, т.к. часть картинок повторяется), в результате в проекте оказалось 230 тыс. картинок, объем проекта 1гб, сжатый около 100мб. Анализ проекта занял около 4 часов, после этого началась загрузка изображений. Самодельный плагин, который загружает исходные картинки с диска с переименованием и копированием в другую папку, или другой плагин который проверяет параметры картинок — отрабатывают примерно за 5-7 минут (это время не только на поиск всех картинок, но и на копирование или обработку).

Проект не хотелось бы копировать, могу скинуть скрин статистики:


Если скрина не достаточно, загружу проект — скажите как это лучше сделать?

15 июля 2017, 20:38
Зарегистрирован: 01 сентября 2011, 18:52
Проект с одними картинками весит 190мб, сжатый — 5мб — могу скинуть куда-нибудь, анализ («получаем список картинок») занимает вроде чуть меньше времени на таком проекте, но в целом примерно так же, после 10-20% на прогрессбаре 1% прибавляется реже чем раз в минуту, т.е. общий анализ займет явно больше часа и скорей всего больше 2 часов (реальное полное время не проверял, т.к. необходимости в этом уже нет, для данного проекта).

Комментарий отредактирован 1 раз(а). Последний раз редактировал Kostushko 15 июля 2017, 20:44.
16 июля 2017, 21:06
Зарегистрирован: 10 апреля 2012, 00:00
Скиньте пожалуйста. Можно залить на любой файл хостинг (например mail.ru или яндекс диск) и дать мне ссылку.

Подойдёт любой проект, который медленно обрабатывается. Мне главное понять, что именно тормозит процесс.

Комментарий отредактирован 2 раз(а). Последний раз редактировал admin 16 июля 2017, 21:07.
17 июля 2017, 06:08
Зарегистрирован: 01 сентября 2011, 18:52
Отправил ссылку через сообщение со страницы — zebroid.com.ua/talk/add/?talk_users=admin. Возможно проблема в html коде, но я не знаю что и как изменить, чтобы работало быстрее.

17 июля 2017, 20:17
Зарегистрирован: 10 апреля 2012, 00:00
Спасибо за проект, проблемные места нашел. К сожалению там нужно сделать комплекс изменений, чтобы всё работало действительно быстро. Я в данный момент занимаюсь созданием 6 версии программы и могу реализовывать такие предложения только для этой версии. Пока не будет выпущена 6 версия, для текущей версии Зеброида будут выходить обновления только с критическими багфиксами.

По мере реализации функционала я буду давать на тест новую версию Зеброида, так что у вас будет возможность воспользоваться новым функционалом (в том числе и этим предложением) еще до официального релиза.

17 июля 2017, 20:28
Зарегистрирован: 01 сентября 2011, 18:52
Хорошо, мне не к спеху, если в новой версии будет быстро работать — отлично. Подскажите когда примерно планируете выпустить на тест новую версию?

17 июля 2017, 20:45
Зарегистрирован: 10 апреля 2012, 00:00
Ничего конкретно сказать не могу, где-то 2-3 недели.