ZebroidФорумПубличный разделБаги / ОшибкиАрхивИнтернет-картинки для больших проектов

Интернет-картинки для больших проектов

20 июля 2017, 10:17
Зарегистрирован: 12 июля 2016, 20:12
Здравствуйте. Столкнулся с непреодолимой для себя проблемой. Проект — 120к статей, открыт как большой. Запускаю инет-картинки-парсинг — делает до 22%-50% и виснет резко — перестает идти траффик и использоваться проц. Чем больше ставлю парсить картинок на каждом запросе (и чем больше для автовыбора) тем меньше %, который будет сделан до того как все зависнет, ну и наоборот — тогда до 50% доходило при 30 картинках на запрос (200-250 потоков — 1500 проксей). Если картинок ставить парсить штук 200 — вылетела один раз с ошибкой Out of memory: 8224 bytes (total allocated: 2018894140). А так все время просто виснет. Оперативки 16Гб, в момент ошибки этой с памятью Зеброид 2.5гб почти съедал, хоть и открыт как большой проект (но свободно еще процентов 40 было) — в других случаях, когда меньше картинок парсил и в меньшее кол-во потоков, то поменьше занимал, но все равно зависал безбожно.

Думал может как-то в потоках и прокси дело — взял пока на сутки еще ~1500шт не паблик (рабочих из них процентов 90) в довесок к 50 приватным, которые были — но та же история… 200-250 потоков ставил к этим 1500 проксям. Не знаю что прямо и делать — если делать кусками поочередно (25к статей выделял на тест — прекрасно обрабатываются) — то картинки дублироваться же все будут — такое не подходит.

З.Ы. Поставил только вот еще для нового теста 5 картинок на пост, 5 автовыбор и автовставка 1 картинки. Скачиваю только ссылки. Сделалось. Парсил только гугл. В итоге 5 картинок — работает, 30 — уже нет при 200-250 потоках на 1500 проксей. Промежуточные не проверял еще. Но 5шт это совсем ниочем…

И, кстати, еще по мелочи — обратил внимание, когда кусок в 25к постов обрабатывал, что «подгонять размеры рисунков» не работают в инет-картинках — что бы не ставил — просто ссылка вставляется без изменения размеров.

Комментарий отредактирован 2 раз(а). Последний раз редактировал Aurigo 22 июля 2017, 03:16. Причина: дополнение