Сделать отчет по проверенным прокси - с какого сайта сколько получено

Прошу рассмотреть возможность сделать так, чтобы по окончании парсинга прокси зеброид выдавал в файл отчет с какого сайта сколько скачано, в том числе сколько всего/новых/уникальных, а по окончании проверки прокси отчет с какого сайта сколько всего/новых/уникальных анонимных прокси получено

А зачем?

admin в своем сообщении писал(а):А зачем?

чтобы убрать те источники, которые дают мало прокси и оставить только самые лучшие
времени на их обработку тратится очень много, поэтому «источники» надо как то отсеивать

Ну так а что мешает эмпирическим путем отсеивать такие источники? Запустите парсинг по одному и смотрите на прирост.

admin в своем сообщении писал(а):Ну так а что мешает эмпирическим путем отсеивать такие источники? Запустите парсинг по одному и смотрите на прирост.

мешает их количество — их свыше 50 и планируется увеличение.
это очень неудобно проверять каждый по отдельности и долго.
также с учетом того, что проблема с проверкой полностью не решена (все также проверка через раз зависает на 64, 96, 99%%) — это задача на неделю.
что касается проблемы с парсингом (не проверкой), то она на сегодняшний день вами решена, зависаний на парсинге не наблюдаю, только на проверке, спасибо за обновление кстати!

зачем столько прокси? с меньшим количеством не могу напарсить картинок на проект из 10000 статей

также с учетом того, что проблема с проверкой полностью не решена (все также проверка через раз зависает на 64, 96, 99%%) — это задача на неделю.

Я еще проверю, но по всей видимости проблема на стороне hideme.ru (Зеброид ожидает ответа, но не получает его). Если это так — то ничего поделать я не смогу, разве что принудительно прерывать процесс, если долго нету ответа, но не понятно что тогда делатиь с теми прокси, по которым программа не получила результатов.

admin в своем сообщении писал(а):

также с учетом того, что проблема с проверкой полностью не решена (все также проверка через раз зависает на 64, 96, 99%%) — это задача на неделю.

Я еще проверю, но по всей видимости проблема на стороне hideme.ru (Зеброид ожидает ответа, но не получает его). Если это так — то ничего поделать я не смогу, разве что принудительно прерывать процесс, если долго нету ответа, но не понятно что тогда делатиь с теми прокси, по которым программа не получила результатов.

да, очень возможно, что hideme тормозит и подвисает периодически, я встречал такие проблемы с другими чекерами прокси.
немного опишу развитие проблемы проверки проксей:
1. с первого раза проверка часто доходит до конца (или останавливается на 98-99%). останавливаем, если зависла, закрываем окно проверки проксей. при этом чистятся плохие прокси автоматом
2. опять открываем окно проверки проксей, там уже нет отсеянных проксей, со второго раза проверка уже виснет на 84-96 %%, останавливаем, закрываем окно проверки проксей
3. опять открываем окно проверки проксей, там уже нет отсеянных с предыдущих проверок проксей, с третьего запуска проверка доходит примерно до 64-68%% и останавливается. останавливаем, закрываем окно проверки проксей
4. то есть с каждым разом останавливается все на меньшем проценте. или это какая-то конкретная прокси, или поток, непонятно
5. если же перезапустить зеброид, то все возвращается на шаг 1 — проверка доходит до конца или останавливается на 98-99%

Спасибо за подробное описание, буду разбираться.

Попробовал несколько раз запустить проверку прокси:
1. Проверка 1000+ прокси
2. Проверка 20000+ прокси

Оба раза проверка прошла нормально без зависаний.