ZebroidФорумПубличный разделБаги / ОшибкиАрхивОшибка при парсинге "интернет картинок"

Ошибка при парсинге "интернет картинок"

08 апреля 2013, 05:31
Зарегистрирован: 13 января 2013, 15:27
Здравствуйте, при парсинге интернет картинок они уходят в некуда после завершения парсинга.

Нельзя из патом расставить, если выбрать функцию автоматической расстановки нечего не происходить, если сохранить тоже выбивает ошибку что сначала их нужно спарсить, до этого 100 раз так делал - и все работало

прикладываю скрин с настройками.



08 апреля 2013, 18:25
Зарегистрирован: 29 марта 2011, 13:45
проверил, у меня всё пашет



09 апреля 2013, 03:37
Зарегистрирован: 10 апреля 2012, 00:00
В общем долго и нудно я всё это дело тестировал и пришел к такому результату: при использовании прокси, если до окончания парсинга выдачи программа посчитала, что все прокси мертвые, то она прерывает работу и пропадают даже те результаты, что удалось спарсить. Это поведение я исправлю, так что в любом случае если программа что-то нашла, то она это покажет пользователю.

Проблема возникает при использовании плохих прокси (или если их не достаточно) на больших проектах. Так же рекомендуется не отмечать все поисковики, если они вам действительно не нужно, потому что количество запросов значительно возрастает. Самый демократический поисковик - Google, им и советую пользоваться. Яндекс делает много редиректов, потому слабые прокси просто могут не доходить до конечной страницы, flicr - медленный для наших земель и имеет значительно меньшую (хотя и более качественную) базу картинок.



09 апреля 2013, 05:06
Зарегистрирован: 13 января 2013, 15:27
Вуаля! попробовал все работает, буду за проксями следить внимательно!



Тема закрыта