ZebroidФорумПубличный разделВопросыошибка при парсинге картинок

ошибка при парсинге картинок

02 июля 2011, 13:25
Зарегистрирован: 28 декабря 2010, 15:37
в общем парсил интернет картинки, выскочила такая ошибка

настройки парсинга и сама ошибка на скрине

http://rghost.ru/13240411.view



02 июля 2011, 13:50
Зарегистрирован: 28 декабря 2010, 15:37
ап

при импорте накосячил, там получились заголовки с плюсами может изза них

но 2 раза ошибки вылетали когда парсил с проксями, без проксей нормально спарсило



02 июля 2011, 14:17
Зарегистрирован: 10 апреля 2012, 00:00
Выскакивает при парсинге с проксями всегда? На других проектах тоже выскакивает, или только на одном?



02 июля 2011, 19:25
Зарегистрирован: 28 декабря 2010, 15:37
первый раз с проксями парсил, раза 2 пробывал оба раза эта ошибка выскакивала

до этого без проксей всегда парсил, было норм



02 июля 2011, 19:25
Зарегистрирован: 28 декабря 2010, 15:37
на других проектах не пробывал, завтра попробую отпишусь



03 июля 2011, 05:54
Зарегистрирован: 28 декабря 2010, 15:37
сейчас еще раз парсил с прокси, таже ошибка



03 июля 2011, 06:26
Зарегистрирован: 10 апреля 2012, 00:00
Судя по тому, что у меня с проксями парсится на отлично подозреваю, что у вас что-то со списком этих проксей. Можно увидеть содержимое файлика "proxylist.txt"? (можно в ЛС)



04 июля 2011, 08:23
Зарегистрирован: 10 апреля 2012, 00:00
Как оказалось в списке проксей в некоторых вместо IP был вписан домен, что есть не правильным, программа на такое не рассчитана.



04 июля 2011, 13:20
Зарегистрирован: 26 апреля 2010, 01:51
Как оказалось в списке проксей в некоторых вместо IP был вписан домен, что есть не правильным, программа на такое не рассчитана.


Разве через ping не получится исправить адрес?



04 июля 2011, 14:23
Зарегистрирован: 10 апреля 2012, 00:00
Да есть способы получать IP, но программа этого не делает. Вот лично вам нужны лишние проверки на валидность IP когда вы знаете, что невалидных там нету? Это всё тормозит, пускай на доли секунд, но при больших объемах эти доли секунд складываются в что-то большее. Хотя пожалуй сделать проверку стоит, но имхо не критично, я даже не знаю кто даёт списки проксей в виде доменов.