Задержки между запросами

Здравствуйте. Хотел узнать, если ли задержки между запросами (и какие) при парсинге, например, картинок и видео. А то такого параметра не нашел, вот и хотел уточнить каков он.

И 2й вопрос, чтобы новую тему не создавать — по поводу автоматической вставки в тех же интернет картинках и автовидео. Эта галочка значительно (очень значительно) ускоряет работу и мне вот интересен механизм работы. Например, стоит автоматический выбор 30 первых рисунков, автоматическая вставка отмечена, и отмечено вставлять не более 3х рисунков. Так вот какие именно 3 рисунка будут автовставлены для каждого поста — 3 первых из автовыбранных, 3 рандомных из автовыбранных или какие (т.к. я же не вижу какие выбираются и из каких)? И почему вставляется от 0 до 3х картинок — часть постов остается без рисунков и размер этой части без рисунков обратно пропорционален количеству автовыбираемых при включенной автовставке. Но стоит убрать галку с автовставки — работать будет в 10 раз дольше но найдет все или почти все и это даже при уменьшении количества автовыбираемых в те же 10 раз, условно говоря.

Здравствуйте. Хотел узнать, если ли задержки между запросами (и какие) при парсинге, например, картинок и видео. А то такого параметра не нашел, вот и хотел уточнить каков он.

Задержки нету. При многопоточном парсинге в нем нету смысла, а если использовать прокси, то смысла в задержках еще меньше.

Например, стоит автоматический выбор 30 первых рисунков, автоматическая вставка отмечена, и отмечено вставлять не более 3х рисунков. Так вот какие именно 3 рисунка будут автовставлены для каждого поста — 3 первых из автовыбранных, 3 рандомных из автовыбранных или какие (т.к. я же не вижу какие выбираются и из каких)?

Первые

И почему вставляется от 0 до 3х картинок — часть постов остается без рисунков и размер этой части без рисунков обратно пропорционален количеству автовыбираемых при включенной автовставке

Могу предположить, что прокси вы не используете и ваши запросы банит гугл

Но стоит убрать галку с автовставки — работать будет в 10 раз дольше но найдет все или почти все и это даже при уменьшении количества автовыбираемых в те же 10 раз, условно говоря.

Алгоритм работы парсинга с автовставкой от парсинга без ничем не отличается. Просто при парсинге без вставки Зеброид дополнительно скачивает миниатюры, которые нужно отобразить пользователю для выбора, потому и дольше.

Могу предположить, что прокси вы не используете и ваши запросы банит гугл

Прокси я использовал, но торовские (500 шт) со своей машины и из-за большого количества ошибок процесс прерывается часто — это конечно доставляет и вынуждает меня специально для работы с Зеброидом думать о покупке приватных, т.к. выбора не остается, хотя с тем же KC все норм, Т.к. прокси через некоторое (часто) небольшое время опять оживают и можно продолжать парсить — опять же ничто не мешает мне на те же порты повесить новые прокси, убив старые, но программа уже прервалась…

Может стоить как-то изменить правила, что после 25 неудачных запросов прерывать работу или сделать это опциональным… Хотя я понимаю, что это скорее всего достаточно узконаправленное дело.

Задержки нету. При многопоточном парсинге в нем нету смысла, а если использовать прокси, то смысла в задержках еще меньше.

Странно, почему тогда везде пишется о необходимых задержках — от KeyCollectora до самих контор, которые эти прокси предоставляют… Если я беру, например, 50 приватных прокси, то раз нет задержек между запросами, сколько посоветуете ставить потоков, чтобы не было бана гугла? 50?

Может стоить как-то изменить правила, что после 25 неудачных запросов прерывать работу или сделать это опциональным… Хотя я понимаю, что это скорее всего достаточно узконаправленное дело.

По факту это не решит проблему, а просто выиграет немного времени.

Странно, почему тогда везде пишется о необходимых задержках — от KeyCollectora до самих контор, которые эти прокси предоставляют…

Не знаю, у них спросите. Возмжно имеются ввиду задержки между запросами с одного IP. Но Зеброид перебирает прокси и при достаточном их количестве не будет делать подряд запросы с одинаковых IP

Если я беру, например, 50 приватных прокси, то раз нет задержек между запросами, сколько посоветуете ставить потоков, чтобы не было бана гугла? 50?

Не больше 25