[quote:3n33lf4c]не в тему но пока не забыл: программа начинает с ума сходить когда в нее подгружается ~ 5000 записей.... картинки не парсит были случаи вылета... когда ~25к экспортировать в файл не получается
Проект: 112 180 записей
Тест парсинга картинок: нормально
Экспорт: вылетает (не достаточно оперативки)
Проблемы есть, но называть это "с ума сходить" я бы не стал.
Почему у меня парсит картинки, а у вас нет - потому что я не выделяю весь проект для парсинга, т.к. бессмысленно. Я могу убить день и оптимизировать процесс выборки слов для парсинга картинок, но ситуация от этого не поменяется: программа не будет вылетать и виснуть, но зато вас будет банить ПС и картинок вы всё равно не получите. Так, что не вижу большого смысла тратить время на то, чем пользоваться всё равно не будут. 5000 запросов вам даже с проксями не так просто будет пропустить через ПС, разве что с большим списком очень качественных (чем как показывает практика обладают единицы).
Но вполне возможно, что я ошибаюсь, можете попробовать меня переубедить.
На экспорт я еще взгляну детальнее. Теоретически с проектами до 100к проблем быть не должно[/quote:3n33lf4c]
не правильно выразился, подглючивает чучуть))
на скрине ошибка, вылетает даже при выделенной одной статьи...
эта статья находятся в конце списка...
так со всеми статьями которые ближе к концу...
те которые в начале запускаются нормально....
не стоит на это отвлекаться как бы не критично и не востребовано, это так просто вспомнилось...