Как работает капля-макрос при импорте текста?

Какой алгоритм работы у капли-маркоса при импорте?

Обработка каждого документа после импорта или сначала импорт всех, а потом уже бработка?

Конечно же сначала импорта, а потом обработка всех.

Жаль, а мне была надо возможность именно пофайлового применения

А то при общем импорте часто выбивает OOM, а если делать пофайлово - то нет

Жаль, а мне была надо возможность именно пофайлового применения

А то при общем импорте часто выбивает OOM, а если делать пофайлово - то нет

Для многих операций капли-макрос такой вариант не подходит. Например: как искать и удалять дубликаты статей, если еще не все статьи импортировались?

Например, когда у нас в тексте может быть дубли текстов, размеченные заголовком 2.

Программа проверяет на схожесть статей между собой, а не частей текста одной статьи. Да и вопрос был риторический, схема работы оправдана и менятся не будет. Рекомендую вам всё таки подружится с Большими проектами, так как я в них загонял 8 Гб контента и не имел проблем с памятью, другой вопрос, что работать с такими проекта проблематично. Если у вас не хватает памяти при работе с большими проектами, то вероятнее всего у вас мало выделено на файлы подкачки.

Импортируется документ.

Затем он разбивается на статьи по каким-то признакам.

Затем среди этих статей происходит поиск на дубликаты.

Увы, большие проекты мне не помогли, так как пишут OOM при наличии свободной оперативки...