Поиск дублей в постах

В посте есть дубликаты предложений/абзацев. Можно ли как-то автоматически найти эти дубли и удалить?

Такого функционала в программе нет.

И не предвидится в будущем?

Нет. В первую очередь из-за того, что это не очень популярная проблема. Обычно у людей в проектах попадаются похожие посты, но не их части.

Плюсую, мне бы такой функционал не помешал.

Ладно, перенесу в предложения, возможно что-то придумаю

Да и я бы хотел такую возможность

К сожалению у меня нет идей как это сделать без разработки интерфейса сравнивания кусков текста. А это очень объемная задача.

Просто найти тексты у которых есть похожие куски не проблема, даже сейчас можно выставить низкий процент совпадений (скажем 10-20%) и программа найдет такие посты, но нужно еще как-то показать пользователю какие именно куски текста совпали.

А зачем показывать, какие совпали куски? Тут (как по мне) важно, чтобы статья на выходе не состояла из одинаковых абзацев и предложений, а что там по итогу прога удалит мне все равно.

mobilg в своем сообщении писал(а):А зачем показывать, какие совпали куски? Тут (как по мне) важно, чтобы статья на выходе не состояла из одинаковых абзацев и предложений, а что там по итогу прога удалит мне все равно.

Я тогда не совсем понимаю, что программа должна делать: удалять посты, в которых есть дубликаты предложений/абзацев или удалять сами предложения/абзацы, что дублируются?