Поиск дублей в постах

В посте есть дубликаты предложений/абзацев. Можно ли как-то автоматически найти эти дубли и удалить?

пробегать по статье и удалять в этой статье куски, которые дублируются (оставляя только один из вариантов дубля). Как сам выше писал «Просто найти тексты у которых есть похожие куски не проблема, даже сейчас можно выставить низкий процент совпадений (скажем 10-20%)»

Наконец-то я понял: это поиск дублей в пределах одной статьи.

Ну тогда это совсем не сложная задача, перенесу в «Мелкие предложения»