Ссылка на сообщение

Zebroid → Форум → Публичный раздел → Предложения → Мелкие предложения → Поиск дублей в постах

Поиск дублей в постах

02 июня 2022, 17:42
Зарегистрирован: 12 ноября 2015, 03:34
В посте есть дубликаты предложений/абзацев. Можно ли как-то автоматически найти эти дубли и удалить?
15 июня 2023, 08:55
Зарегистрирован: 12 ноября 2015, 03:34
пробегать по статье и удалять в этой статье куски, которые дублируются (оставляя только один из вариантов дубля). Как сам выше писал «Просто найти тексты у которых есть похожие куски не проблема, даже сейчас можно выставить низкий процент совпадений (скажем 10-20%)»

17 июня 2023, 14:40
Зарегистрирован: 10 апреля 2012, 00:00
Наконец-то я понял: это поиск дублей в пределах одной статьи.

Ну тогда это совсем не сложная задача, перенесу в «Мелкие предложения»