Удаление статей содержащих много ошибок.

Предлагаю реализовать функцию — Удаление статей содержащих много слов с ошибками — 20%, 30% и т.д. По аналогии с функциями удалять статьи содержащие много цифр, заглавных букв, спец символов.

Как должны определяться статьи с ошибками? На основании словарей орфографии? Тогда у вас будут удалены все статьи на неизвестном для словарей языке.

Так я не буду использовать эту функцию, когда буду работать со статьями на хинди. Но лично мне эта функция нужна, что бы когда напаршу 1000 статей и случайно зацеплю 5-10 английских или украинских, а они с точки зрения русского языка все с ошибками, одним движением удалить все такие статьи. Мне достаточно только словаря русского.

Ок, в принципе предложение дельное. Перенесу его в ветку «Средние». Если вы считаете, что через систему голосований предложение быстрее получится реализовать — дайте знать, перенесу его обратно в основную ветку.

Я за. Тоже хочу чистить от инглиша статьи.

тоже поддерживаю, недавно спарсил 300+ статей пробил на уникальность + автоматом почистил от дублей
итог обнаружил случайно зашел в редактор и увидел что в каждом слове ошибка, при этом вариантов исправить ошибки не было
перекинул в ворд, и оказалось, что часть букв заменены
А (русская) на A (английскую)
К (русская) на K (английскую)
и т.д.
А с виду абсолютно нормально читаемый текст. Пришлось вручную пробегать по всем статьям с такой гилиматьей.