Поиск дубликатов названий в постах

Столкнулся с проблемой, сделал импорт текстовых файлов и выбрал формировать заголовок по первой строке файла и всё программа сделала замечательно за исключением того что у меня появилось очень много дубликатов названий, так как контент одной тематики.

Предлагаю научить программу искать одинаковые названия постов:

1 Чтоб можно было выбрать учитывать символы например точки запятые ну и т.д. или не учитывать.

2 Пометить дубликаты допустим красным цветом в дереве проекта или сразу удалить. (выбор этих параметров можно думаю надо задавать на первом этапе)

Вот как то так мне это видится.

Сделал

[attachment=0:flmcpqev]cleaner.png[/attachment:flmcpqev]

Чистка заголовков/название короче 60/по первому абзацу

После этих действий все названия становятся пустыми:

http://clip2net.com/clip/m10080/1254762 ... p-10kb.png

А вот за чистку по количеству символов в статье ОГРОМНОЕ СПАСИБО!

Еще б возможность отсеивать статьи в которых присутствуют html теги и возможность самому ввести список тегов на которые зеброид не будет реагировать.

Типа br strong ну и так далее, а вот всякие table вылавливать и уже потом самому визуально обрабатывать эти статьи.

И было бы не плохо для всех действий сделать возможным откат через Ctrl+z

Ещё бывает когда нужно очистить текст от ссылок которые не тегами а просто как текст http://url.com вот их тоже как отдельный филь :D