Морфологически верные теги

Автоизвлечение тегов из текста - это здорово. Но нечитабельно для человека - теги находятся в разных формах, падежах и т.п.

Хотелось бы, чтобы при подсчете частотных слов для тегов проходила лемматизация, после чего генерировались теги в начальной форме слова (именительный падеж), чтобы облако тегов выглядело читабельным.

Было бы не плохо дать ссылку на источник правил, по которых можно было определять начальную форму тагов. В идеале еще бы правила лемматизации почитать хотел, ато тот алгоритм лемматизации, что сейчас в программе не работает в 100% случаев.

Было бы не плохо дать ссылку на источник правил, по которых можно было определять начальную форму тагов. В идеале еще бы правила лемматизации почитать хотел, ато тот алгоритм лемматизации, что сейчас в программе не работает в 100% случаев.

Нормальной формой слова считается именительный падеж единственное число, для существительных. Так, с точки зрения Яндекса, «кот», «коты», «кота» и т.д. - формы одного и того же слова, среди которых нормальной является форма «кот». Это Информация с Яндекса.

По-идее для глагола нормальной формой является инфинитив.

Есть такая библиотека на PHP, как phpmorphy, там есть возможность вызова $base = $morphy->getBaseForm($word); .т.е. начальной, нормальной, базовой формы любого слова. Есть морфологический анализатор от Яндекса http://company.yandex.ru/technology/mystem/

Спасибо, теперь есть над чем по мозговать :)

Готово, правда только для русского языка