Автоматическая классификация новостей из коллекции Reuters в таксономию IPTC

В этой работе предлагаются алгоритмы для автоматической классификации новостей в таксономию медиа-тематик IPTC, которая представляет собой иерархическую структуру классов. В качестве тестовой коллекции используется корпус новостей Reuters-21578. Особенностью работы является отсутствие обучающей выборки, поэтому для решения задачи нельзя воспользоваться стандартными методами классификации. По этой причине в работе были применены два подхода: выделение групп схожих документов при помощи кластеризации методом k-средних и выделение скрытых тем, используя латентное размещение Дирихле. Для того, чтобы сопоставить группы документов предварительно заданным классам, описания классов расширяются при помощи поисковой машины, и затем находится класс, ближайший к группе документов. Для оценки качества классификации используется экспертная оценка. Эксперимент показал, что алгоритм, основанный на k-means дает неплохие результаты по формированию документов в классы. Дальнейшие модификации этого алгоритма могут оказаться весьма полезными для новостных агентств и агрегаторов.