Алгоритмы распознавания лиц на фото и видео широко используются во всем мире. У тех, кто пытается остаться неузнанным, все меньше шансов на анонимность. Создатели новой системы распознавания лиц заявили: их разработка способна узнавать даже тех, кто закрывает часть лица головным убором, шарфом, маской или накладной бородой.

В основе разработки лежит технология сверточной нейронной сети. Такие сети используют для распознавания изображений. Сеть анализирует конкретные детали изображения, постепенно переходя к более абстрактным чертам. В процессе работы алгоритм обучается выстраивать иерархию деталей и признаков, выделяя самые важные. Современные технологии распознавания лиц используют несколько существующих баз данных, например AR Face Database, в которую входят около четырех тысяч цветных фото. Однако почти все люди на этих фотографиях изображены с открытыми лицами, поэтому для обучения нового алгоритма этих баз оказалось недостаточно.

Авторы новой работы собрали два комплекта фотографий людей с открытыми и закрытыми лицами. В каждый комплект вошли две тысячи фотографий на разном фоне: простом однотонном или сложном и детализированном. Разработчики выделили 14 базовых точек человеческого лица, большинство из них расположены вокруг глаз и рта. Алгоритм сравнивал расположение ключевых точек на открытом и закрытом лице.

Ключевые точки, arXiv.org

Сегодня эффективность системы оставляет желать лучшего. Алгоритм безошибочно распознал 77% тех, кто закрывал лицо шарфом, и 69% людей в шарфе и кепке. Среди тех, кто прятал лицо с помощью шарфа, кепки и затемненных очков, удалось узнать только 55% людей. На фотографиях со сложным детализированным фоном это число упало до 43%.

Авторы проекта продолжают работу. В их дальнейших планах — не только усовершенствовать этот проект, но и создать новые системы распознавания. В частности, один из авторов алгоритма планирует создать систему распознавания людей в негибких пластиковых масках.

Описание разработки доступно на сайте arXiv.org.