Совместная локализация устройств дополненной и смешанной реальности в помещении

Осипов Александр

Совместная локализация устройств дополненной и смешанной реальности в помещении

В диссертации представлено экспериментальное сравнение методов регистрации облаков точек с низкой плотностью для решения задачи совместной локализации устройств смешанной реальности. Облака точек получены из пространственной сетки на борту гарнитуры смешанной реальности Microsoft HoloLens. Сетка определяет геометрическое представление реального окружения. Полученные облака имеют низкую плотность точек. Мы сравнили Go-ICP, Bayesian-ICP, Fast Global Registration (FGR), Teaser++ и гибридные методы, объединяющие FGR + ICP и Teaser++ + ICP. Эти методы имеют разные принципы: Go-ICP и Bayesian ICP основаны на анализе точек, а методы FGR и Teaser++ - на анализе признаков. Чтобы объединить преимущества обоих принципов, мы использовали гибридные методы. Мы использовали реализацию FGR и Teaser++, основанную на Fast Feature Point Histogram (FFPH), и сравнили точность в зависимости от параметров FFPH. Сравнение проводилось на наборе данных, содержащем реальные данные, полученные с помощью очков смешанной реальности в нескольких помещениях разного размера. Методы регистрации облаков точек FGR и Teaser++ для совместной локализации устройств смешанной реальности успешно выровняли все пары данных о комнатах. Точность регистрации гибридных методов выше, чем обычных, что позволяет подобрать основной параметр радиуса признака FPFH для оптимизации соотношения точности и времени работы для реальных сценариев использования на устройствах смешанной реальности.

Патентное дело. Изобретательство. Рационализаторство

Диссертации

Вуз: АНО ВО «Университет Иннополис»

ID: 60e6d5a9e4dde5000173eeec

UUID: 910a6c10-c206-0139-3b43-0242ac180005

Язык: Русский

Опубликовано: почти 3 года назад

Просмотры: 15

10.3

Осипов Александр

АНО ВО «Университет Иннополис»

Комментировать 0

Рецензировать 0

Скачать - 25,2 МБ

Поделиться работой

Автономная некоммерческая организация высшего образования «Университет Иннополис» (АНО ВО «Университет Иннополис») ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА (МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ) по направлению подготовки 09.04.01 – «Информатика и вычислительная техника» GRADUATION THESIS (MASTER GRADUATE THESIS) Field of Study 09.04.01 – «Computer Science» Направленность (профиль) образовательной программы «Робототехника» Area of Specialization / Academic Program Title: «Robotics» Тема / Topic Совместная локализация устройств дополненной и смешанной реальности в помещении / Indoor collaborative localization of AR/MR devices Работу выполнил / Thesis is executed by Осипов Александр Анатольевич / Osipov Alexander Anatolyevich Руководитель выпускной квалификационной работы / Graduation Thesis Supervisor Климчик Александр Сергеевич / Klimchik Alexandr Sergeevich Консультанты / Consultants Останин Михаил Андреевич / Ostanin Mikhail Andreevich Иннополис, Innopolis, 2021 подпись / signature подпись / signature подпись / signature

Оглавление 1 Введение 3 2 Обзор литературы 8 2.1 Постановка проблемы и обзор решений . . . . . . . . . . . . 8 2.2 Методы регистрации облаков точек . . . . . . . . . . . . . . 10 2.3 Обзор исследуемых методов регистрации . . . . . . . . . . . 14 2.3.1 Standard-ICP . . . . . . . . . . . . . . . . . . . . . . . 14 2.3.2 Go-ICP . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.3.3 Bayesian-ICP . . . . . . . . . . . . . . . . . . . . . . . 16 2.3.4 Fast Point Feature Histograms . . . . . . . . . . . . . . 17 2.3.5 Fast Global Registration . . . . . . . . . . . . . . . . . 18 2.3.6 Teaser++ . . . . . . . . . . . . . . . . . . . . . . . . . 19 3 Методология 3.1 Go-ICP, Bayesian-ICP, FGR и Teaer++ на реальных данных 23 24 3.2 FGR, Teaser++, FGR с ICP и Teaser++ с ICP на синтетических данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Результаты 4.1 Go-ICP, Bayesian-ICP, FGR и Teaer++ на реальных данных 24 28 28

ОГЛАВЛЕНИЕ 4.2 FGR против Teaser++ на синтетических данных . . . . . . . 3 29 4.2.1 Гибридные методы . . . . . . . . . . . . . . . . . . . . 30 4.2.2 Оптимальные параметры признаков . . . . . . . . . . 31 4.2.3 Влияние шума . . . . . . . . . . . . . . . . . . . . . . 32 4.3 Демонстрация примера реализации гибридных методов в типовом сценарии . . . . . . . . . . . . . . . . . . . . . . . . . . 33 5 Анализ и обсуждение результатов 36 6 Заключение 39

Список таблиц I Результаты сравнения Go-ICP, Bayesian-ICP, FGR, Teaser++ на реальных данных . . . . . . . . . . . . . . . . . . . . . . . II 28 Процент успешных регистраций на FGR, Teaser ++ по сравнению с FGR и Teaser ++ с ICP на синтетических данных. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . III 30 Оптимальный диапазон радиуса признака для FGR и Teaser++ 32

Список иллюстраций 1.1 Пространственная карта с MR-устройства . . . . . . . . . . . 4 1.2 Иллюстрация постановки проблемы . . . . . . . . . . . . . . 4 1.3 Представление сетки в виде облака точек . . . . . . . . . . . 5 1.4 Point Cloud Registration on rabbit model example . . . . . . . 5 2.1 (a) Пространство вращения SO(3) параметризовананое в шаре радиуса π. (b) Предполагается, что решение трансляции лежит внутри куба с параметрами [−ξ, ξ]3 [23]. . . . . . . . . 15 2.2 Чередование BnB и ICP до схождения к глобальному минимуму [23]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.1 Примеры визуально успешных и неуспешных регистраций. Левая половина показывает состояние до регистрации, а правая - после регистрации . . . . . . . . . . . . . . . . . . . . . 25 4.1 Сравнение ошибок вращения, ошибок перевода и времени выполнения для алгоритмов FGR, Teaser++ против FGR и Teaser++ с ICP . . . . . . . . . . . . . . . . . . . . . . . . . . 30 4.2 Процент успешных выравниваний парных облаков точек для FGR, Teaser++ по сравнению с FGR + ICP и Teaser++ + ICP 31

СПИСОК ИЛЛЮСТРАЦИЙ 6 4.3 Ошибка вращения и трансляции, эффективность времени выполнени для FGR с ICP. Порог удовлетворяет условию точности (3.4) и времени выполнения менее 5 сек. . . . . . . . . 32 4.4 Ошибка вращения и трансляции, эффективность времени выполнени для Teaser++ с ICP. Порог удовлетворяет условию точности (3.4) и времени выполнения менее 5 сек. . . . . . . 33 4.5 Оценка влияния гауссовского шума на успешность выравнивания парных облаков точек для методов регистрации FGR + ICP и Teaser++ + ICP, удовлетворяющих условию (3.4). . 34 4.6 Кадры видео в разные моменты времени в секундах. Первая строка показывает кадры получены с MR-устройства 1го пользователя. Вторая строка показывает необработанные кадры - с другого MR-устройства второго пользователя. . . 35

Аннотация В диссертации представлено экспериментальное сравнение методов регистрации облаков точек с низкой плотностью для решения задачи совместной локализации устройств смешанной реальности. Облака точек получены из пространственной сетки на борту гарнитуры смешанной реальности Microsoft HoloLens. Сетка определяет геометрическое представление реального окружения. Полученные облака имеют низкую плотность точек. Мы сравнили Go-ICP, Bayesian-ICP, Fast Global Registration (FGR), Teaser++ и гибридные методы, объединяющие FGR + ICP и Teaser++ + ICP. Эти методы имеют разные принципы: Go-ICP и Bayesian ICP основаны на анализе точек, а методы FGR и Teaser++ - на анализе признаков. Чтобы объединить преимущества обоих принципов, мы использовали гибридные методы. Мы использовали реализацию FGR и Teaser++, основанную на Fast Feature Point Histogram (FFPH), и сравнили точность в зависимости от параметров FFPH. Сравнение проводилось на наборе данных, содержащем реальные данные, полученные с помощью очков смешанной реальности в нескольких помещениях разного размера. Методы регистрации облаков точек FGR и Teaser++ для совместной локализации устройств смешанной реальности успешно выровняли все пары данных о комнатах. Точность регистрации гибридных методов выше, чем обычных, что позволяет подобрать основной параметр радиуса признака FPFH для оптимизации соотношения точности и времени работы для реальных сценариев использования на устройствах смешанной реальности.

Глава 1 Введение Совместная локализация устройств смешанной реальности (MR) в физическом пространстве является важным условием для многопользовательского опыта или навигации. Совместная локализация MR устройств позволяет нескольким пользователям работать в команде и взаимодействовать друг с другом в совместном пространстве смешанной реальности. Также она позволяет им просматривать и взаимодействовать с общими для всех пользователей виртуальными объектами. Кроме того, совместная локализация устройств открывает возможности для совместного управления роботами в смешанной реальности. Особенностью MR-систем является то, что устройство визуализации строит геометрические пространственные карты окружающей среды для достижения взаимодействия между виртуальными объектами и реальным миром (Рис. 1.1). Геометрическая пространственная карта состоит из набора сеток, которые составляют поверхности окружающего пространства и описывают их положение. Вершины набора сеток представляют собой облако точек.

4 Рис. 1.1: Пространственная карта с MR-устройства Таким образом, каждое устройство смешанной реальности локализуется в своей собственной пространственной карте. Но для того, чтобы добиться совместной локализации устройств, необходимо найти неизвестное преобразование между локальными системами координат устройств, в которых заданы пространственные карты (Рис. 1.2). Совместная локализа- Рис. 1.2: Иллюстрация постановки проблемы

5 ция устройств смешанной реальности (MR) может быть достигнута путем решения проблемы регистрации облака точек. Это возможно потому, что пространственная карта внутреннего пространства может быть представлена в виде облака точек помещения. На рисунке 1.3 показана концепция представления пространственной сетки в облако точек на примере знаменитой модели кролика, в которой набор вершин становится облаком точек. Решение проблемы регистрации облака точек позволяет оценить неизвестное преобразование, что необходимо для совместной локализации устройств. Визуально это можно представить как выравнивание двух облаков точек (рис. 1.4). Рис. 1.3: Представление сетки в виде облака точек Рис. 1.4: Point Cloud Registration on rabbit model example

6 Для решения проблемы регистрации перспективны методы регистрации, основанные на соответствиях. Характеризующие геометрию облака признаковые точки являются основой для построения соответствий между точками в облаках точек. Благодаря наличию признаковых точек, такие методы регистрации имеют более точное сопоставление облаков точек. Кроме того, оптимизация функции потерь на основе соответствий за один проход делает такие методы быстрыми в исполнении по сравнению с итерационными методами регистрации. Основной целью данной работы стала разработка подхода для совместной локализации в помещениях смешанной реальности. Данный подход основан на методах регистрации облаков точек. Поэтому первой основной задачей было проанализировать и сравнить точность, время исполнения методов регистрации облаков точек: Go-ICP, Bayesian-ICP, FGR, Teaser++ на реальных данных различных помещений. Следующей важной задачей было выявление и более детальный анализ влияния параметров методов регистрации облаков точек на точность и время работы для совместной локализации устройств смешанной реальности в помещении. Последней задачей было определение рабочего диапазона параметров, соответствующих условиям времени исполнения и точности для работы в реальных сценариях, описанных в главе методологии. В данной работе мы проанализировали применение методов регистрации облаков точек к задаче совместной локализации MR устройств, оценили производительность четырех глобальных методов регистрации, таких как Go-ICP, Bayesian-ICP, FGR, Teaser++ на реальных данных, полученных с помощью пространственной сетки на MR устройстве. Гибридные методы FGR + ICP и Teaser++ + ICP были предложены для решения про-

7 блемы совместной локализации устройств смешанной реальности, а также предложенный подход может быть использован и для устройств дополненной реальности (AR) соответственно. Гибридные методы были проанализированы и сравнены на синтетических данных, сформированных на основе реальных данных. Также был определен оптимальный рабочий диапазон параметров Fast Point Feature Histogram [1], на которых основаны реализации FGR и Teaser++ для гибридных методов. Гибридные методы делают возможной совместную локализацию устройств смешанной реальности с высокой пространственной точностью и оптимальным временем локализации в реальных сценариях, что дает более точное решение по сравнению с традиционными методами.

Глава 2 Обзор литературы 2.1 Постановка проблемы и обзор решений Проблема локализации устройств смешанной реальности (MR) в фи- зическом пространстве является фундаментальной проблемой для многопользовательского опыта или навигации. Устройства смешанной реальности основаны на технологии смешанной реальности и используют пространственные вычисления для обеспечения взаимодействия с окружающим пространством. Смешанная реальность или также объединенная реальность это слияние виртуальной и реальной сред. В смешанной реальности цифровые и физические объекты сосуществуют в одной среде и могут взаимодействовать друг с другом по сравнению с виртуальной реальностью (VR), где пользователь погружается в цифровой искусственный мир, и дополненной реальностью (AR), которая накладывает цифровые объекты на реальный мир. Хотя смешанная реальность и дополненная реальность считаются синонимами, это, вероятно, потому, что навигационные конструкции часто могут быть применены как к смешанной, так и к дополненной реальности

2.1 Постановка проблемы и обзор решений 9 [2]. Совместная локализация устройств MR позволит группе пользователей работать как одна команда в совместном пространстве смешанной реальности. Кроме того, это позволит им просматривать и взаимодействовать с общими для всех пользователей виртуальными объектами. Совместная локализация устройств открывает возможности для совместного управления и навигации мультироботов в смешанной реальности [3]. Кроме того, была продемонстрирована применимость устройств смешанной реальности для нейро-, кардио-, онкологических и ортопедических хирургических операций [4]—[7]. Следовательно, совместная локализация устройств смешанной реальности может быть полезна для совместного планирования и проведения операций хирургами. Многие решения проблемы локализации MR устройств и AR были получены путем исследования и применения методов компьютерного зрения. Например, решения компьютерного зрения для дополненной реальности (AR) [8], [9] и робототехники [10], [11] основаны на обнаружении особенностей на 2D изображениях, затем проецировании их в 3D пространство и получении 3D облака точек. Это облако точек зависит от типа визуальных 2D особенностей, для получения которых используются SIFT [12]. Кроме того, другие решения компьютерного зрения опираются на отличительные опорные изображения, но требуют постоянного или периодического просмотра опорных изображений для улучшения локализации и могут быть не всегда жизнеспособны в случае многопользовательской совместной локализации [13], [14]. В результате применения подходов компьютерного зрения, другое MR устройство должно иметь камеру того же типа и тот же алгоритм обнаружения признака для совместной локализации. Это накла-

2.2 Методы регистрации облаков точек 10 дывает ограничения на устройства, которые мы можем совместно локализовать в пространстве. Например, если карта была построена на основе лидарных данных iPad Pro, то локализовать это устройство с помощью HoloLens невозможно, поскольку облака точек имеют другую природу. Поэтому необходимо использовать другой подход. Особенностью MR-систем является то, что устройство визуализации строит геометрические пространственные карты окружающей среды для достижения взаимодействия между виртуальными объектами и реальным миром. Примерами таких устройств являются HoloLens, Magic Leap, iPad Pro. Существуют также решения для получения пространственной сетки на основе моноизображения, например, ATLAS[15] или 6D.AI[16]. Соответственно, возможна совместная локализация устройств на основе данных пространственной сетки. Совместная локализация выполняется в облаке, и данные для локализации передаются по сети, что накладывает ограничение на объем данных. Однако пространственные сетки имеют большой объем данных для передачи, поэтому мы можем взять только вершины этой сетки. В результате получается облако точек с низкой плотностью, которое описывает геометрическое пространство вокруг MR устройства. 2.2 Методы регистрации облаков точек Наиболее перспективный подход к решению проблемы совместной от- носительной локализации для MR устройств может быть основан на использовании решения задачи регистрации облаков точек. В результате не имеет значения, как была построена пространственная сетка, поскольку она описывает только единую геометрию пространства.

2.2 Методы регистрации облаков точек 11 Совместную локализацию на основе этого подхода можно выполнять с низкой частотой, поскольку карта обновляется на устройстве каждые несколько секунд. Соответственно, регистрация может выполняться раз в минуту или реже. Поэтому не требуется высоких требований к скорости работы. Однако точность регистрации должна быть максимальной и зависеть от точности карты. Например, точность карты HoloLens составляет около 2 см [17]. Проблема регистрации облаков точек в трехмерном пространстве является одной из фундаментальных проблем робототехники и компьютерного зрения. Задача состоит в том, чтобы найти преобразование вращения и трансляции, при применении которого к точкам одного из облаков точек выравнивает или другими словами сопоставляет их. Облака точек располагаются относительно начала координат собственной системы координат устройства. Соответственно, при регистрации облаков точек вычисляется преобразование между системами координат устройств, что решает проблему совместной локализации. В данной работе мы сравниваем, какие методы регистрации облаков точек подходят для решения проблемы совместной локализации MR устройств, а также хотим понять, какие параметры алгоритма определяют максимальную точность и временную эффективность регистрации. Для решения этой задачи существует множество алгоритмов. Одним из наиболее часто используемых подходов для регистрации облаков точек является Iterative Closest Point (ICP)[18]. Это точный метод регистрации, отличающийся простотой и эффективностью. Но он зависит от хорошего начального предположения для неизвестного преобразования, поскольку ICP имеет тенденцию сходиться к локальному минимуму. Хотя некоторые

2.2 Методы регистрации облаков точек 12 варианты ICP [19]—[22] предлагают использовать робастные функции стоимости для улучшения сходимости, но это все еще локальные методы, и они не дают гарантии глобальной сходимости. Как правило, облака точек от нескольких устройств имеют большое относительное смещение, а ошибка поворота может быть близка к 360 градусам для одного из углов Эйлера. Поэтому для решения задачи совместной локализации устройств смешанной реальности в этом случае необходимо использовать глобальные методы регистрации, которые не зависят от хорошей инициализации. Globally Optimal ICP (Go-ICP) [23] - еще один метод регистрации, обеспечивающий оптимальное глобальное решение без начального предположения и основанный на хорошо известной теории Branch-and-Bound (BnB) для глобальной оптимизации [23]. В дополнение к детерминированным подходам регистрации облаков точек, существует также вероятностный подход, такой как алгоритм Bayesian-ICP [24]. Bayesian-ICP объединяет стохастическую оптимизацию и динамику Ланжевена [25]—[28]. Он позволяет выполнять оптимизацию на основе стохастического градиентного спуска для оценки распределения позы. Методы регистрации на основе соответствий являются наиболее привлекательными, поскольку они позволяют проводить оптимизацию глобальной целевой функции за один проход по сравнению с итерационными подходами. Это преимущество делает их быстрыми для регистрации облаков точек. Fast Global Registration (FGR) [29] и Teaser++ [30] являются наиболее перспективными методами регистрации на основе соответствий. Они используют инвариантные к поворотам и трансляциям дескрипторы признаков для построения соответствий. Оптимизация глобальной объективной функции призвана отбросить из расчета соответствия-выбросы, но

2.2 Методы регистрации облаков точек 13 точность и время выполнения таких методов регистрации также зависят от количества и качества правильно построенных соответствий на основе признаковых точек. 3D дескрипторы локальных признаков часто используются для описания локальной геометрии вокруг некоторой точки в облаке точек. Наиболее часто используемым и классическим дескриптором признаков является Fast Point Feature Histogram (FPFH), поскольку он имеет низкое время извлечения признаков и достаточную описательность [31]. FPFH классифицируется как алгоритм, основанный на Rotation-Invariant Metrics (RIM). Spin Image (SI) [32], Log-Polar Height Map (LPHM) [33] также являются некоторыми локальными дескрипторами, основанными на RIM. Они имеют высокую размерность дескриптора и время извлечения: более нескольких секунд соответственно, что ограничивает их применимость. Другой класс 3D локальных дескрипторов основан на локальной системе отсчета (LRF). В последние годы дескрипторы на основе LRF стали предметом исследований, поскольку они более описательны, так как сохраняют исходную информацию о вращении и устойчивы к окклюзии и помехам. Некоторые алгоритмы на основе LRF - это Signature of Histograms of OrienTations (SHOT) [34], Rotational Projection Statistics (RoPS) [35], [36], Triple Orthogonal Local Depth Images (TOLDI) [37], но они страдают от временных затрат на извлечение и слабой компактности, что увеличивает время построения соответствий. Среди последних алгоритмов, основанных на LRF, 16-мерный 3D локальный дескриптор на основе взвешенного изображения высоты (WHI16) оказался более эффективным по времени извлечения и компактным по сравнению с перечисленными выше дескрипторами. WHI16 можно рассматривать как улучшение методов регистрации на основе соответствий

2.3 Обзор исследуемых методов регистрации 14 вместо FPFH, поскольку дескриптор FPFH требует больше времени, особенно для крупномасштабных облаков точек. Дескрипторы характеристик продолжают совершенствоваться, в том числе с использованием нейронных сетей и по сей день. 2.3 Обзор исследуемых методов регистрации В этом разделе мы рассмотрим фундаментальные основы исследу- емых алгоритмов и их возможности. В задаче регистрации даны два 3D 3 M облака точек A = {ai }N i =1 источник и B = {bi }i =1 цель с ai , bi ∈ R . 2.3.1 Standard-ICP Этот алгоритм решает задачу регистрации L2 -нормы для оценки жесткого движения, такого как вращение R ∈ SO(3) и трансляция t ∈ R3 между исходным A и целевым B облаками точек, что минимизирует объективную L2 -функцию ошибки: E (R, t) = N X kRai + t − bk ∗ k2 , (2.1) i =1 где ai - i точка исходного облака , а bk ∗ - ближайшая точка целевого облака к преобразованной ai -точке, а именно: k ∗ = argmin kRai + t − bk k. (2.2) k ∈1,...,M Определенная L2 -ошибка является невыпуклой, поскольку существуют невыпуклые ограничения. Стандартный алгоритм ICP решает эту задачу итерационно, чередуя оценку преобразования (2.1) и поиск ближайших

2.3 Обзор исследуемых методов регистрации 15 соответствий точек (2.2). Но это гарантирует сходимость только к локальному минимуму[18]. 2.3.2 Go-ICP Для поиска глобального решения авторы метода Go-ICP используют алгоритм BnB (Branch-and-Bound)[38], расширяющий поиск трехмерного движения SE (3) = SO(3) × R3 . Авторы применяют параметризацию домена, которая компактно представляет пространство поиска 3D вращения в виде плотного шара радиусом π в R3 , а для трансляционной части домен представлен в виде ограниченного куба [−ξ, ξ] (Рис. 2.1). (a) Домен вращения (b) Домен трансляции Рис. 2.1: (a) Пространство вращения SO(3) параметризовананое в шаре радиуса π. (b) Предполагается, что решение трансляции лежит внутри куба с параметрами [−ξ, ξ]3 [23]. Также они ограничивают L2 -норму функции ошибки [23]. Параметризация домена и граничные функции позволяют применить BnB-поиск к задаче (2.1). В итоге, метод Go-ICP представляет собой интеграцию двух основных процессов: глобального BnB поиска и локального ICP поиска, которые помогают друг другу достичь глобального минимума функции цели (2.1), как показано на рисунке 2.2.

2.3 Обзор исследуемых методов регистрации 16 Рис. 2.2: Чередование BnB и ICP до схождения к глобальному минимуму [23]. 2.3.3 Bayesian-ICP Для получения метода ICP, который может оценить распределение позы, Bayesian-ICP объединяет идеи из стохастического градиентного спуска ICP (SGD-ICP)[39] и стохастической градиентной динамики Ланжевена (SGLD)[28]. SGD-ICP использует стохастический градиентный спуск для решения задачи оптимизации ICP (2.1). Для каждой итерации вместо полного облака точек формируются небольшие мини-пакеты Mk из исходного облака и ассоциируются с ближайшими точками в целевом облаке, как в стандартном ICP алгоритме. Таким образом, SGD-ICP определяет правило обновления для 6 параметров преобразования ϑ: ϑk +1 = ϑk − αA~g (ϑk , Mk ), (2.3) где α - скорость обучения, A ∈ R6×6 выступает в качестве предварительного условия, а ~g - градиент целевой функции ошибки (2.1). Идея SGLD состоит в том, чтобы добавить нужное количество шума в SGD оптимизацию, что позволяет сходиться к апостериорному распределению обновляемого параметра в правиле обновления. Поэтому общее правило обновления SGD-ICP (2.3) модифицируется добавлением гауссовского шума ηk ∼ N (0, Aα) и

2.3 Обзор исследуемых методов регистрации 17 априорного распределения p(ϑ) над параметрами преобразования θ, поэтому общее правило обновления для Bayesian-ICP становится: ϑk +1 α = ϑk − A − ∇ log p(ϑk ) + N~g (ϑk , Mk ) + ηk , 2 (2.4) где N - размер облака точек, а ∇ log p(ϑk ) - градиент для априорного распределения. 2.3.4 Fast Point Feature Histograms Следующие два метода регистрации основаны на построении соответствий благодаря дескрипторам признаков, таким как Fast Point Feature Histograms. Fast Point Feature Histograms [1] - это 33-мерный локальный дескриптор, который описывает локальную геометрию пространства вокруг точки в 3D облаке точек. Этот дескриптор представляет собой упрощенную версию Point Feature Histograms (PFH), но сохраняет дискриминационную способность PFH и может быть вычислен за миллисекунды времени [31], благодаря вычислительной сложности алгоритма O(k ) по сравнению с O(k 2 ) для PFH. Вычисление признака точки a в FPFH делится на два этапа. На первом этапе для каждой точки рассчитывается упрощенная гистограмма характеристик точки (SPFH), основанная на PFH, для ее k соседей. На втором этапе вычисляется итоговая гистограмма точки a следующим образом: k 1 X SPFH (ai ) FPFH (a) = SPFH (a) + k i =1 ωi (2.5) где ωi - вес, представляющий расстояние между точкой a и соседней точкой ai . Признаковые точки FPFH эффективны для построения соответствия

2.3 Обзор исследуемых методов регистрации 18 между точками в облаке точек. 2.3.5 Fast Global Registration Для каждой точки a в исходном облаке A и каждой точки b в целевом облаке точек B извлекаются признаковые точки. Тогда F(B) - это множество исходных точек, а F(A) - множество целевых точек. Алгоритм FGR принимает входные соответствия между исходным облаком точек и целевым облаком точек с помощью признаковых точек. Advanced matching [29] - это метод, который используется для построения этих соответствий, а также для отсеивания частично неправильных пар. Он состоит из 3 шагов. Первый шаг: построение набора пар точек KI путем вычисления ближайших соседей между точками F(B) и F(A). Второй и третий шаги: примените тест на взаимность для KI , чтобы получить KII и тест на кортеж для KII , чтобы получить KIII [29]. Таким образом, чтобы найти матрицу преобразования, которая выравнивает два облака точек, решается оптимизационная задача со следующей целевой функцией: E (T) = P (b,a)∈KIII ρ(kb − Tak), (2.6) где ρ - штрафной член. Эта функция очень важна, так как хорошо подобранный штраф позволяет быстро провести валидацию и отсеять плохие соответствия без повторных вычислений во время оптимизации, как в алгоритме Standard-ICP. Авторы используют штрафную функцию оценки Geman-McClure: µ x2 ρ= , µ +x 2 (2.7)

2.3 Обзор исследуемых методов регистрации 19 где x - kb − Tak и µ коэффициент, который управляет формой целевой функции (2.6) и тем, какие и сколько соответствий будут участвовать в оптимизации. Задача оптимизации (2.6) не может быть решена напрямую. Поэтому авторы используют дуальность Black-Rangarajian[40], которая позволяет определить следующую целевую функцию: P E (T, L) = (b,a)∈KIII lb,a kb − Tak2 + p P + (b,a)∈KIII µ( lb,a − 1)2 , (2.8) где L = {lb,a } - линейный процесс над соответствиями. Для минимизации E (T, L) частная производная ∂E /∂lb,a должна быть равна нулю. Для этого lb,a равны: lb,a 2 µ = . µ +kb − Tak2 (2.9) Если подставить lb,a в уравнение (2.8), то целевая функция (2.8) станет (2.6). Это означает, что оптимизация (2.8) оптимизирует целевую функцию (2.6). Преимущество оптимизации целевой функции (2.8) заключается в чрезвычайно эффективном расчете путем чередования и раздельной оптимизации между L и T, а также оптимизация (2.8) гарантирует сходимость целевой функции (2.6). 2.3.6 Teaser++ Как и FGR, Teaser++ принимает в качестве входных пар соответствия исходных и целевых облаков точек. Авторы Teaser++ также используют advance matching [29] для построения соответствий (ai , bi ), i = 1, ...N с помощью извлеченных признаковых точек для каждой точки исходного

2.3 Обзор исследуемых методов регистрации 20 N 3 A = {ai }N i =1 и B = {bi }i =1 целевого облаков точек с ai , bi R . Они также учитывают, что точки облаков содержат некоторый шум измерений и поэтому определяют следующую генеративную модель соответствия (ai , bi ): bi = s ∗ R∗ ai + t∗ + oi + i , (2.10) где s ∗ > 0 - оцениваемый масштаб, R∗ ∈ SO(3), t∗ - оцениваемое вращение и трансляция, и oi - равный нулю вектор, если пара (ai , bi ) является верным соответствием, но если пара (ai , bi ) является выбросом, то oi просто произвольный вектор. Truncated Least Squares (TLS) - оптимизационная задача регистрации формулируется для нахождения неизвестного преобразования между двумя облаками точек: N X 1 2 2 min 2 kbi − sRai − tk , c , β s>0,R∈SO(3)t∈R3 i i =1 (2.11) Эта формулировка позволяет учесть, что набор соответствий имеет экстремальное количество выбросов, а также то, что верные соответвствия имеют неизвестный гауссовский шум, но ограниченный и заданный βi ≥ ki k |. TLS оценивает решение только для измерений, которые имеют небольшие остатки (1/βi2 kbi − sRai − tk2 ≤ c 2 ), поэтому TLS наказывает выбросы, а также выбросы с большими остаточными ошибками. Проблема оптимизации (2.11) является невыпуклой и трудно решаемой напрямую. Но она может быть решена каскадно путем разделения оценок масштаба, вращения и трансляции. Для этого авторы вводят два инвариантных измерения. Translation Invariant Measurement (TIM):

2.3 Обзор исследуемых методов регистрации bij = sRaij + oij + ij , 21 (2.12) где bij , aij oij , ij - разности i и j компонент, например, bij = bi − bj и т.д. TIM зависит только от поворота и масштаба. Translation and Rotation Invariant Measurement (TRIM): sij = s + oijs + sij , (2.13) где sij = kbij k/kaij k, oijs = oij /kaij k, и sij = ij /kaij k. TIM не зависит от вращения и трансляции, а зависит только от масштаба. Другими словами, инвариантные измерения позволяют оценить масштаб, поворот и трансляцию, выполняя следующие 3 шага: 1) использование TRIM для оценки масштаба ŝ; 2) использование TIM и ŝ для оценки вращения R̂; 3) использование R̂ и ŝ для оценки трансляции t̂ из задачи TLS (2.11). В результате для оценки окончательного преобразования решаются три отдельные задачи оптимизации. Оценка масштаба: ŝ = argmin s K X k =1 (s − s )2 k min , c2 . 2 αk (2.14) Здесь sk равно {sij }k , k = 1, ..., K инвариантных измерений, αk = {αij }k = {σij /kaij k}k , σij = βi + βj .

2.3 Обзор исследуемых методов регистрации 22 Оценка вращения: R̂ = argmin K X R∈SO(3) k =1 kb − ŝRa k2 k k min , c2 , 2 σk (2.15) где σk равна {σij }k = {βi + βj }k , а bk = {bij }k , ak = {aij }k соответственно. Оценка трансляции по компонентам: t̂l = argmin tl K X k =1 (s − [b − ŝ R̂a ] )2 k k k , c2 , min 2 βk (2.16) где tl - l -я компонента вектора трансляции и l = 1, 2, 3. Задачи (2.14) и (2.16) решаются за полиномиальное время алгоритмом адаптивного голосования [41]. Оценка вращения TLS (2.15) сводится к узкой полубесконечной задаче релаксации и быстро решается с помощью градуированной невыпуклости [42]. Кроме того, после оценки масштаба используется метод Maximal Clique Inlier Selection (MCIS) [30]. Это позволяет удалить большое количество соответствий-выбросы, что повышает устойчивость к выбросам.

Глава 3 Методология Во-первых, мы оценили процент успешного выравнивания и временную эффективность четырех алгоритмов регистрации облаков точек: Go-ICP, Bayesian-ICP, основанного на итеративном приближении точки и FGR, Teaser++, основанного на соответствии признаков. Во-вторых, FGR и Teaser++ и их гибридная версия с ICP были детально оценены на точность трансляции и поворота, время работы и количество успешных выравниваний на синтетических данных в зависимости от параметров FPFH и уровня шума. Все алгоритмы были реализованы на основе библиотеки облаков точек (PCL)[43]. Для наших экспериментов мы собрали реальный набор данных о пространственных сетках с Microsoft HoloLens (1st gen). Каждый образец был сохранен с портала устройства HoloLens Windows в виде файла .obj. Мы собрали данные из 3 комнат разного размера и обстановки. Построение каждого образца начинается с новой позиции пользователя в комнате после очистки старых данных и перезагрузки устройства. В общей сложности у нас получилось 15 образцов. Первый эксперимент проводился на всем

3.1 Go-ICP, Bayesian-ICP, FGR и Teaer++ на реальных данных 24 наборе данных. Во втором эксперименте для расчета точности мы создали синтетический набор данных. Мы выбрали самый большие образцы облака точек для каждой комнаты и брали несколько частей от каждого выбранного облака точек. Идея синтетических данных заключается в том, чтобы иметь информацию о точном положении облаков точек перед регистрацией. 3.1 Go-ICP, Bayesian-ICP, FGR и Teaer++ на реальных данных Алгоритмы Go-ICP, Bayesian-ICP, FGR и Teaer++ были протести- рованы на реальных данных (облаках точек), полученных с помощью Microsoft HoloLens. Каждый тест проводился со всеми парами образцов для одной и той же комнаты. Поскольку у нас нет информации о реальном положении начала координат облаков точек, мы проверяли выравнивание визуально. На рисунке 3.1 показаны примеры двух ситуаций, когда регистрация облака точек успешна (a) и неуспешна (b). Также было измерено время выполнения регистрации. 3.2 FGR, Teaser++, FGR с ICP и Teaser++ с ICP на синтетических данных FGR, Teaser++ и FGR + ICP, Teaser++ + ICP (гибридные методы) были протестированы на синтетических данных. Каждая пара синтетических облаков точек подготавливалась таким образом, чтобы одно из пары

3.2 FGR, Teaser++, FGR с ICP и Teaser++ с ICP на синтетических данных 25 (a) Успешное выравнивание (b) Неудачное выравнивание Рис. 3.1: Примеры визуально успешных и неуспешных регистраций. Левая половина показывает состояние до регистрации, а правая - после регистрации облаков преобразовывалось известной матрицей преобразования. Известная матрица преобразования задается для каждой пары случайным образом в диапазоне [−90, 90] градусов для части вращения и [−50, 50] см для части трансляции. На синтетических данных были определены ошибка поворота Rerror , ошибка трансляции terror и время выполнения регистрации. Для определения ошибки вращения используются углы крена, тангажа, рысканья, рассчитанные для матрицы трансформации Ta , полученной алгоритмом, и для известной матрицы трансформации Tg :

3.2 FGR, Teaser++, FGR с ICP и Teaser++ с ICP на синтетических данных 26 φ = atan2 (r32 , r33 ), θ = arcsin (−r30 ), (3.1) ψ = atan2 (r21 , r11 ), где rij - элемент ij части вращения в матрице преобразования. Ошибка вращения Rerror определяется как суммарная ошибка углов крена (φerror ), тангажа (θerror ), рысканья (ψerror ): φerror =| φg − φa |, θerror =| θg − θa |, (3.2) ψerror =| ψg − ψa |, Rerror = φerror + θerror + ψerror . Ошибка трансляции terror рассчитывалась следующим образом: terror = p (xg − xa )2 + (yg − ya )2 + (zg − za )2 . (3.3) Алгоритмы FGR и Teaser++, основанные на соответствии признаков, используют процессы извлечения признаков, включая понижающую дискретизацию(downsampling) и оценку нормальности. Эти процессы наиболее выраженно влияют на успешность регистрации. Мы рассчитали метрики для различных радиусов признаков, но для каждого значения радиуса признака сохранили оптимальное соотношение downsampling (rd )/normal (rn )/feature (rf ), равное 3 : 65 : 100. Данное соотношение подбирается экспериментально. При заданном соотношении алгоритмы FGR и Teaser ++ имеют тенденцию к визуальному успешному совмещению облаков точек лучше, чем при других соотношениях. Успешным совмещением двух синтетических облаков точек мы считаем выполнение условия точности:

3.2 FGR, Teaser++, FGR с ICP и Teaser++ с ICP на синтетических данных Rerror ≤ 0.1rad ; terror ≤ 1.0cm. 27 (3.4) Мы протестировали гибридные методы, а также определили оптимальный рабочий диапазон значений параметров FPFH удовлетворяющих условию (3.4) и времени исполнения менее 5 секунд. Гибридный подход объединяет FGR и Teaser++ как методы грубой регистрации и ICP как алгоритм локального уточнения Также мы предложили другое условие точности для FGR и Teaser++: Rerror ≤ 0.1rad ; terror ≤ rd . (3.5) Условие (3.5) учитывает влияние эффекта понижающей дискретизации точек на точность выравнивания пар облаков точек. Кроме того, методы FGR и Teaser++ и их гибридные версии были оценены на устойчивость к гауссовскому шуму. Может быть важно иметь методы регистрации, устойчивые к шуму. В дополнение, продемонстрирована реализация гибридных методов для устройств смешанной реальности Microsoft HoloLens в типовом сценарии, а именно совместная работа и манипуляция виртуальными объектами в едином пространстве двух пользователей.

Глава 4 Результаты В этой главе мы показываем результаты двух частей экспериментов по сравнению методов регистрации облака точек на данных, собранных с устройств смешанной реальности. 4.1 Go-ICP, Bayesian-ICP, FGR и Teaer++ на реальных данных Доля успешных Среднее время выравниваний (%) выполнения (мс) Go-ICP 62.5 35072 Bayesion-ICP 87.5 9296 FGR 100 492 Teaser++ 100 536 Метод Таблица I: Результаты сравнения Go-ICP, Bayesian-ICP, FGR, Teaser++ на реальных данных Таблица I показывает процент успеха всех пар облаков точек, которые были выровнены для каждого метода регистрации. Выравнивание

4.2 FGR против Teaser++ на синтетических данных 29 было проверено вручную путем визуального контроля. Алгоритмы FGR и Teaser++ визуально выровняли все протестированные случаи на реальном наборе данных, а Go-ICP и Bayesian-ICP только часть из них. Четыре алгоритма регистрации используют понижающую дискретизацию облаков точек, что существенно влияет на время выполнения. Поэтому для сравнения временной эффективности четырех методов регистрации, каждый метод имел схожую степень дискретизации облаков точек. Таблица I показывает временную эффективность четырех методов регистрации. Среднее время работы FGR и Teaser++ составляет 439 мс и 536 мс, соответственно, что в 18 раз быстрее, чем Bayesian-ICP и в 70 раз быстрее, чем Go-ICP. 4.2 FGR против Teaser++ на синтетических данных Рисунок 4.1(a)-(c) показывает сравнение ошибок вращения и транс- ляции, а также временную эффективность методов регистрации FGR и Teaser++ для различных радиусов признаков. На Рисунке 4.2 показан процент успешной регистрации, где подтверждается условие точности (3.4) в зависимости от радиуса выделения признаков. Значения показателей успешной регистрации для методов FGR и Teaser++ приведены в таблице II. Показано, что процент успешных регистраций для обоих методов не превышает 50 процентов.

4.2 FGR против Teaser++ на синтетических данных Условие точности Метод Rerror ≤ 0.1rad , terror ≤ 1cm Rerror ≤ 0.1rad , terror ≤ rd 35 FGR 45.6 Teaser++ 50.0 FGR+ICP 93.3 Teaser+ICP 93.3 FGR 95.6 Teaser++ 95.6 Радиус 50 75 21.1 2.2 16.7 3.3 93.3 86.7 93.3 83.3 96.7 91.1 96.7 91.1 30 признака (см) 100 150 200 250 1.1 0.0 0.0 0.0 0.0 0.0 0.0 0.0 64.4 31.1 8.9 0.0 63.3 16.7 10.0 0.0 83.3 57.8 37.8 21.1 70.0 46.7 45.6 16.7 Таблица II: Процент успешных регистраций на FGR, Teaser ++ по сравнению с FGR и Teaser ++ с ICP на синтетических данных. (a) Угловая оценка (b) Оценка трансляции (c) Оценка времени выполнения Рис. 4.1: Сравнение ошибок вращения, ошибок перевода и времени выполнения для алгоритмов FGR, Teaser++ против FGR и Teaser++ с ICP 4.2.1 Гибридные методы . Сравнение ошибок вращения и трансляции, а также времени работы методов FGR, Teaser++, FGR + ICP и Teaser++ + ICP в зависимости от

4.2 FGR против Teaser++ на синтетических данных 31 Рис. 4.2: Процент успешных выравниваний парных облаков точек для FGR, Teaser++ по сравнению с FGR + ICP и Teaser++ + ICP радиуса признака показано на Рисунке 4.1(a)-(b). Точность вращения и транслляции для гибридных методов FGR + ICP, Teaser++ + ICP на 4 порядка лучше, чем для FGR и Teaser для радиуса признака менее 100 см. Рисунок 4.2 показывает процент успешных регистраций, когда условие (3.4) в зависимости от радиуса признака. Значения доли успешных регистраций показаны в таблице II. 4.2.2 Оптимальные параметры признаков . Определение оптимальных диапазонов радиусов признаков для FGR с ICP и Teaser++ с ICP показано на Рисунках 4.3 и 4.4. Горизонтальные пороговые значения на рисунках соответствуют условию точности 3.4 и времени работы менее 5 секунд. Черные вертикальные линии на рисунках показывают максимальную и минимальную границы допустимых значений для радиуса признака. Черная вертикальная линия на рисунках проходит через точку пересечения порога и верхней границы допустимого значения для соответствующей метрики. Таблица III показывает определенные из Рис. 4.3, 4.4 оптимальные диапазоны радиусов признаков.

4.2 FGR против Teaser++ на синтетических данных 32 Оптимальный радиус признака (см) мин макс FGR + ICP 60 76 Teaser++ + ICP 70 74 Метод Таблица III: Оптимальный диапазон радиуса признака для FGR и Teaser++ (a) Оценка вреащения и времени выпол- (b) Оценка трансляции в времени выполнения нении Рис. 4.3: Ошибка вращения и трансляции, эффективность времени выполнени для FGR с ICP. Порог удовлетворяет условию точности (3.4) и времени выполнения менее 5 сек. 4.2.3 Влияние шума . Мы использовали условие точности (3.4) для оценки влияния гауссовского шума на успешность выравнивания. На Рисунке 4.5 показаны результаты для различных амплитуд шума и различных радиусов признаков для гибридных методов. Амплитуда шума менее 2 см не влияет на успешное выравнивание. Мы также провели аналогичные эксперименты для FGR и Teaser++. Традиционные методы показали стабильность при шуме менее 5 см.

4.3 Демонстрация примера реализации гибридных методов в типовом сценарии 33 (a) Оценка вреащения и времени выпол- (b) Оценка трансляции в времени выполнения нении Рис. 4.4: Ошибка вращения и трансляции, эффективность времени выполнени для Teaser++ с ICP. Порог удовлетворяет условию точности (3.4) и времени выполнения менее 5 сек. 4.3 Демонстрация примера реализации гибридных методов в типовом сценарии В этом сценарии два пользователя устройств смешанной реальности находятся в одной комнате. Каждый из них некоторое время ходил по комнате, чтобы устройство смешанной реальности построило пространственную карту окружающего пространства. Затем они совместно локализовались с помощью гибридного метода регистрации и встали друг напротив друга. Далее один из пользователей создал два виртуальных куба. На Рисунке 4.6 показано, что видит каждый пользователь и как два пользователя поочередно манипулируют виртуальным кубом. Первый пользователь перемещает куб на Рисунке 4.6(a, b). Второй пользователь перемещает куб, а затем кладет его на другой куб на Рисунке 4.6(g, h).

4.3 Демонстрация примера реализации гибридных методов в типовом сценарии 34 (a) Успех регитрации FGR + ICP в сравнени с шумом (b) Успех регистрации Teaser++ + ICP в сравнени с шумом Рис. 4.5: Оценка влияния гауссовского шума на успешность выравнивания парных облаков точек для методов регистрации FGR + ICP и Teaser++ + ICP, удовлетворяющих условию (3.4).

4.3 Демонстрация примера реализации гибридных методов в типовом сценарии 35 (a) 1 сек (b) 3 сек (c) 7 сек (d) 12 сек (e) 1 сек (f ) 3 сек (g) 7 сек (h) 12 сек Рис. 4.6: Кадры видео в разные моменты времени в секундах. Первая строка показывает кадры получены с MR-устройства 1-го пользователя. Вторая строка показывает необработанные кадры - с другого MR-устройства второго пользователя.

Глава 5 Анализ и обсуждение результатов Сравнение методов регистрации Go-ICP, Bayesian-ICP, FGR, Teaser++ на реальных данных показало превосходство методов FGR и Teaser++, основанных на анализе признаков, в успешности выравнивания и времени выполнения регистрации по сравнению с Go-ICP и Bayesian-ICP, основанными на анализе точек. Значительное время работы и низкая вероятность успешного выравнивания не позволяют использовать GoICP и Bayesian-ICP для совместной локализации MR устройств. FGR и Teaser++ сопоставляют облака точек из пространственной сетки с одинаково высокой вероятностью успеха. Рисунок 4.1(c) показывает, что Teaser++ имеет тенденцию к более быстрому увеличению времени работы, чем FGR из-за большего количества признаковых точек. Меньший радиус признака дает большее количество признаковых точек. Эта тенденция происходит потому, что Teaser++ состоит из подмножества алгоритмов, таких как Decoupled estimations и

37 Max clique, которые увеличивают время выполнения, особенно для больших облаков точек. Успешность регистрации методов FGR и Teaser++ в соответствии с условиями точности (3.4), (3.5) и при визуальной проверки регстрации дает разные результаты. Это означает, что методы регистрации дают удовлетворительные, но не точные результаты для совместной локализации MR устройств. С одной стороны, точность методов зависит от радиуса признака, поскольку облака точек подвергаются понижающей дискретизации для извлечения признаков. Радиус признака и степень понижающей дискретизации связаны жестким соотношением 3:100. С другой стороны, при меньшем радиусе признака требуется много времени для регистрации. Мы оценили гибридный метод, включающий ICP как локальное уточнение. Использование ICP в качестве последнего шага регистрации должно уменьшить влияние понижающей дискретизации на конечную точность, поскольку ICP применяется к облакам точек без понижающей дискретизации. Рисунок 4.1(a)-(b) показывает, что ICP позволяет увеличить точность на 4 порядка для радиуса признака менее 100 см. Хотя медиана времени выполнения увеличилась для гибридных алгоритмов в 2 раза, т.е. использование ICP стало оказывать основное влияние на время выполнения, рисунок 4.1(c). Также ICP помог значительно увеличить процент успешной регистрации по условию (3.4) (Рис. 4.2 и таблица II). Полученные результаты показывают, что гибридные методы FGR + ICP и Teaser++ + ICP могут быть использованы для совместной локализации MR устройств. Требования к оптимальному параметру признака для сопоставления облаков точек должны быть согласованы, чтобы удовлетворять условию (3.4), а время выполнения регистрации должно быть менее 5 секунд. Как

38 показано в таблице III оптимальные диапазоны радиусов признаков равны [60, 76] для FGR + ICP и [70, 74] для Teaser++ + ICP. Оценка устойчивости к амплитудному шуму показала, что амплитудный шум менее 2 см (рис. 4.5) не оказывает существенного влияния на качество регистрации для FGR и Teaser++ с ICP. FGR и Teaser++ более устойчивы к шуму. Реализация гибридных методов в типовом сценарии продемонстрировала отличную визуальную синхронизацию (совместную локализацию) устройств смешанной реальности в единном окружающем пространстве и возможность совместной работы пользователей, взаимодействия с общими виртуальными объектами в смешанной реальности.

Глава 6 Заключение Мы оценили четыре метода регистрации облаков точек Go-ICP, Bayesian-ICP, FGR, Teaser++ на реальных облаках точек помещений, полученных с помощью MR-устройства Microsoft HoloLens . Среди четырех методов FGR и Teaser++ показали миллисекундное время выполнения и высокую вероятность успешного выравнивания по сравнению с Go-ICP, Bayesian-ICP. На синтетических данных было показано, что гибридные методы FGR + ICP и Teaser++ + ICP могут быть использованы для совместной локализации нескольких MR устройств в помещении с точностью поворота 0.1 рад, точностью трансляции 1 см и временем выполнения совместной локализации менее 5 секунд. Также был определен оптимальный рабочий диапазон параметров FPFH для гибридных методов FGR + ICP и Teaser++ + ICP, чтобы использовать их для совместной локализации устройств смешанной реальности. В дальнейших работах мы хотели бы расширить подход для совместной локализации роботов и устройств смешанной реальности в одном пространстве, в больших предварительно построенных и помеченных картах для MR-навигации.

Список литературы [1] R. B. Rusu, N. Blodow и M. Beetz, «Fast point feature histograms (FPFH) for 3D registration,» в 2009 IEEE international conference on robotics and automation, IEEE, 2009, с. 3212—3217. [2] B. J. Park, S. J. Hunt, C. Martin III, G. J. Nadolski, B. J. Wood и T. P. Gade, «Augmented and mixed reality: technologies for enhancing the future of IR,» Journal of Vascular and Interventional Radiology, 2020. [3] J. P. L. S. de Almeida, R. T. Nakashima, F. Neves-Jr, A. S. de Oliveira и L. V. R. de Arruda, «Autonomous navigation of multiple robots with sensing and communication constraints based on mixed reality,» Journal of Control, Automation and Electrical Systems, т. 31, № 5, с. 1165—1176, 2020. [4] O. M. Tepper, H. L. Rudy, A. Lefkowitz, K. A. Weimer, S. M. Marks, C. S. Stern и E. S. Garfein, «Mixed reality with HoloLens: where virtual reality meets augmented reality in the operating room,» Plastic and reconstructive surgery, т. 140, № 5, с. 1066—1070, 2017. [5] H. Brun, R. A. B. Bugge, L. Suther, S. Birkeland, R. Kumar, E. Pelanis и O. J. Elle, «Mixed reality holograms for heart surgery planning: first

СПИСОК ЛИТЕРАТУРЫ 41 user experience in congenital heart disease,» European Heart JournalCardiovascular Imaging, т. 20, № 8, с. 883—888, 2019. [6] F. Incekara, M. Smits, C. Dirven и A. Vincent, «Clinical feasibility of a wearable mixed-reality device in neurosurgery,» World neurosurgery, т. 118, e422—e427, 2018. [7] J. T. Verhey, J. M. Haglin, E. M. Verhey и D. E. Hartigan, «Virtual, augmented, and mixed reality applications in orthopedic surgery,» The International Journal of Medical Robotics and Computer Assisted Surgery, т. 16, № 2, e2067, 2020. [8] G. Klein и D. Murray, «Parallel tracking and mapping on a camera phone,» в 2009 8th IEEE International Symposium on Mixed and Augmented Reality, IEEE, 2009, с. 83—86. [9] R. Paucher и M. Turk, «Location-based augmented reality on mobile phones,» в 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops, IEEE, 2010, с. 9—16. [10] M. Cummins и P. Newman, «FAB-MAP: Probabilistic localization and mapping in the space of appearance,» The International Journal of Robotics Research, т. 27, № 6, с. 647—665, 2008. [11] R. Dubé, D. Dugas, E. Stumm, J. Nieto, R. Siegwart и C. Cadena, «Segmatch: Segment based loop-closure for 3d point clouds,» arXiv preprint arXiv:1609.07720, 2016. [12] T. Lindeberg, «Scale invariant feature transform,» 2012. [13] A. Mulloni, H. Seichter и D. Schmalstieg, «Indoor navigation with mixed reality world-in-miniature views and sparse localization on mobile

СПИСОК ЛИТЕРАТУРЫ 42 devices,» в Proceedings of the International Working Conference on Advanced Visual Interfaces, 2012, с. 212—215. [14] A. Möller, M. Kranz, R. Huitl, S. Diewald и L. Roalter, «A mobile indoor navigation system interface adapted to vision-based localization,» в Proceedings of the 11th international conference on mobile and ubiquitous multimedia, 2012, с. 1—10. [15] Z. Murez, T. van As, J. Bartolozzi, A. Sinha, V. Badrinarayanan и A. Rabinovich, «Atlas: End-to-end 3d scene reconstruction from posed images,» arXiv preprint arXiv:2003.10432, 2020. [16] «6D.AI,» https://www.6d.ai/, 2020. [17] K. Khoshelham, H. Tran и D. Acharya, «Indoor mapping eyewear: geometric evaluation of spatial mapping capability of hololens,» 2019. [18] P. J. Besl и N. D. McKay, «Method for registration of 3-D shapes,» в Sensor fusion IV: control paradigms and data structures, International Society for Optics и Photonics, т. 1611, 1992, с. 586—606. [19] S. Granger и X. Pennec, «Multi-scale EM-ICP: A fast and robust approach for surface registration,» в European Conference on Computer Vision, Springer, 2002, с. 418—432. [20] L. Maier-Hein, A. M. Franz, T. R. Dos Santos, M. Schmidt, M. Fangerau, H.-P. Meinzer и J. M. Fitzpatrick, «Convergent iterative closest-point algorithm to accomodate anisotropic and inhomogenous localization error,» IEEE transactions on pattern analysis and machine intelligence, т. 34, № 8, с. 1520—1532, 2011.

СПИСОК ЛИТЕРАТУРЫ 43 [21] D. Chetverikov, D. Stepanov и P. Krsek, «Robust Euclidean alignment of 3D point sets: the trimmed iterative closest point algorithm,» Image and vision computing, т. 23, № 3, с. 299—309, 2005. [22] S. Kaneko, T. Kondo и A. Miyamoto, «Robust matching of 3D contours using iterative closest point algorithm improved by M-estimation,» Pattern Recognition, т. 36, № 9, с. 2041—2047, 2003. [23] J. Yang, H. Li, D. Campbell и Y. Jia, «Go-ICP: A globally optimal solution to 3D ICP point-set registration,» IEEE transactions on pattern analysis and machine intelligence, т. 38, № 11, с. 2241—2254, 2015. [24] F. A. Maken, F. Ramos и L. Ott, «Estimating Motion Uncertainty with Bayesian ICP,» в 2020 IEEE International Conference on Robotics and Automation (ICRA), IEEE, 2020, с. 8602—8608. [25] C. Li, C. Chen, D. Carlson и L. Carin, «Preconditioned stochastic gradient Langevin dynamics for deep neural networks,» в Proceedings of the AAAI Conference on Artificial Intelligence, т. 30, 2016. [26] R. M. Neal, Bayesian learning for neural networks. Springer Science & Business Media, 2012, т. 118. [27] R. M. Neal и др., «MCMC using Hamiltonian dynamics,» Handbook of markov chain monte carlo, т. 2, № 11, с. 2, 2011. [28] M. Welling и Y. W. Teh, «Bayesian learning via stochastic gradient Langevin dynamics,» в Proceedings of the 28th international conference on machine learning (ICML-11), Citeseer, 2011, с. 681—688. [29] Q.-Y. Zhou, J. Park и V. Koltun, «Fast global registration,» в European Conference on Computer Vision, Springer, 2016, с. 766—782.

СПИСОК ЛИТЕРАТУРЫ 44 [30] H. Yang, J. Shi и L. Carlone, «Teaser: Fast and certifiable point cloud registration,» IEEE Transactions on Robotics, 2020. [31] Y. Guo, M. Bennamoun, F. Sohel, M. Lu, J. Wan и N. M. Kwok, «A comprehensive performance evaluation of 3D local feature descriptors,» International Journal of Computer Vision, т. 116, № 1, с. 66—89, 2016. [32] A. E. Johnson и M. Hebert, «Using spin images for efficient object recognition in cluttered 3D scenes,» IEEE Transactions on pattern analysis and machine intelligence, т. 21, № 5, с. 433—449, 1999. [33] T. Masuda, «Log-polar height maps for multiple range image registration,» Computer Vision and Image Understanding, т. 113, № 11, с. 1158—1169, 2009. [34] S. Salti, F. Tombari и L. Di Stefano, «SHOT: Unique signatures of histograms for surface and texture description,» Computer Vision and Image Understanding, т. 125, с. 251—264, 2014. [35] Y. Guo, F. Sohel, M. Bennamoun, M. Lu и J. Wan, «Rotational projection statistics for 3D local surface description and object recognition,» International journal of computer vision, т. 105, № 1, с. 63—86, 2013. [36] Y. Guo, F. A. Sohel, M. Bennamoun, J. Wan и M. Lu, «RoPS: A local feature descriptor for 3D rigid objects based on rotational projection statistics,» в 2013 1st International Conference on Communications, Signal Processing, and their Applications (ICCSPA), IEEE, 2013, с. 1—6. [37] J. Yang, Q. Zhang, Y. Xiao и Z. Cao, «TOLDI: An effective and robust approach for 3D local shape description,» Pattern Recognition, т. 65, с. 175—187, 2017.

СПИСОК ЛИТЕРАТУРЫ 45 [38] D. R. Morrison, S. H. Jacobson, J. J. Sauppe и E. C. Sewell, «Branch-andbound algorithms: A survey of recent advances in searching, branching, and pruning,» Discrete Optimization, т. 19, с. 79—102, 2016. [39] F. A. Maken, F. Ramos и L. Ott, «Speeding up iterative closest point using stochastic gradient descent,» в 2019 International Conference on Robotics and Automation (ICRA), IEEE, 2019, с. 6395—6401. [40] M. J. Black и A. Rangarajan, «On the unification of line processes, outlier rejection, and robust statistics with applications in early vision,» International journal of computer vision, т. 19, № 1, с. 57—91, 1996. [41] H. Yang и L. Carlone, «A polynomial-time solution for robust registration with extreme outlier rates,» arXiv preprint arXiv:1903.08588, 2019. [42] H. Yang, P. Antonante, V. Tzoumas и L. Carlone, «Graduated nonconvexity for robust spatial perception: From non-minimal solvers to global outlier rejection,» IEEE Robotics and Automation Letters, т. 5, № 2, с. 1127—1134, 2020. [43] «Point Cloud Library (PCL),» https://pointclouds.org/, 2020.

Рецензии:

Авторизуйтесь, чтобы добавить рецензию

- у работы пока нет рецензий -

Отзывы:

Авторизуйтесь, чтобы оставить отзыв