САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
Кафедра компьютерного моделирования и многопроцессорных систем
специальность 05.13.18 – математическое моделирование, численные методы и комплексы программ
Ялов Александр Леонидович
Выпускная квалификационная работа:
Задача стабилизации видеопотока камеры видеонаблюдения
научный руководитель:
д.т.н., профессор
Дегтярёв А.Б.
рецензент:
д.т.н., профессор
Шичкина Ю. А.
Санкт-Петербург
2016
Содержание
1 Введение
3
1.1 Актуальность темы . . . . . . . . . . . . . . . . . . . . . . . .
3
1.2 Степень разработанности темы в литературе . . . . . . . . .
3
1.3 Цель, и объект исследования . . . . . . . . . . . . . . . . . .
7
2 Основная часть
8
2.1 Допущения . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
2.2 Общие соображения . . . . . . . . . . . . . . . . . . . . . . .
8
2.3 Разностный метод . . . . . . . . . . . . . . . . . . . . . . . .
9
2.4 Метод особых точек . . . . . . . . . . . . . . . . . . . . . . .
10
2.5 Конструирование сети . . . . . . . . . . . . . . . . . . . . . .
14
2.6 Краткий отчет по проделанной в рамках научного исследования работе . . . . . . . . . . . . . . . . . . . . . . . . . . .
3 Выводы
16
17
3.1 Формулировка результатов . . . . . . . . . . . . . . . . . . .
17
3.2 Рекомендации по применению результатов . . . . . . . . . .
17
3.3 Дальнейшие направления исследований в данной области . .
17
3.4 Список литературы . . . . . . . . . . . . . . . . . . . . . . .
17
4 Приложение A
20
2
1
Введение
1.1
Актуальность темы
Методы улучшения качества видео привлекают в последние годы все больший интерес. Видеосъемка и видеофиксация становятся все более и более вездесущими за счет снижения стоимости и порога вхождения. Однако
неожиданные колебания в видеопоследовательности значительно ослабляют полезность видеофиксации. Устранением подобных недочётов видео и
занимается задача предобработки данных, которая, таким образом, первична о области видеоаналитики. Устранением данных колебаний видеопоследовательности занимается задача стабилизации. В последние десятилетия многочисленные исследования были проведены в области стабилизации видео. Ее основная цель заключается в удалении нежелательной
вибрации движения, вызванной лицом, держащим камеру, или вследствие
механического дрожания, и синтезу новой видеопоследовательности, с учетом стабилизации положения/траектории движения камеры.
1.2
Степень разработанности темы в литературе
Причину дрожания камеры чаще всего связывают либо с тряской рук (тележки, движимого объекта), либо с порывами ветра (стационарная камера). Проблема решается несколькими способами:
• Механическая стабилизация:
– Укрепление камеры жёстким обтекаемым каркасом, что в значительной степени нивелирует порывы ветра.
– Утяжеление всей конструкции, смещение центра тяжести вниз.
– Использование стабилизирующего карданова подвеса по образу
Steadicam [3].
• Оптическая стабилизация: дрожание измеряется с помощью гироскопа и акселерометра, и затем изменяется путь световых лучей в
камере. Выполнятся либо в объективе, либо на матрице. Каждая
компания запатентовала свою технологию оптической стабилизации,
3
отчего в области возникла некоторая путаница с названиями, например выделяют Vibration Reduction (VR), Image Stabilizer (IS),
AntiShake (AS), IBIS, Optical SteadyShot (OSS), MegaOIS, PowerOIS,
SteadyShot (SS), Super SteadyShot (SSS), SteadyShot INSIDE (SSI),
Optical Stabilization (OS), Vibration Compensation (VC), Shake Reduction
(SR), PureView, UltraPixel. Как видно, некоторые из названий совпадают с целым классом технологий. В таком виде, как класс, в дальнейшем их и следует понимать. Все эти технологии объединяет то,
что изображение стабилизируется до того, как изображение с сенсора будет преобразовано в цифровые данные. Можно выделить:
– Стабилизирующий элемент объектива, подвижный ортогонально оптической оси, по команде с сенсоров отклоняется так, чтобы
проекция изображения полностью компенсировала колебания.
– Сервоприводы, перемещают грани заполненной жидкостью призмы, расположенная на пути света, и, как следствие, изменяется
положение изображения на матрице[4]. (например, применялось
в Canon XL1, Sony VX1000 ).
– Матрица смещается так, чтобы противодействовать движению
камеры. Когда камера поворачивается, вызывая угловую ошибку, матрица смещается, чтобы поддерживать проекцию изображения на плоскости матрицы, также используются данные о фокусном расстоянии объектива (впервые применялось в Dimage
A1 в 2003 г., технология называлась «Anti-Shake»). Преимущество заключается в возможности использовать различные объективы, в том числе без встроенной стабилизации.
• Цифровая стабилизация: анализ получаемого из камеры изображения и его деформирование с целью стабилизации. Иногда встраивается в саму камеру, которая при этом оснащается бо́льшей матрицей,
часть которой и отрезается цифровой стабилизацией.
После передачи видео с видеокамеры в цифровом виде, возможна внешняя цифровая стабилизация. В зависимости от решаемой задачи и разрабатываемой системы, стабилизация может выполняться в режиме реального
4
времени, или с некоторой задержкой, в том числе и финальная обработка
уже готового видео. Именно внешняя цифровая стабилизация видеопотока
в режиме реального времени исследуется в данной работе. На практике же
часто используется цифровая стабилизация вместе с укреплением каркаса.
В различных публикациях описаны различные подходы к оценке движения:
• рекурсивные растровые алгоритмы
• Глобальная оценка движений
– фазовый метод корреляции
– использующие для работы особые точки;
– алгоритмы компенсации движения;
• методы соответствия блоков
Алгоритмы из каждой группы имеют характерные сильные и слабые стороны.
Рекурсивные растровые алгоритмы используют итеративное совершенствование оценки движения для отдельных элементов растра, выполняемое
градиентными методами, для предсказания рекурсивного смешения каждого элемента растра от его соседних элементов. Эти алгоритмы имеют
большую вычислительную сложность и меньше поддаются настройке, поэтому их трудно использовать в аппаратных средствах [6].
Одним из методов стабилизации является определение общего движения кадра. Существующие алгоритмы определения общего движения кадра
также используются для сжатия, и обработки видеоматериалов, например
в задачах построения панорамного изображения. Метод соответствует допущениям, указанным в 2.1, и применим для данной задачи [5].
Фазовый метод корреляции на основе преобразования Фурье может
быть расширен на определение поворота и масштабирования, путём преобразования изображения в логарифмические полярные координаты. Известен тем, что является телевизионным стандартом конвертирования, т.к.
оставляет наименьшее количество артефактов [6].
5
Применение аппарата особых точек требует значительных временных
затрат на выбор особых точек и на их отслеживание, но при этом специфика окрестностей особых точек позволяет говорить о более высокой
надёжности определения смещений. Как пример использования особых точек для определения глобального движения, можно привести алгоритм 2D
Ridge Motion [5].
Использование алгоритмов компенсации движения (векторов движения) дает более низкую надежность определения смещений, чем особые
точки. Но у таких алгоритмов есть большое преимущество — высокая скорость. Аппарат векторов движения давно и очень активно используется
для решения задач, связанных с обработкой и компрессией видео. Основное преимущество этого подхода перед другими - его простота. Существенная помеха при использовании векторов движения заключается в наличии
ошибочных векторов, их особенно часто можно видеть на монотонных областях кадра. Одна из основных проблем программного обеспечения для
стабилизации видео - это отсутствие участков изображения, появляющееся
в стабилизированных видео в связи с компенсацией траектории движения,
как показано на рисунке.
Алгоритмы соответствия блоков оценивают движение на основании
прямоугольных блоков и вычисляют один вектор движения для каждого
блока, предполагая, что вектор движения одинаков для некоторого блока пикселей. Эти алгоритмы отличаются настраиваемостью и простотой
[7]. В базовом методе сопоставления блоков каждый кадр разделен на блоки яркости. Для каждого блока на текущем кадре осуществляется поиск
соответствующего блока на следующем кадре и записывается его смещение. Однако яркость сцены может изменяться по времени. поэтому некоторые модели учитывают изменение яркости. Подобная корректировка может улучшить результат стабилизации, если не принимать во внимание
таких локальных изменений яркости, как тени.
6
1.3
Цель, и объект исследования
Цель исследования – создать модуль стабилизации для комплекса видеоаналитики, который бы работал в случае стационарных камер, в режиме
реального времени, без видимых искажений, и гасил отклонения видео, для
дальнейшей работы других модулей с видео. Это могут быть как алгоритмы слежения, верификации, фрагментации, так и наблюдение за объектом
человеком. Считать производительные ресурсы ограниченными стационарным бюджетным IBM-PC-совместимым компьютером.
7
2
Основная часть
2.1
Допущения
Т.к. в первую очередь рассматривались стационарные камеры видеонаблюдения, то можно утверждать что большая часть изображения (> 70%) не
покрыта движущимися объектами, следовательно остаётся неподвижной.
2.2
Общие соображения
Из-за ограничений по ресурсам и допущения 2.1 было решено модифицировать методы векторов движения, с возможностью для пользователя
выбирать наиболее подходящий метод под имеющиеся ресурсы и окружение.
В ходе исследований было выявлено, что в случае попарного сравнения
соседних кадров, и последующего аккумулирования смещения для зрительной непрерывности видеопотока ошибка также аккумулируется. Было решено периодически создавать образцовый кадр M , и деформацию текущего кадра выполнять учитывая малое изменение относительно образцового.
Поиск объективной меры процесса стабилизации, а рамках которой различные способы стабилизации поддаются сравнению является отдельной
нетривиальной задачей. Разметка данных в случае нестабилизированного
видео не представляется возможной, т.к. вне процесса эксперимента стабилизированной версии видео, «правильного решения», не существует.
Мера стабилизации видео совпадающая с минимизируемым функционалом какого-либо алгоритма, покажет лучшие результаты именно для этого
метода, по сравнению с методами, использующими другие функционалы.
Таким образом, мерилом стабилизации в данном случае является субъект (человек или модуль анализа, получающий стабилизированное видео),
и именно его решение считается окончательным.
Заметим, что при создании алгоритма для субъекта-человека, мера становится ещё более непредсказуема: по поводу алгоритма стабилизации, используемом в [14] [15] можно увидеть следующие заключения: «добавляет
странную потерю фокуса местами» и «от видео появляется эффект мор8
ской болезни» [16]
2.3
Разностный метод
Решается задача стабилизации в случае незначительно движущихся объектов и без перспективы. Например, камера снимающая проходящих вдоль
стены людей, луч камеры перпендикулярен плоскости стены. В таком случае достаточно применить лишь сдвиг для каждого кадра, и значения этого сдвига необходимо найти. Формируется некоторое множество сдвигов
{(i, j) | i = −n..n, j = −m..m} из которых необходимо выбрать стабилизирующий. Для этого вычисляется
L = min (M − Mi,j ),
i,j
(1)
где M — исходное изображение, Mi,j — сдвинутое на i по горизонтали, и
j по вертикали. Для повышения производительности рассматриваются не
все изображения M и Mi,j , а лишь их части, как показано на рис. 1.
Рис. 1.
Т.о. находим ik и j k из
k
k
L = min M −
ik ,j k
Mikk ,j k
, k = 0..4,
(2)
затем исключаем выбросы из множеств, а от оставшихся находим среднее:
9
i = ip ,
j = j p,
{ip } | ip 6
4
X
|ik − ik |
k=0
4
X
{j p } | j p 6
k=0
!
N
k
|j −
N
jk|
,
(3)
!
.
i, j и есть искомое смещение.
2.4
Метод особых точек
Особые точки (локальные особенности) — точки изображения, обладающие
высокой локальной информативностью, т.е. отличающиеся своей окрестностью от всех соседних точек. Поиск особых точек позволяет анализировать
на сдвиг не всё изображение, а только область особых точек. Т.к. позиция
статична, определение особых точек имеет смысл выполнять только при
перезаписи образцового изображения M . Зарекомендовавшими себя способами поиска особых точек являются:
• детектор Харриса
• детекторы SIFT и SURF
• детектор Харриса-Лапласа
• детектор FAST
Детектор Харриса относят к классу детекторов углов. Рассмотрим
фрагмент U изображения I(x, y) с центром в точке (u, v), и его копии, сдвинутые на величину (x, y). Для каждой точки фрагмента можно вычислить
взвешенный квадрат разности (c весовой функцией Гаусса g(u, v)) между
сдвинутым и исходным фрагментом, и рассмотреть функцию:
S(x, y) =
X
g(u, v)(I(u + x, v + y) − I(u, v))2 .
(4)
(u,v)∈U
Раскладывая функцию I(u+x, v+y) в ряд Тейлора в окрестности (u, v),
получаем:
10
S(x, y) ≈
X
g(u, v)(Ix (u, v)x + Iy (u, v)y)2 ,
(5)
(u,v)∈U
где: Ix и Iy — частные производные яркости в горизонтальном и вертикальном направлениях.
Выражение можно записать в матричном виде:
!
x
S(x, y) ≈ (x, y)M
,
y
"
#
2
X
Ix Ix Iy
M=
g(u, v)
.
2
I
I
I
x y
x
(u,v)∈U
(6)
Большинство операторов детектирования углов основаны на свойствах
матрицы M . В [1] для этого наименьшее собственное значение матрицы
M сравнивается с порогом. Детектор Харриса инвариантен к вращению и
сдвигу изображения, а также к сдвигу и равномерному линейному изменению яркости.
Наибольшую популярность получили детекторы SIFT (scale-invariant
feature transform) [8] и его ускоренный вариант SURF (speeded-up robust
features) [9], реализующих концепцию «блобов»(Blobe). Детектор SIFT основан на идее поиска локальных максимумов в пространстве «переменного
масштаба». Для заданного изображения I(x, y) пространство переменного
масштаба представляет собой множество значений функционала:
L(x, y, σ) = G(x, y, σ) ∗ I(x, y),
(7)
где G(x, y; σ) — двумерная функция Гаусса, символ ∗ означает свертку,
а σ последовательно изменяющийся параметр сглаживания σ0 , kσ0 , . . . , k S σ0 .
Точками интереса являются точки, соответствующие локальным экстремумам функции:
D(x, y, σ) = L(x, y, σ) − L(x, y, σ).
11
(8)
Значение функции D(x, y, σ) сравнивается со значениями в восьми соседних пикселях при том же значении параметра масштаба, а также в 18-ти соседних пикселях, принадлежащих предыдущему и последующему срезам пространства переменного масштаба. Локальные экстремумы, в
Рис. 2. SIFT
которых значение |D(x, y, σ)| не превосходит некоторый заданный порог, отбрасываются, далее строится Гессиан H(матрица
вторых частных производных) функции
tr(H)2
меньше некоторого порога, то точка счиD(x, y, σ). Если величина
det(H)
тается характерной.
Детектор SURF использует ту же идею пространства переменного масштаба, что и детектор SIFT, но функция Гаусса приближается прямоугольным фильтром 9×9. Свертка исходного изображения с такими фильтрами,
вычисляется очень быстро.
Детектор Харриса-Лапласа — это объединённая версия детекторов углов и концепции блобов. По изображению максимизируются отклики углов
Харриса, по масштабу — Лапласиан, тем не менее детектор находит «углы», и объединяя алгоритм с SIFT можно получить ещё большee кол-во
значимых особенностей.
В середине 2000-х годов, в связи с возросшим спросом на решение задач
компьютерного зрения в реальном времени, появились эвристические алгоритмы быстрого поиска точек интереса, например FAST (features from
accelerated segment test) [10]. Яркость пикселей, лежащих на окружности,
сравнивается с яркостью центральной точки и на основании ряда проверок принимается решение, является ли центральная точка характерной.
Последовательность проверок и их общее число подбираются и оптимизированы заранее на основе обширной обучающей выборки изображений. В
результате проверки выполняются очень быстро. Для принятия решения,
является точка углом или нет, требуется лишь несколько десятков операций сравнения.
12
На тестовой выборке, ввиду простоты алгоритма, и, возможно, специфичности данных, FAST нашёл наименьшее кол-во значимых особенностей,
детекторы Харриса-Лапласа и SURF оказались наиболее ресурсоёмкими
без выигрыша в количестве особых точек, поэтому использовался детектор Харриса.
На полученных особых точках считаем разреженный оптический поток
модификацией метода Лукаса-Канаде, описанного в [2]. Метод предполагает что:
• значения пикселей переходят из одного кадра в следующий без изменений;
• функция изображения достаточно хорошо аппроксимируется первой
производной;
• соседние пиксели смещаются на одинаковое расстояние.
Т.о, имеем:
I(x, y, t + 1) = I(x + ux , y + uy , t) = I(x, y, t) + u∇i(x, y, t),
I(x, y, t) − I(x, y, t + 1) + u∇i(x, y, t) = 0,
dI(x, y, t)
+ u∇i(x, y, t) = 0,
dt
dI(x, y, t)
dI(x, y, t)
dI(x, y, t)
+ ux
+ uy
= 0.
dt
dx
dy
(9)
Получаем систему уравнений для точек во всей окрестности, которую
решаем методом наименьших квадратов.
Итого, получаем смещение модификацией метода Лукаса-Канаде в особых точках, полученных детектором Харриса.
Далее исключаются выбросы (главным образом в точках, принадлежаp p
p
p
щих движущимся
q объектам) {{i , j } | l0.25 6 l 6 l0.75 }, где l — длина
смещения (lp = (ip )2 + (j p )2 ), l0.25 и l0.75 — нижний и верхний квантили
соответственно. После чего искомым смещением является среднее получен
ного множества: (i, j) = ip , j p .
13
2.5
Конструирование сети
И первый, и второй метод подходят лишь для видео без перспективы, т.к.
используется простое смещение изображения. Рассмотрим усовершенствование второго метода, подходящее для перспективных случаев — ситуацию,
при которой смещение не способно стабилизировать изображение.
В таком случае необходимо использовать гомографию (перспективное
преобразование), для чего необходим оптический поток на всём изображении, который получить аппроксимацией потока в особых точках проблематично, поэтому используется сеть равноудалённых точек с размером
ячейки r. Затем на этих точках также считается разреженный оптический
поток модификацией метода Лукаса-Канаде (см. 2.4), но выбросов алгоритма значительно больше, т.к. используются точки, не являющиеся особыми.
Выбросы в данном случае — это главным образом некорректно высчитанные значения потока, в наиболее однородных областях (см. рис. 3).
Рис. 3.
Отсутствующие узлы сети соответствуют точкам, в которых метод
определения оптического потока не справился с задачей. Узлы сети, с явно неверно детектированными значениями фильтруются простой оценкой
сверху.
Таким образом, на основании данной сети, необходимо создать функцию h : (x, y) → (x, y), такую, что M 0 (x, y) = M (h (x, y)), где M и M 0 —
14
исходное и деформированное изображение соответственно.
Будем искать x и y составляющие по отдельности. Фактически, это
будут hx (x) и hy (y). Начнём с y-составляющей.
Рис. 4. Hi , для i до 4
Построим матрицу Y , с y-составляющими смещений сети. Для каждой
строки Yj оставляем только точки, удовлетворяющие условию:
(
Yjp | Yjp 6
X |Yjk − Yj |
N
k
)
.
(10)
Поводим данную операцию итеративно несколько раз. Для каждого раза, для каждой строки находим среднее, получаем {i, hti }, t = 1, 4 и отображаем виде графиков для каждой итерации H t (см. рис. 4).
Тестируя на различных данных убеждаемся, что двух итераций достаточно для получения точек практически без выбросов, т.о. на следующий
этап поступает H 3 = {i, h3i }.
Для поиска аппроксимирующей прямой (y = ax + b) использовалась
модификация метода Ransac, с метрикой выбора среди прямых, как сумма
отклонений каждой точки из набора данных, с добавочным отрицательным весом α в случае, если аппроксимирующая прямая проходит доста
3
точно близко около исходного значения (
h − f (i)
− α). Минимальное
i
i
значение метрики соответствует искомой аппроксимации.
Для матрицы X, с x-составляющими смещений сети, проводятся аналогичные операции, и строится аппроксимирующая прямая подобным обP
разом:
|yi − f (xi )| − β.
i
Заметим, что понятие перспективы подразумевает искажения прежде
всего по вертикали, поэтому для x-составляющих смещений сети имеет
15
смысл реализовать константное преобразование (сдвиг): hx (x) = x + c ,
для этого достаточно посчитать среднее значений H3 : a = h3i . Т.о, если
для вертикальной составляющей использовалась линейная аппроксимация,
а для горизонтальной – константная, то результирующее преобразование
изображения (пиксельное) выглядит
hx (x) = x + c,
y
hy (y) = y + a( ) + b,
n
(11)
где n — это размер сети, которая строилась на изображении (см. приложение А)
2.6
Краткий отчет по проделанной в рамках научного
исследования работе
Исследованы различные методы стабилизации, лучшие по соотношению
качества/производительности комбинированы в модуль стабилизации для
комплекса видеоаналитики, модуль работает в случае стационарных камер,
в режиме реального времени, без видимых искажений, и гасит отклонения видео. Корректно работает в случае бюджетного IBM-PC-совместимого
компьютера.
16
3
Выводы
3.1
Формулировка результатов
По соображениям необходимого быстродействия, удобству использования
абстракций, и наличию открытых библиотек, для реализации был выбран
язык программирования С++’11. Для реализации использовалась библиотека OpenCV.
Пользователь выбирает необходимый алгоритм стабилизации и видит
результат в окне настроек (см. Приложение A). После подтверждения, модуль включается в общую последовательность действий, и используется
для модулей распознавания номеров вагонов [12], слежения за объектами,
детектирования толпы, распознавания движения [11], автоматического детектирования нарушений на пешеходном переходе [13].
3.2
Рекомендации по применению результатов
Работа может быть использована для развития области видеоаналитики в
целом или алгоритмов стабилизации. Модуль стабилизации может использоваться в любой задаче связанной с слежением за объектами, распознаванием надписей, и с получением любой полезной информации из видео,
снятого стационарной камерой.
3.3
Дальнейшие направления исследований в данной
области
Дальнейшие исследования будут связаны с модификацией алгоритма для
увеличения производительности, улучшения качества стабилизации (в соотв. с теоретическими замечаниями из 2.2, т.е. по результатам субъекта),
получения полной гладкости видеопотока.
3.4
Список литературы
Литература
17
1. Shi and C. Tomasi. Good Features to Track. Proceedings of the IEEE
Conference on Computer Vision and Pattern Recognition, pages 593-600,
June 1994.
2. Jean-Yves Bouguet. Pyramidal Implementation of the Lucas Kanade
Feature Tracker
3. Steadicam [Электронный ресурс]: URL: http://www.steadicam.com/
(дата обращения: 05.06.2016).
4. Адам Уилт. Почему дрожит камера и как с этим бороться [Электронный ресурс]: URL: http://www.tivionica.ru/archiv/004/00438.htm
(дата обращения: 05.06.2016).
5. Kwong Kin Wah Eric. Video Stabilization Algorithms. ELEC 533 Project
Report, 2003.
6. В. В. Буряченко. Стабилизация видео для статичной сцены на базе модифицированного метода соответствия блоков // Вестник Сибирского
государственного аэрокосмического университета им. академика М.Ф.
Решетнева. 2012
7. Поляков Д.Б. Блочные алгоритмы оценки движения
8. Lowe D. G. Object recognition from local scale-invariant features // Proc.
Intl. Conference on Computer Vision. – 1999. – P. 1150–1157.
9. Bay H., Ess A., Tuytelaars T., Van Gool L. SURF: Speeded up robust
features // Computer Vision and Image Understanding. – 2008. – V. 110.
– P. 346–359.
10. Rosten E., Drummond T. Machine learning for high-speed corner detection
// Proc. European Conference on Computer Vision. – 2006. – V. 1. – P.
430–443.
11. Ялов А. Л. Распознавание движения со стационарной и поворотной камер видеонаблюдения // Процессы управления и устойчивость: Труды
44-й международной научной конференции аспирантов и студентов /
18
под ред. Н. В. Смирнова, Т. Е. Смирновой. СПб.: Издат. Дом С.-Петерб.
гос. ун-та, 2013. С. 508–512.
12. Ялов А. Л. Распознавание номеров вагонов при помощи нейросети // Процессы управления и устойчивость. 2014. Т. 1. № 1.
С. 424–427.
13. Ялов А. Л. Автоматическое детектирование нарушения на пешеходном
переходе // Процессы управления и устойчивость. 2016.
14. Youtube [Электронный ресурс]: URL: https://www.youtube.com/ (дата
обращения: 05.06.2016).
15. Matthias Grundmann, Vivek Kwatra, Daniel Castro, Irfan Essa
Calibration-Free Rolling Shutter Removal // Proceedings of IEEE
Conference on Computational Photography, 2012.
16. Частные
заключения
[Электронный
ресурс]:
URL:
//habrahabr.ru/post/143420/ (дата обращения: 05.06.2016).
19
https:
4
Приложение A
Выбор настроек стабилизации выглядит следующим образом:
Рис. 5. Настройки стабилизации
Написано на С++(Qt).
Методы стабилизации: разностный, особые точки, сеть. Метод вывода:
в исходном разрешении/размере с чёрными границами, видео без границ и
отмасштабированное. Размер ячейки сети оказывает влияние на производительность и качество. Как указано в тексте, сдвиг может быть константным или линейным, в зависимости от наблюдаемого объекта и положения
камеры. Этот момент также настраивается, причём раздельно по осям.
20
Отзывы:
Авторизуйтесь, чтобы оставить отзыв