Сохрани и опубликуйсвоё исследование
О проекте | Cоглашение | Партнёры
Выпускная квалификационная работа студентки 11.03.02. Инфокоммуникационные технологии и системы связи
Источник: Белгородский государственный университет - национальный исследовательский университет (НИУ «БелГУ»)
Комментировать 0
Рецензировать 0
Скачать - 2,8 МБ
Enter the password to open this PDF file:
-
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ «БЕЛГОРОДСКИЙ ГОСУДАРСТВЕННЫЙ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ» ( Н И У « Б е л Г У » ) ИНСТИТУТ ИНЖЕНЕРНЫХ ТЕХНОЛОГИЙ И ЕСТЕСТВЕННЫХ НАУК Кафедра информационно-телекоммуникационных систем и технологий ИССЛЕДОВАНИЕ МЕТОДОВ И АЛГОРИТМОВ ОБНАРУЖЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ НА ВИДЕО-ДАННЫХ Выпускная квалификационная работа студентки очной формы обучения направления подготовки 11.03.02 Инфокоммуникационные технологии и системы связи 4 курса группы 07001208 Балабановой Натальи Сергеевны Научный руководитель канд. техн. наук, доцент кафедры Информационнотелекоммуникационных систем и технологий НИУ «БелГУ» Заливин А.Н. Рецензент канд. техн. наук, старший преподаватель кафедры Информационных Систем НИУ «БелГУ» Щербинина Н.В. БЕЛГОРОД 2016
СОДЕРЖАНИЕ ВВЕДЕНИЕ………………………………………..…………………………..4 1 ОБРАБОТКА ВИДЕО-ДАННЫХ……………………………….…….6 1.1 Общие сведения…………………………………………………..…….6 1.2 Предобработка и постобработка изображений при обнаружении подвижных объектов ……………………………………………………….……….7 1.2.1 Предобработка………………………………………….………………8 1.2.2 Постобработка…………………………………………………...…......9 1.3 Математическая морфология ……………………………..................10 2 МЕТОДЫ И АЛГОРИТМЫ ОБНАРУЖЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ПОТОКЕ ВИДЕО-ДАННЫХ.…………………............................12 2.1 Обзор методов обнаружения движущегося объекта…………...…...12 2.2 Метод вычитания фона …………………..…………….………….....16 2.3 Метод оптического потока …………………………………...……...25 2.3.1 Оценка оптического потока……………………………………....….26 2.3.2 Методы определения оптического потока …………………….........28 РАЗРАБОТКА 3 И ИССЛЕДОВАНИЕ АЛГОРИТМОВ ОБНАРУЖЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ………………………………..35 3.1 Разработка алгоритмов обнаружения движущихся объектов.……..36 3.1.1 Разработка алгоритма вычитания фона……………………………...36 3.1.2 Разработка алгоритма вычитания фона с использованием смеси Гауссовых распределений (GMM)………………………………………………...37 3.1.3 Разработка алгоритма Лукаса-Канаде для вычисления оптического потока………………………………………………………………………………..40 3.2 Исследование алгоритмов обнаружения движущихся объектов......41 Изм. Лист Разраб. Провер. Рецензент Н. контр. Утв. № докум. Балабанова Н.С YН.С. Заливин А.Н. Щербинина Н.В. Заливин А.Н. Жиляков Е.Г. Подпись Дата 11070006.11.03.02.180.ПЗВКР Исследование методов и алгоритмов обнаружения движущихся объектов на видео-данных Лит. Лист Листов 2 66 НИУ «БелГУ», гр. 07001208
4 ЭКОНОМИЧЕСКАЯ ОЦЕНКА РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ…………………………………………………………………53 4.1 Планирование работ по исследованию ……………………………..53 4.2 Расчет расходов на оплату труда на исследование ……….………..55 4.3 Расчет продолжительности исследования ……………………….....56 4.4 Расчет стоимости расходных материалов ………………………......56 4.5 Расчет сметы расходов на исследование ……………………….......57 ЗАКЛЮЧЕНИЕ……………………………………………………………...61 СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ………………………..63 Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 3
ВВЕДЕНИЕ В современной жизни информация играет очень важную роль. Научнотехнический прогресс в областях, связанных с передачей и обработкой информации, открывает новые горизонты. Вслед за этим быстро развивается информатика. С подъемом производительности персональных компьютеров, ёмкости носителей принципиальным направлением развития информационных технологий стали средства мультимедиа. Поначалу они работали в основном для декорации компьютерных игр, хотя с течением времени отыскали большое количество иных применений своей силе и возрастающим способностям. Кроме игр появлялись поначалу короткие видеоклипы, аудиофайлы, потом полнометражные киноленты в цифровых форматах. Сейчас мультимедийные потоки используются довольно обширно в разных секторах экономики производства и сферах жизни людей. Они являются очень удобным носителем постоянно поступающей информации, и потому их популярность быстро растёт. Можно выделить 2 области, где они себя зарекомендовали: видеофильмы и телеконференции. Предпосылки этому – удобство и простота применения. Сравнимо новым методом внедрения потоковых мультимедийных хозяйственных объектов. данных Для стала просмотра служба охраны кинофильмов и жилых и проведения телеконференций достаточно только декодировать мультимедийные данные и продемонстрировать их пользователю, но для целей охраны этого мало, тем более, если идёт речь о автоматизации процесса охраны. В данном случае нужно использовать дополнительные алгоритмы, позволяющие не столько передавать и показывать информацию, поступающую на вход, но ещё и отслеживать изменения относительно предыдущих данных и информировать об этом пользователя или вести запись истории таких изменений [1]. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 4
С развитием технологий и повышением общесоциального уровня постоянно повышаются требования к безопасности и осведомлённости определённых групп лиц. Поэтому задача мониторинга нашла своё применение в различных сферах деятельности человека. Немаловажную роль в решении задачи мониторинга играют системы видеонаблюдения. В настоящее время они используются в банках, музеях, на дорогах, в системах военной, общественной безопасности и т.д. Кроме обычных функций: вывода видеоизображения на монитор и записи на какой-либо носитель, в настоящее время системы наблюдения дополняются модулями интеллектуального обнаружения движения и сопровождения цели [2]. В связи с чем, актуальным представляется исследование особенностей методов обнаружения движения. Целью данной выпускной квалификационной работы является исследование методов и алгоритмов обнаружения движущихся объектов на видео-данных с использованием статичной камеры при различных условиях съемки. Для достижения поставленной цели необходимо решить следующие задачи: Произвести обзор литературных источников; Выполнить анализ методов обнаружения движущихся объектов на видеопоследовательности; Произвести выбор методов обнаружения движущихся объектов на видео-данных; Произвести разработку алгоритмов для выбранных методов; Выполнить реализацию и апробацию алгоритмов в программном комплексе Matlab; Произвести экспериментальные исследования выбранных методов; Произвести сравнение полученных результатов. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 5
1 ОБРАБОТКА ВИДЕО-ДАННЫХ 1.1 Общие сведения Представлены некоторые определения, которые будут необходимы на протяжении всей работы. Видеокадр – растровое изображение в формате RGB. Поток видеокадров – последовательность видеокадров, полученная от цифрового устройства регистрации видеоизображений (цифровой видеокамеры). Движение – поступательное движение некоторой группы пикселей, которое наблюдается на соседних кадрах видеопотока. Необходимым условием движения является возможность локализации одной и той же группы пикселей на соседних кадрах. Движущийся объект – это группа пикселей, сохраняющая свою форму на соседних кадрах, а обрамляющий её прямоугольник сохраняет размеры, причём его центральная точка испытывает малое смещение между этими кадрами (в пределах нескольких пикселей). На рисунке 1.1 представлена группа пикселей с обрамляющим её прямоугольником. Центр группы расположен в точке Ci(xi,yi) и Ci+1(xi+1,yi+1) на i-ом и i+1-ом кадре, соответственно. Заметим, что форма группы пикселей может меняться, но это изменение обычно ничтожно, и им можно пренебречь, считая, что форма остаётся неизменной. Рисунок 1.1 – Группа пикселей на соседних кадрах с обрамляющими прямоугольниками Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 6
Видео-данные – это поток данных, имеющих структуру последовательных кадров видеоизображения. Данные кадры могут быть вначале получены от прибора регистрации (цифровой/аналоговой камеры) или синтезированы при помощи специальных программ, а потом неоднократно преобразованы для удобства их сохранения и передачи. Все кадры подобного потока имеют одинаковый размер изображения и поступают с определённым неизменным временным интервалом. Величина, обратная временному интервалу между соседними кадрами, это число кадров, которое нужно подвергнуть обработке за секунду (frames per second либо fps). Помимо этого, все кадры потока имеют схожую глубину цвета, которую можно измерить как количество используемых битов памяти для хранения 1 пикселя кадра (bits per pixel либо bpp). В дипломной работе исследования будут вестись только с цифровыми видеоданными, другими словами, с теми, которые хранятся в памяти ЭВМ и обрабатываются на ней программно либо аппаратно. 1.2 Предобработка и постобработка изображений при обнаружении подвижных объектов Алгоритмы в пространственной области базируются либо на применении интенсивностей пикселей изображений, либо на выделении признаков: цвет, статистики, текстуры и так далее. В общем случае, алгоритм обнаружения движущегося объекта на видеопоследовательности сводится к четырем основным этапам: - предобработка, - моделирование фона, - обнаружение областей изображений, соответствующих движущимся объектам (выделение переднего плана), Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 7
- постобработка. 1.2.1 Предобработка Целью методов обнаружения движущихся объектов на видео-данных является обнаружение значимых изменений, которые появляются в видеопоследовательности, при игнорировании малозначительных. Действия по предобработке изображений включают геометрические и яркостные корректировки [3]. Также может применяться информация о расстоянии до объекта (глубине). Корректировка яркости. Существует несколько методов компенсации изменения освещенности между кадрами, которые возникают из-за изменений яркости либо позиции источника света сцены. Один из таких методов: нормализация значений яркости пикселей изображения. Он применяется для получения конкретного значения математического ожидания и дисперсии [4, 5]. По данному методу могут быть нормализованы как текущий кадр, так и фоновое изображение (получение нулевого математического ожидания с единичной дисперсией) [3]. Однако такой подход позволяет получить лучшие результаты для локальных изменений освещенности в кадре ценою появления дополнительных артефактов [3]. Алгоритмы, использующие нормализацию, в основном, дают плохие результаты для темных областей изображения. Информация о глубине (расстоянии до объектов). Благодаря применению этих данных возникает меньше проблем при обнаружении движущегося объекта, так как они в наименьшей степени подвержены искажению в связи с изменениями условий освещённости. Но методы, использующие информацию о расстоянии, являются неэффективными при использовании их для малоконтрастных областей либо областей, которые Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 8
недоступны для всех камер. Данный метод также часто не справляется с выделением переднего плана (движущихся объектов), находящихся в непосредственной близости от фона, например, рука на стене, ноги на полу и т.д. 1.2.2 Постобработка Разделение объектов. Разделение обнаруженных и выделенных объектов, находящихся на достаточном расстоянии, не представляется сложной задачей. В данном случае решением является использование простого порога. Трудной задачей является разделение пересекающихся либо находящихся рядом объектов [6]. Использование определенных методов обусловлено конкретной ситуацией и требуемой точностью выделения объекта. Существуют подходы разделения движущихся объектов, основанные на построении сети (дерева графов), как в загруженном видео, так и в режиме реального времени [7, 8]. Выделение границ (контура). Точность выделения контура движущегося объекта зависит от точности выделения области движущегося объекта. Выделяют такие ошибки выделения области движущегося объекта, как шум, ложное обнаружение (ошибка первого рода) и пропуск цели (ошибка второго рода). Для решения данных проблем в основном применяют метод соответствующей фильтрации на стадии обнаружения [9]. Главными причинами появления шумов, которые оказывают неизбежное влияние на результат выделения объекта, являются изменение освещенности, изменения положения камеры, цветовой шум, шум системы. Для устранения шума используется адаптивная фильтрация. Также применяется сигма-дельта Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 9
фильтр на стадии вычитания фона для получения более точной маски объекта. Этот метод позволяет уменьшить влияние нестабильности фона и шумов, вызванных небольшим движением камеры или фона. 1.3 Математическая морфология Математической морфологией считают анализ изображения с точки зрения его формы. При использовании данного подхода над изображениями выполняют ряд преобразований изменяющих форму объектов, содержащихся на изображении [10]. Математическую морфологию используют в различных системах, которые работают над обработкой изображений, на различных этапах и для достижения разных целей: • Улучшение визуальных характеристик изображения (яркость, контрастность и т.д.) • Восстановление испорченных изображений, например, реставрация фотоснимков. • Обнаружения контуров. • Снижение уровня шума. Метод математической морфологии может применяться по отношению к цветным, чёрно-белым изображениям и к изображениям в оттенках серого. Для этих трёх случаев формально данный подход определяется несколько поразному. Будет рассмотрен случай бинарных чёрно-белых растров. Так как при использовании операций математической морфологии над бинарными чёрнобелыми растрами также можно провести дополнительную фильтрацию шума в маске движения. Этот процесс считается эффективным, поскольку маска состоит из нулей и единиц. Существует большое количество операций Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 10
математической морфологии: перенос, наращивание, эрозия, закрытие, а также открытие [11]. Открытие (Opening) двоичного B на структурный элемент S записывается как B S и определяется как: B S (B S ) S (1.1) Пример работы операции открытия представлен на рисунке 1.2, где приведены исходная маска движения до и после обработки. а) б) Рисунок 1.2 – Пример работы операции открытия а) Маска движения до обработки б) Маска движения после обработки По представленным выше рисункам можно сказать, что операция открытия удаляет с изображения все элементы, размер которых меньше размера структурирующего элемента. Остальные элементы изображения сохраняются. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 11
2 МЕТОДЫ И АЛГОРИТМЫ ОБНАРУЖЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ПОТОКЕ ВИДЕО-ДАННЫХ 2.1 Обзор методов обнаружения движущегося объекта Задача обнаружения движущихся объектов была поставлена достаточно давно, хотя вследствие своей специфики, она пока не имеет конкретного решения. Во-первых, условия обнаружения бывают различны. К примеру, если работать с бинарным чёрно-белым изображением, то задача значительно упрощается по сравнению с использованием полноцветных растров с плавными переходами цвета от одного оттенка к другому. Видео может поступать со статично расположенной камеры, таким образом, все кадры будут иметь примерно однообразный фон с возможными различиями освещения. Также камера, размещенная на движущемся объекте, может снимать неподвижный объект. Уровень шума может значительно изменяться. Природные явления: дождь, туман, ветер, снег могут быть причиной существенных колебаний в изначально неподвижной сцене. Всё это приводит к тому, что методы, непревзойденно работающие в одних условиях, совсем неприменимыми для других. Алгоритмы, работающие в автоматических системах обнаружения движения, – в особенности это касается систем контроля периметра, других систем обнаружения проникновения – должны быть устойчивы для работы в широком спектре значительно различающихся внешних условий. Ниже представлены некоторые требования к подобным методам: Невысокая вычислительная сложность. Это возможно важнейшая характеристика, которая оценивается в момент выбора детектора движения. Её высокая значимость обусловлена тем, что при большом объеме вычислений, которые будет проводить детектор, подобные методы невозможно будет Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 12
применять в режиме реального времени. Стабильная работа в любое время года при различных погодных условиях. Устойчивое обнаружение движения в различное время суток при искусственном освещении. Минимум ложных срабатываний на шум регистрирующей и передающей аппаратуры. Минимальное количество срабатываний на объекты, не имеющие какого-либо значения (качающиеся деревья, листва, иная растительность и прочее). Требования к системам обнаружения движущихся объектов, кроме перечисленных выше, касающихся алгоритмов обнаружения движения, обычно выглядят так: Многоканальность. Масштабируемость. Система должна легко увеличивать количество источников входных данных. Возможность горячей замены. Необходимо иметь возможность подключения/отключения любой камеры, без приостановки на какое-то время работы остальных каналов. Первым шагом в обнаружении движущегося объекта является нахождение всех его вероятных вариантов на изображении. В основном это делается с помощью методов, которые основаны на моделировании. Они сравнивают отдельные области изображения с полученными моделями движущегося объекта. Существуют различные подходы для решения задач по обнаружению движущегося объекта. Они могут быть разделены на 2 класса: методы, базирующиеся на временных различиях (метод вычисления оптического потока), и моделирование и вычитание заднего фона. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 13
Первые научные труды, основанные на обнаружении движущихся объектов, написанные в конце 70-х годов ХХ века, базировались на различии соседних видеокадров. Главными правилами всех алгоритмов обнаружения объекта 70-80-х годов являлись так называемые аспекты статистических гипотез. В 90-х годах ХХ века в основном развивались методы, основанные на изменении положения пикселей изображения. Применялись как любой отдельный пиксель, так и блоки пикселей. В 90-х годах ХХ века был предложен комплексный метод опознавания [12], ну а в 2005 году [13] предложен метод «от противного», базирующийся на принципе Гельмгольца. Целью этого метода было, собственно опознавание видеокадра, не имеющего движущегося объекта. Методы, которые базируются на различии соседних кадров, чрезвычайно чувствительны к шуму, а также к изменениям освещённости. Если количество кадров в последовательности велико, а также между соседними кадрами имеются некоторые небольшие изменения, иным решением для обнаружения движущегося объекта считается моделирование и вычитание фона. В данном случае пикселями переднего плана будут являться пиксели, для которых значение интенсивности отлично от среднего значения модели фона. Для обнаружения изменений на переднем плане методом вычитания фона используется некая модель. Данная модель фона обновляется через определенный интервал времени. В качестве простейшей модели иногда применяется первый видеокадр [14]. При вычитании этого изображения из последующих движущийся объект представляется достаточно грубо. Данная схема вычитания может использоваться исключительно с простыми сценами с однородным контрастом и незначительными изменениями. Существуют разные методы и алгоритмы, которые описывают решения задач по выделению фона при помощи использования статистических функций: функции среднего, медианы, а также с помощью распределения Гаусса. Данный Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 14
метод моделирует каждую точку изображения с помощью распределения Гаусса с вычисленным средним значением интенсивности. На рисунке 2.1 представлен пример обнаружения движущегося объекта. а) б) в) Рисунок 2.1 – Пример обнаружения движущегося объекта а) Исходное изображение б) Бинарное изображение в) Выделение движущегося объекта Также существуют способы обнаружения объектов с использованием частотной области, которые базируются на вейвлет-преобразованиях. В некоторых случаях вейвлет-преобразование применяется для оценки фона на базе предыдущих кадров видеопоследовательности, также для выделения передвигающегося объекта и его расположения [15]. Существует иной способ, базирующийся на дробной статистике низкого порядка [16]. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 15
2.2 Метод вычитания фона Простым методом к решению задачи выделения движущегося объекта является использование механизма вычитания фона из кадра видео (background subtraction) [17]. Процедура вычитания предполагает, что для данного видео построена модель фона F {F ( x, y ),0 x width,0 y height}, (2.1) где width - ширина кадра, height - высота кадра. В принципе, такая модель должна представлять собой сцену без движущихся объектов. При этом необходимо ее регулярное обновление, для того чтобы учитывать изменение условий освещенности и настроек камеры, таких как поворот, наклон и изменение фокусного расстояния. Иногда используют процедуру обновления модели фона с течением времени. Процедура вычитания модели фона состоит из двух этапов: Вычитание фонового изображения из текущего кадра видео. На данном этапе происходит попиксельное вычитание интенсивностей кадра видео и фонового изображения Dk ( x, y ) abs( I k ( x, y) F ( x, y )), k 1, N , (2.2) где I k ( x, y ) - интенсивность определенного кадра. построение Разделение пикселей по принадлежности к фону и объекту, то есть бинарного изображения (маски). Считается, что пиксель принадлежит объекту и имеет белый цвет в маске, если разность интенсивности фона и текущего кадра для данного пикселя превышает некоторое пороговое значение, в противном случае, принимается, что пиксель принадлежит фону Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 16
255, Dk ( x, y ) M k ( x, y ) , k 1, N 0, Dk ( x, y ) (2.3) От качества построенной модели фона зависит качество определения положения движущегося объекта с помощью метода вычитания фона. Все методы вычитания фона делятся на две группы в зависимости от механизма построения фонового изображения: 1. Нерекурсивные методы. Нерекурсивные методы при обновлении модели фона для текущего кадра используют данные о интенсивностях пикселей некоторого набора предыдущих моделей фона [18] (либо кадров) и текущего кадра. Некоторые методы, относящиеся к нерекурсивным, представлены ниже: Метод вычитания текущего и предыдущего кадра. В данном методе предполагается, что для определенного кадра I k модель фона Fk совпадает с предыдущим кадром, т.е. Fk I k 1 . Из этого следует, что на первом этапе алгоритма вычитания фона вычисляется разница двух Dk ( x, y ) abs( I k ( x, y) Fk ( x, y)) abs( I k ( x, y) I k 1 ( x, y)), k 2, N (2.4) последовательно идущих кадров видеопоследовательности Метод усреднения некоторого количества предшествующих кадров. В данном случае количество кадров, по которым выполняется построение модели фона, обозначается как s . Тогда модель фона Fk для кадра I k можно выразить следующей формулой Fk ( x, y) 1 s 1 I k j ( x, y ) s j 0 (2.5) Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 17
Метод определения медианы фиксированного количества предшествующих кадров. Также как в методе усреднения предполагаю, что s – число кадров, на основании которых будет обновляться модель фона. Тогда модель фона Fk определяется по формуле: Fk ( x, y) med j 0,s1 I k j ( x, y) помощи (2.6) Метод, основанный на использовании минимаксного фильтра. При обучающей последовательности без движущихся объектов определяются три значения для каждого пикселя фонового изображения: минимальная яркость zi0, jmin , максимальная яркость zi0, jmax , максимальное изменение яркости между соседними кадрами а zi0, j также [19]. Данные параметры вычисляются по формулам: zi0, jmin min zi0, j , zi0, jmax max zi0, j , zi0, j max zit, j zit,j1 (2.7) Эти значения определяются исходя из параметров нескольких кадров и периодически обновляются для моделей фона. Главным преимуществом нерекурсивных методов является простота реализации и скорость обновления моделей фона при переходе от одного кадра к другому в видеопоследовательности. Однако точность работы данных методов сильно зависит от скорости объектов. Чем медленнее движется объект, тем хуже он определяется. Методы данной группы весьма неэффективны при наличии движущегося фона (листва деревьев, струящаяся вода и так далее). Для сглаживания указанных эффектов применяют так называемое αсмешивание. В данной процедуре обновленная модель фона для Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 18
кадра I k представляется выпуклой оболочкой модели фона Fk 1 . Выражается следующей формулой: Fk ( x, y) I k ( x, y) (1 ) Fk 1 ( x, y) (2.8) 2. Рекурсивные методы. В данной категории методов для обновления модели фона используется данные об интенсивностях пикселей только текущего кадра. К рекурсивным методам можно отнести: гистограммный метод, метод представления модели фона смесью Гауссовых распределений (Gaussian mixture model) [20], метод "шифровальной" книги (codebook) [21], метод извлечения визуального фона (Visual Background Extractor, ViBe) [22]. Некоторые методы представлены ниже. Гистограммный метод. В соответствии с данным методом всё цветовое пространство разбивается на отдельные бины. В полутоновом изображении в качестве данного пространства предполагается отрезок изменения интенсивности, а в цветном изображении – трёхмерный куб. Гистограмма строится для всех изображений в видеопоследовательности. Гистограммный метод осуществляет анализ всех пикселей изображения. Исходя из того, какая интенсивность/цвет наблюдается в пикселе, увеличивается на единицу значение соответствующего бина гистограммы. Если величина определенного бина меньше фиксированного порогового значения, то пиксели, входящие в состав этого бина, принадлежат фону. В противном случае, принимается, что пиксели принадлежат объекту. Главной проблемой использования гистограммного метода считается необходимость использования дополнительной памяти и выполнение множества операций обращения к памяти в процессе реализации. Метод, основанный на использовании аппроксимирующего медианного фильтра. Подход, где применялся простой рекуррентный фильтр Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 19
для оценки медианы, был использован для мониторинга городского транспорта [23]. В данном методе текущее значение медианы увеличивается на единицу, если пиксель следующего кадра больше определенной оценки, и уменьшается на единицу в обратном случае: zi0,(jt ) где zi0,(jt 1) 1, если zit, j zi0,(jt 1) , zi0,(jt 1) 1, если zit, j zi0,(jt 1) , z 0(t 1) , если z t z 0(t 1) , i, j i, j i, j (2.9) zi0, (jt ) – опорное изображение для кадра t . В результате оценка медианы сводится к значению, когда половина входящих пикселей больше его, а половина – меньше. Это и является медианой. Недостаток метода: медленная адаптация при достаточно больших изменениях фона [24]. Для адаптации к области фона, которую покинул объект, долгое время занимавший ее, нужно значительное количество кадров. Смесь Гауссовых распределений (Gaussian Mixture Model - GMM) [20, 25]. При построении фона по данному методу считается, что для любого пикселя ( x0 , y0 ) изображения интенсивности/цвета I k известна на X 1 , X 2 ,..., X k I j ( x0 , y0 ), j 1, k. всех Тогда история изменения предыдущих вероятность его кадрах наблюдения значения X k , представляется смесью Гауссовых распределений: s P( X k ) kj N ( X k kj , kj ) , j 1 где (2.10) kj – вес j-ого распределения Гаусса для кадра с номером k, kj – математическое ожидание, Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 20
kj – среднеквадратичное отклонение, N ( X k kj , kj ) – функция плотности нормального распределения, которая выражается следующей формулой: N(Xk , ) k j k j 1 D 2 (2 ) 1 k 2 j e 1 ( X k kj )T ( kj ) 1 ( X k kj ) 2 (2.11) . Предполагается, что составляющие цвета являются независимыми и имеют одинаковую среднеквадратическую погрешность. Исходя из этого матрицу ковариации можно записать, как kj ( kj ) 2 E , (2.12) где E – единичная матрица. Исходя из данного утверждения, можно уменьшить вычислительную трудоемкость метода за счет отсутствия необходимости вычислять матрицу, обратную к матрице ковариации j . Таким образом, задано распределение k наблюдаемых значений цвета для каждого пикселя. Новое значение цвета можно представить как одну из основных компонент полученной смеси Гауссовых распределений. Также оно может использоваться для обновления параметров модели. Построенные распределения сортируются в порядке уменьшения величины: kj r k j k j (2.13) . Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 21
При данной сортировке пиксель фона отвечает распределению с большим весом и малой дисперсией. Первые Bk распределений можно отнести к цвету фоновых пикселей, когда b k B arg minb j T , j 1 k (2.14) где T – пороговое значение, параметр модели. При появлении следующего кадра I k 1 для каждого пикселя изображения выполняется тест, с помощью которого при использовании расстояния Махаланобиса, определяется, какому распределению соответствует полученное значение. ( X k 1 kj )T ( kj ) 1 ( X k 1 kj ) 2.5 kj (2.15) Тогда возможны две ситуации: 1. Если нашлось соответствующее распределение Гаусса, то в зависимости от того, определяет ли оно распределение фоновых пикселей (входит в группу из Bk распределений) или нет, текущий пиксель определяется как фоновый или как принадлежащий объекту. 2. В случае, если ни одно распределение не соответствует распределению Гаусса, удовлетворяющего условию (2.15), то считается, что пиксель принадлежит объекту. По данному правилу формируется двумерная маска. Перед тем, как преступить к работе над следующим кадром, необходимо обновить параметры распределений: математическое ожидание kj и Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 22
среднеквадратичное отклонение j k . Обновление выполняется по-разному в зависимости от результата нахождения соответствующего распределения для цвета текущего пикселя: 1. Соответствие обнаружено. В таком случае весовые коэффициенты, составляющие смесь Гауссовых распределений, которым соответствует X k 1 , и параметры распределений пересчитываются по следующим формулам: ( j j k 1 (1 ) j k , (2.16) j k 1 (1 ) j k X k 1 , (2.17) k 1 2 ) (1 )( j ) 2 ( X k 1 kj 1 )( X k 1 kj 1 )T , k (2.18) где - заданная константа, N ( X k 1 kj , kj ) . В случае, если для всех распределений X k 1 не соответствует, параметры k 1 не изменяются, однако пересчитываются коэффициенты j по следующей формуле: j k 1 (1 ) j k (2.19) 2. Соответствие не обнаружено. Тогда последнее (в смысле введенного отношения порядка) распределение Гаусса замещается распределением с новыми параметрами. Математическое ожидание уравнивается текущему значению цвета пикселя: Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 23
s k 1 X k 1 (2.20) k 1 2 Дисперсия ( s ) выбирается максимально возможной, а вес sk 1 - минимально допустимым. Количество распределений выбирается исходя из сложности фона и имеющихся вычислительных мощностей (в [20] предлагается использовать значение в пределах от 3 до 5). Метод извлечения визуального фона (Visual Background Extractor, ViBe) [22]. В данном методе модель фона на k -ом кадре представляется k набором множеств M ( p) 1 ,2 ,..., N для всех пикселей p ( x, y ) , где i – интенсивность/цвет пикселя. Для классификации пикселя p в цветовом пространстве строится сфера S R ( ( x)) , радиус которой R, также вычисляется количество векторов множества M ( p ) которые попадают в построенную сферу. K S R ( ( p)) M ( p) , (2.21) K Tmin , (2.22) где Tmin – фиксированное пороговое значение. Если выполняется условие (2.22), то принимается, что пиксель p принадлежит фону, в противном случае, объекту. На первом шаге должна быть выполнена инициализация множеств M 0 ( p) для всех пикселей p по формуле: M 0 ( p) 0 ( y), y NG ( p) , (2.23) Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 24
где N G ( p) – окрестность пикселя размера 3x3 (9 клеток, включая текущий пиксель); y выбирается N раз случайным образом. Обновление модели фона для кадра I k состоит из двух этапов: 1. Если p является пикселем фона, то из множества M k ( p) случайно выбирается компонента, которая заменяется значением ( p ) . 2. Случайным образом выбирается один соседний пиксель из окрестности N G ( p) , для которого выполняется предыдущий шаг. Существует множество методов построения моделей фона. В данном разделе представлены только некоторые из них. В настоящее время ведутся активные исследования в этом направлении. 2.3 Метод оптического потока Оптический поток представляет собой изображение видимого движения объекта, поверхностей или краев сцены, получаемое в результате перемещения наблюдателя (глаз или камеры) относительно сцены. Алгоритмы, основанные на оптическом потоке (регистрация движения, сегментация объектов, кодирование движений) используют это движение объектов, поверхностей и краев. По сути, оптический поток – это поле скоростей, так как сдвиг точки между двумя изображениями эквивалентен мгновенной скорости. Вычисление оптического потока – нахождение векторов (скоростей) для оценки движения объекта [26]. Применение данного подхода требует выполнения двух основных условий: яркость каждой точки объекта не изменяется с течением времени; ближайшие точки, принадлежащие одному объекту, в плоскости Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 25
изображения двигаются с похожей скоростью. 2.3.1 Оценка оптического потока Методы, основанные на оптическом потоке, вычисляют движение между двумя кадрами в каждом пикселе. Кадры берутся в момент времени t и t t . Данные методы называются дифференциальными, так как они основаны на приближении применяют сигнала частные отрезком ряда производные Тейлора. по Поэтому времени и эти подходы пространственным координатам. В случае размерности 2D t (при большей размерности аналогично) пиксель в позиции ( x, y , t ) с интенсивностью I ( x, y, t ) за один кадр будет перемещен на x , y и t . Вследствие того, что интенсивность точки не изменяется, получается: I ( x, y, t ) I ( x x, y y, t t ) (2.24) Так как перемещение мало, при помощи ряд Тейлора выводится уравнение (2.25): I ( x x, y y, t t ) I ( x, y, t ) I I I x y t x y t (2.25) Из данных равенств следует: I I I x y t 0 x y t (2.26) Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 26
или I x I y I t 0 x t y t t t . (2.27) Исходя из равенства (2.27) можно получить: I I I Vx Vy 0, x y t (2.28) где V x , V y — компоненты скорости оптического потока в I ( x, y, t ) , I I I x y t — производные изображения в ( x, y , t ) в соответствующих направлениях. Таким образом: I xVx I yV y I t (2.29) или I T V I t (2.30) Уравнение (2.30) – это уравнение оптического потока [27]. Данное равенство содержит две неизвестных V x , V y и не может быть однозначно разрешено. Следовательно, необходимо ввести дополнительное предположение. Например, пусть оптический поток меняется плавно от кадра к кадру, т. е. для всех пикселей p из окрестности ( x, y ) оптического потока смещение будет постоянным. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 27
2.3.2 Методы определения оптического потока Существует множество разных методов определения оптического потока: Фазовая корреляция — инверсия нормализованного перекрестного спектра. Блочные методы — поиск местоположения заданных областей - (блоков) текущего кадра на предыдущем кадре. Дифференциальные - методы оценки оптического потока, базирующиеся на частных производных сигнала: 1. Алгоритм Лукаса — Канаде 2. Horn–Schunck 3. Buxton–Buxton Horn-Schunk. При использовании алгоритма Horn–Schunck учитывается, что на всем изображении оптический поток будет достаточно гладким [28]. Вводятся две функции, определяющие ошибку: 1. Характеризует несовпадение интенсивностей исходного и смещенного пикселей I ( x, t ) , (2.31) t 2 Ed ( x, u ) Ed ( I 0 ( x) I1 ( x u )) I 0 ( x) I1 ( x u ) u I ( x, t ) 2 где u – смещение точки. 2. Характеризирует ещё одно требование на отсутствие резкого изменения скоростей/сдвигов. Es (u) Es (u, u) u 2 (2.32) Происходит минимизация аналога энергии по формуле (2.33): Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 28
I ( x, t ) 2 E Ed E s dx u I ( x, t ) u ( x) dx , x1 x1 t 2 (2.33) где λ - неотрицательный весовой коэффициент. В данном случае может быть применено уравнение Эйлера-Лагранжа [29]. I x2 u I x I y 2 u I x I t I x I y u I y2 2 I y I t (2.34) Исходя из данного уравнения, приблизив лапласиан взвешенной суммой и выписав такие уравнения для всех точек изображения, можно найти u(x). TV-L1 (Total Variation in L1). Подходы, базирующиеся на методе наименьших квадратов, работают эффективно, когда ошибка в сохранении интенсивности точки: e( x) uI ( x, t ) I t ( x, t ) (2.35) распределена примерно как N (0, 2 ) [26]. Данное утверждение выполняется редко, так как интенсивность объектов меняется. Это происходит из-за теней, зависящих от времени суток, мерцаний освещения, изменений наклона поверхностей, появления бликов и так далее. Данные методы неэффективны в тех случаях, когда е(х ) хорошо описывается распределениями с так называемыми «тяжелыми хвостами», также они не устойчивы к выбросам [26]. В основе алгоритма DTV-L1 лежит та же идея, что и в алгоритме HornSchunk, но имеет в основе подынтегральные функции в метрике L1, то есть Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 29
E d (u I ( x, t ) I ( x, t ) I ( x, t ) ) u I ( x , t ) t t (2.36) E s (u , u ) u В случае использования функций такого вида возникают некоторые математические сложности: не дифференцируемость модуля в 0, то есть невозможность использования формулы Эйлера-Лагранжа для вариации функционала Е . Для решения данной проблемы было решено модифицировать х подынтегральную функцию, приводя её к виду, удобному для оптимизации [30]. MDPOF (Motion Detail Preserving Optical Flow Estimation). Существует алгоритм [31], применяющий минимизацию функционала "энергии" в метрике L1, который вводит дополнительное бинарное поле γ(x) ∈ {0, 1}, x ∈ II, определяющее заслонение большого объекта малым. Ed ( x, u, ) I1 ( x u ) I 0 ( x) (1 ) I1 ( x u ) I 0 ( x) (2.37) E s ( x, u ) ( x) u (2.38) , где ( x) exp( I 0 ( x) ) , k~0.8 k E (u ) x Подход, E d ( x, u, ( x)) E s ( x, u )dx (2.39) который вычисляется бинарное поле γ(x), решает проблему корректной обработки краев объекта, а именно мест, где u (x) терпит разрыв [31]. Метод Лукаса–Канаде. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 30
Алгоритм Лукаса-Канаде является одним из методов, применяющихся для вычисления оптического потока. Данный алгоритм используется достаточно широко в задачах оценки движения объекта. Метод Лукаса-Канаде обрабатывает пиксели в окрестности конкретной точки, поэтому его называют локальным подходом вычисления оптического потока [32]. Алгоритм предполагает, что: 1. Смещение точек на двух кадрах видеопоследовательности незначительное. 2. Смещение точек в окрестности некоторой точки 𝑝 одинаково. Существует предположение: D q1 , q2 ,..., qn – набор точек в окрестности точки 𝑝. Тогда, можно записать систему уравнений I x (q1 )Vx I y (q1 )V y I t (q1 ) I (q )V I (q )V I (q ) x 2 x y 2 y t 2 I x (qn )Vx I y (qn )V y I t (qn ) , (2.40) где q1, q2,…,qn — точки внутри окна поиска, I x ( qi ), I y ( qi ), I t ( qi ) - частные производные изображения I по x, y и времени t, вычисляемые в точке qi в текущий момент времени. Эти выражения можно переписать в матричной форме Aʋ=b, где I x (q1 ) I y (q1 ) I t (q1 ) I (q ) I (q ) I (q ) Vx x 2 y 2 A , v , b t 2 V y I t (q n ) I x (q n ) I y (q n ) (2.41) Эта система уравнений обычно сильно избыточна, поэтому обычно ее решают методом наименьших квадратов. В результате получается Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 31
AT Av AT b (2.42) Из уравнения 2.42 можно вывести v ( AT A) 1 AT b, (2.43) T где A - транспонированная матрица A . Выражение 2.43 можно записать в матричном виде Vx i I x (qi ) 2 V y i I x (qi ) I y (qi ) I (q ) I (q ) I (q ) i x i i y y i 2 i 1 i I x (qi ) I t (qi ) i I y (qi ) I t (qi ) (2.44) В основном набор точек в окрестности точки 𝑝 ограничен окном, размер которого N M . Основная проблема заключается в прямой зависимости между количеством уравнений в системе (2.40) и числом точек в окрестности определенной точки. То есть, чем больше количества точек в окрестности точки, тем больше уравнений будет содержать система. Для решения проблемы используется взвешенный метод наименьших квадратов. При определении весовых коэффициентов пикселей на изображении применятся функция W ( x, y ) [33]. Исходя из данного метода, для нахождения решения необходимо минимизировать невязку: E (V ) W ( x, y)I ( x, y, t ) I ( x x, y y, t t ) 2 x , yD W ( x, y )( x , yD I I I Vx V y ) x y t 2 , (2.45) где V (V x ,V y ) W ( x, y ) - весовые коэффициенты, присвоенные пикселям q i . Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 32
Чтобы найти минимум E (V ) применяют метод наименьших квадратов, с нахождением её частных производных по V x и V y : E (V ) I I I I 2 W ( x, y )( Vx V y ) Vx x y t x x , yD I 2 I I I I 2 W ( x, y ) Vx Vy y x t x x , yD x (2.46) E (V ) I I I I 2 W ( x, y )( Vx V y ) V y x y t y x , yD 2 I I I I I 2 W ( x, y ) Vx V y x y y t y x , yD (2.47) Данные уравнения можно переписать в более компактной форме и приравняем к нулю: I 2 I I I I Vy W ( x, y ) V x 0 y x t x x , yD x 2 I I I I I W ( x , y ) V V x y y t y 0 x x y , yD (2.48) Система уравнений (2.44) может быть представлена в матричной форме: 2 I W ( x , y ) x x , yD I I W ( x, y ) x , yD x y I I W ( x, y) y x 2 I W ( x, y) y x , yD x , yD I W ( x, y ) V x x , yD t V I y W ( x, y ) t x , yD I x I y (2.49) Пусть Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 33
2 I W ( x , y ) x x , yD A I I W ( x, y ) x y x , yD I W ( x, y ) t x , yD B I W ( x, y ) t x , yD I I W ( x, y) y x 2 I W ( x, y) y x , yD x , yD V V x V y . (2.50) I x I y Тогда A V B 0 (2.51) V A 1 B (2.52) или Выражение 2.52 можно записать как систему уравнений 2 I W ( x, y ) V x x , yD x V I I y W ( x, y ) x y x , yD I I W ( x, y ) x , yD y x 2 I W ( x, y) y x , yD 1 I W ( x, y ) t x , yD I W ( x, y ) t x , yD I x I y (2.53) В настоящее время методы вычисления оптического потока становятся все популярнее. Их применяют при определении направления движения объектов; определении расстояния между объектами с помощью анализа оптического потока кадров, полученных с двух камер (стереозрение). С помощью методов оптического потока может быть проведено наиболее аккуратное выделение движущихся объектов, даже в случае перемещения камеры. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 34
3 РАЗРАБОТКА И ИССЛЕДОВАНИЕ АЛГОРИТМОВ ОБНАРУЖЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ Для разработки и исследования были выбраны следующие методы: метод вычитания фона; метод вычитания фона с использованием смеси Гауссовых распределений (GMM); метод оптического потока (алгоритм Лукаса-Канаде). Реализация и исследование выбранных методов было проведено в программном комплексе MATLAB R2014a и Simulink с использованием пакета Computer Vision System Toolbox. Computer Vision System Toolbox (набор средств для проектирования систем компьютерного зрения) содержит алгоритмы и инструменты для разработки и моделирования систем компьютерного зрения и обработки видео. Он включает методы для выявления деталей, детектирования движения, обнаружения и отслеживания объектов, стереозрения, обработки и анализа видео. Имеются инструменты для ввода/вывода видео-файлов, отображения видео, построения графики и компоновки. Данные возможности предоставлены в виде системных объектов и функций MATLAB и блоков Simulink. Кроме того, системный набор инструментов поддерживает арифметику с фиксированной точкой и генерацию Си кода, что позволяет быстро создавать прототипы системы и разрабатывать встраиваемые системы. Были разработаны алгоритмы выбранных методов: метод вычитания фона; метод вычитания фона с использованием смеси Гауссовых распределений (GMM); алгоритм Лукаса-Канаде для вычисления оптического потока. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 35
3.1 Разработка алгоритмов обнаружения движущихся объектов 3.1.1 Разработка алгоритма вычитания фона Был разработан алгоритм вычитания фона. Блок-схема алгоритма представлена на рисунке 3.1. Начало Ввод видео Первый кадр принимается за фоновое изображение Исследование следующего кадра Вычитание фонового изображения из текущего кадра видео да нет Пиксель принадлежит фону Пиксель принадлежит объекту Конец Рисунок 3.1 – Блок-схема алгоритма вычитания фона Блок 1 – Начало; Блок 2 – Ввод видео-данных; Блок 3 – Первый кадр видео принимается за фоновое изображение без движущегося объекта; Блок 4 – Исследование следующего кадра; Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 36
Блок 5 – Находится разность текущего кадра видео и фонового изображения; Блок 6 – Определить истинность выражения (больше ли полученная разность выбранного порога): Dk ( x, y) - если истинно, то есть ( Dk ( x, y) ), то осуществляется переход к блоку 6; - если ложно, то есть ( Dk ( x, y) ), то осуществляется переход к блоку 7; Блок 7 – Пиксель определяется, как принадлежащий объекту; Блок 8 – Пиксель определяется, как принадлежащий фону; Блок 9 – Конец. 3.1.2 Разработка алгоритма вычитания фона с использованием смеси Гауссовых распределений (GMM) Был разработан алгоритм вычитания фона с использованием смеси Гауссовых распределений (GMM). Блок-схема алгоритма представлена на рисунке 3.2. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 37
Начало Ввод видео Определяются распределения значений цвета для каждого пикселя Первые распределения относятся к цвету фоновых пикселей Исследование следующего кадра Рассчитывается расстояние Махаланобиса нет Пиксель принадлежит объекту нет Обнаружено соответствие полученного значения и распределения Гаусса, соотвествующего фону Обнаружено соответствие распределения Гаусса для цвета текущего пикселя да Пиксель определяется как фоновый да Параметры распределений обновляются µ=Xk+1 (σ )² =max ω = min Конец Рисунок 3.2 – Блок-схема алгоритма вычитания фона с использованием смеси Гауссовых распределений Блок 1 – Начало; Блок 2 – Ввод видео-данных; Блок 3 – Определяется распределение наблюдаемых значений цвета для каждого пикселя. Новое значение цвета можно представить как одну из основных компонент полученной смеси Гауссовых распределений. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 38
k Блок 4 – Первые B распределений относятся к цвету фоновых пикселей, когда выполняется следующее условие b B k arg minb kj T j 1 , (3.1) где T – пороговое значение, параметр модели. Блок 5 – Исследование следующего кадра; Блок 6 – Для каждого пикселя изображения выполняется тест, с помощью которого при использовании расстояния Махаланобиса, определяется, какому распределению соответствует полученное значение. Блок 7 – Проверяется обнаружено ли соответствие полученного значения и распределения Гаусса, соответствующего фону: - если соответствие обнаружено, то пиксель определяется как фоновый; - если соответствие не обнаружено, то принимается, что пиксель принадлежит объекту. Блок 8 – Проверяется обнаружено ли соответствие распределения Гаусса для цвета текущего пикселя: - если соответствие обнаружено, то параметры распределений обновляются по следующим формулам: j k 1 (1 ) j k X k 1 , ( j k 1 2 ) (1 )( j ) 2 ( X k 1 kj 1 )( X k 1 kj 1 ) T , k (3.2) (3.3) где N ( X k 1 kj , kj ) . Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 39
- если соответствие не обнаружено, то математическое ожидание k 1 2 уравнивается текущему значению цвета пикселя. Дисперсия ( s ) выбирается максимально возможной, а вес sk 1 - минимально допустимым. Блок 9 – Конец. 3.1.3 Разработка алгоритма Лукаса-Канаде для вычисления оптического потока Был разработан алгоритм Лукаса-Канаде для вычисления оптического потока. Блок-схема алгоритма представлена на рисунке 3.3. Начало Ввод видео Нахождение частных производных I по координатам x, y и времени t в точке qi Составление матрицы А Составление матрицы B Нахождение вектора движения V Конец Рисунок 3.3 – Блок-схема алгоритма Лукаса-Канаде для вычисления оптического потока Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 40
Блок 1 – Начало; Блок 2 – Ввод видео-данных; Блок 3 – Находятся частные производные изображения I по x, y и времени t, вычисляемые в точке qi в текущий момент времени; Блок 4 – Составляется матрица A, состоящая из частных производных изображения I по x, y, вычисляемые в точке qi ; Блок 5 – Составляется матрица b, состоящая из частных производных изображения I по времени t, вычисляемые в точке qi; Блок 6 – Находится вектор движения; Блок 7 – Конец. 3.2 Исследование алгоритмов обнаружения движущихся объектов Для исследования алгоритмов были выбраны 4 видео-фрагмента. При выборе видеороликов учитывались следующие требования: видео должно быть снято в разных окружающих условиях, в различное время суток, должны быть разные погодные условия. В соответствии с данными требованиями были использованы видео, описание которых представлено в таблице 3.1. Таблица 3.1 – Описание использованных видеороликов Название видео 1 Тип видео Что в кадре Условия съемки cars.avi 2 3 720х576, 25fps автомобили 4 день, солнечно atrium.avi 720х576, 25fps люди день, искусственное освещение помещения cars_night.avi 720х576, 25fps автотрасса, автомобили ночь, свет от фар автомобилей Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 41
Окончание таблицы 3.1 1 snow.avi 2 720х576, 25fps люди, 3 4 день, пасмурно, снег автомобили Было проведено исследование разработанных алгоритмов, программные коды приведены в приложениях А – В. Результаты исследований представлены на рисунках 3.1 – 3.4. а) б) в) Рисунок 3.1 – Результаты работы алгоритмов: а) Алгоритм вычитания фона б) Алгоритм Лукаса-Канаде в) Алгоритм вычитания фона с использованием GMM Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 42
а) б) в) Рисунок 3.2 – Результаты работы алгоритмов: а) Алгоритм вычитания фона б) Алгоритм Лукаса-Канаде в) Алгоритм вычитания фона с использованием GMM а) б) Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 43
в) Рисунок 3.3 – Результаты работы алгоритмов: а) Алгоритм вычитания фона б) Алгоритм Лукаса-Канаде в) Алгоритм вычитания фона с использованием GMM а) б) в) Рисунок 3.4 – Результаты работы алгоритмов: а) Алгоритм вычитания фона б) Алгоритм Лукаса-Канаде в) Алгоритм вычитания фона с использованием GMM Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 44
По рисунку 3.1 можно сказать, что алгоритм вычитания фона (рисунок 3.1 (а)) не определил движение второй машины, которая только начала своё движение. Это объясняется латентностью в обновлении модели фона: должно пройти некоторое время, прежде чем в модели будут учтены изменения, связанные с началом движения или остановкой объекта. Это можно наблюдать и у алгоритма вычитания фона с использованием смеси Гауссовых распределений (рисунок 3.1 (в)). Однако же метод Лукаса-Канаде обнаруживает движущиеся объекты без временных задержек (рисунок 3.1 (б)). Алгоритм вычитания фона и алгоритм с использованием смеси Гауссовых распределений не могут отделить движущиеся тени от объектов. Поэтому на рисунках 3.2 (а) и 3.2 (в) вместе с объектом выделяется и область с тенью. Тогда как алгоритм Лукаса-Канаде не захватывает тень при выделении объекта, то есть выделение более точное (рисунок 3.2 (б)). Алгоритм вычитания фона и алгоритм с использованием смеси Гауссовых распределений достаточно неэффективны при минимальном освещении. Возникают ложные срабатывания: выделяются светлые области машин и освещенные участки дороги. Движение самих объектов не определяется (рисунки 3.3 (а, в)). Алгоритм Лукаса-Канаде не зависит от уровня освещенности. Что показано на рисунке 3.3 (б). Неблагоприятные погодные условия влияют на работу алгоритмов вычитания фона. По рисункам 3.4 (а) и 3.4 (в) можно сказать, что падающий снег вызывает ложные срабатывания. При работе алгоритма вычитания фона с использованием смеси Гауссовых распределений наблюдается меньшее количество ложных срабатываний, чем при работе алгоритма вычитания фона. Алгоритм Лукаса-Канаде устойчив к помехам такого рода. Однако данный метод имеет сильные ограничения в допустимой скорости движения объектов – движения медленнее, чем один пиксель за кадр, не обнаруживаются вовсе (рисунок 3.4 (б)). Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 45
Было проведено исследование алгоритмов на влияние шумов. Каждый кадр видео был зашумлен на основании соотношения: fˆik f ik ̂ik M ˆ ik d где 2 N f i 1 k 1 M (3.4) ik 2 N ik ik i 1 k 1 d – значение желаемого отношения шум/сигнал; ik – массив значений искажений, представляющий набор псевдослучайных чисел, который вычисляется для каждого кадра. Для зашумления кадров видео был использован белый гауссовский шум. На рисунках 3.5-3.6 представлены результаты работы алгоритмов. а) б) в) г) Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 46
д) е) Рисунок 3.5 – Результаты работы алгоритмов: а) Алгоритм вычитания фона (шум/сигнал=0.1); б) Алгоритм вычитания фона (шум/сигнал=0.3); в) Алгоритм вычитания фона (шум/сигнал=0.4); г) Алгоритм вычитания фона с использованием GMM (шум/сигнал=0.1); д) Алгоритм вычитания фона с использованием GMM (шум/сигнал=0.3); е) Алгоритм вычитания фона с использованием GMM (шум/сигнал=0.4) а) б) в) Рисунок 3.6 – Результаты работы алгоритмов: а) Алгоритм Лукаса-Канаде (шум/сигнал=0.1); б) Алгоритм Лукаса-Канаде (шум/сигнал=0.3); Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 47
в) Алгоритм Лукаса-Канаде (шум/сигнал=0.4) Были рассчитаны вероятности правильного обнаружения и вероятности ложной тревоги для предложенных соотношений шум/сигнал. Вероятность правильного обнаружения была вычислена по следующему алгоритму. 1 – матрица значений исходного кадра видео, 1 f ik1 , i 1,2,..., N , k 1,2,..., M . 2 – матрица значений зашумленного кадра видео, 2 f jl2 , j 1,2,..., N , l 1,2,..., M . N – количество кадров в видеопоследовательности. Необходимо определить координаты местоположения движущегося объекта. Произвести сравнение найденных координат точки для исходного и зашумленного кадров видео. pt 1, i j & k l pt 0, i j k l (3.5) Проделать данные вычисления N раз и усреднить полученные значения p, N P py N (3.6) y 1 в результате чего, будет получена средняя вероятность правильного обнаружения движущегося объекта на зашумленном видео. Вероятность ложной тревоги была вычислена по следующему алгоритму. – матрица значений зашумленного кадра видео без движущихся объектов, 1 f ik1 , i 1,2,..., N , k 1,2,..., M . Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 48
N – количество кадров в видеопоследовательности. Если алгоритмом был найден движущийся объект, то pt 1 (3.7) Если алгоритм не определит никакого движения, то pt 0 (3.8) Проделать данные вычисления N раз и усреднить полученные значения p, N P py N (3.9) y 1 в результате чего, будет получена средняя вероятность ложной тревоги на зашумленном видео. Результаты вычислений сведены в таблицы 3.2 и 3.3. Таблица 3.2 – Вероятности правильного обнаружения Видео 1 (cars.avi) шум/сигнал=0.1 шум/сигнал=0.3 шум/сигнал=0.4 2 0.8 3 0.8 4 0.8 0.9 0.9 0.9 1 Метод вычитания фона Метод вычитания фона с использованием GMM Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 49
Окончание таблицы 3.2 1 Метод Лукаса- 2 0.8 3 0.5 4 0.3 Канаде Таблица 3.3 – Вероятности ложной тревоги Видео 1 (cars.avi) шум/сигнал=0.1 шум/сигнал=0.3 шум/сигнал=0.4 0 0 0.2 0 0 0 0.1 0.5 0.7 Метод вычитания фона Метод вычитания фона с использованием GMM Метод ЛукасаКанаде По данным таблиц видно, что алгоритм вычитания фона и алгоритм с использованием смеси Гауссовых распределений достаточно устойчивы к воздействию шума различной интенсивности. Но при применении алгоритма вычитания фона при достаточно большом соотношении шум/сигнал появляются ложные срабатывания. Главным недостатком метода ЛукасаКанаде является неустойчивость к воздействию шума. С увеличением отношения шум/сигнал увеличивается вероятность ложных срабатываний, а также снижается вероятность правильного обнаружения. Что также можно видеть на рисунке 3.6. Были проведены исследования работы алгоритмов на влияние разрешения видео-данных. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 50
Разрешение видео – это количество точек (пикселей) в изображении по вертикали и горизонтали. Разрешение записывается в виде произведения X Y где X (3.10) – количество точек в горизонтальной линии (горизонтальное разрешение) Y – количество линий (вертикальное разрешение). Было уменьшено разрешение каждого кадра видео в 2 и 4 раза. Были найдены вероятности правильного обнаружения, представленные в таблице 3.4. Таблица 3.4 – Вероятности правильного обнаружения Видео 1 (cars.avi) M N M N 2 2 M N 4 4 0.8 0.6 0 0.9 0.7 0.3 0.95 0.85 0.5 Метод вычитания фона Метод вычитания фона с использованием GMM Метод ЛукасаКанаде * – ширина кадра; ** – высота кадра. Как видно из таблицы 3.4 уменьшение разрешения больше влияет на метод вычитания фона. При уменьшении разрешения каждого кадра в видеопоследовательности в 4 раза данный метод не определяет движущиеся объекты. В данном случае самым точным оказался метод оптического потока Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 51
(алгоритм Лукаса-Канаде): при уменьшении разрешения каждого кадра в видеопоследовательности в 4 раза вероятность правильного приема равна 0.5. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 52
4 ЭКОНОМИЧЕСКАЯ ОЦЕНКА РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ Основной целью научно-исследовательской или опытно-конструкторской работы является проведение работ, направленных на анализ, проектирование или разработку каких-либо устройств. Результатом таких работ могут являться разработанный прототип прибора или программный продукт, выполняющий определенные функции, рекомендации по эксплуатации прибора или технологии, нормативные акты и так далее. 4.1 Планирование работ по исследованию В проведении исследования задействованы следующие специалисты: - главный инженер или старший научный сотрудник (заведующий лабораторией), осуществляющий общее руководство исследованием; - инженер І категории или младший научный сотрудник, проводящий разработку, исследование, необходимые расчеты, составляющий техническую документацию на исследование; - экономист, дающий экономическую оценку исследования. Расчет сроков проведения и трудоемкости представлен в таблице 4.1. Таблица 4.1 - Планирование работ по исследованию Наименование этапов работ Исполнитель Трудоем кость, час 1 1.Подготовительный 1.1.Сбор информации 2 3 Продолжи тельность, дней 4 Младший научный сотрудник 48 6 Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 53
Окончание таблицы 4.1 1 1.2.Выработка идеи 2 Старший научный сотрудник 3 48 48 4 6 6 1.3.Определение Младший научный объема сотрудник исследовательских работ 1.4.Формирование Младший научный исследовательской сотрудник работы 1.5.Обработка и анализ Младший научный информации сотрудник Итого: 2.Основной (экономический анализ) 2.1.Обоснование Старший научный целесообразности сотрудник работы 2.2.Выполнение работы Младший научный сотрудник Итого: 3.Заключительный 3.1.ТехникоЭкономист экономическое обоснование 3.2.Оформление и Младший научный утверждение сотрудник документации Итого: 16 2 16 2 80 10 256 32 32 4 96 12 128 16 48 6 48 6 96 12 Результат планирования представляет собой расчет трудоемкости исследования по часам и по количеству дней. Была определена численность штата производственного персонала, который необходим для проведения исследования. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 54
4.2 Расчет расходов на оплату труда на исследование Расчет расходов на оплату труда разработки исследования представлен в таблице 4.2. Таблица 4.2 - Расчет расходов на оплату труда Должность Исполнителей Трудоемкость, Оклад, час руб 1 Младший научный сотрудник Старший научный сотрудник Экономист Итого: 2 304 3 13000 128 15000 48 480 12000 Часовая тарифная ставка (ЧТС) рассчитывается следующим образом: Ч ТС Р F , (4.1) мес где Fмес – фонд рабочего времени месяца, составляет 176 часов (22 рабочих дня по 8 часов в день); Р – оклад сотрудника. Расход на оплату труда (РОТ) можно найти по следующей формуле: , Р Ч *Т ОТ ТС сум (4.2) где ТСУМ – суммарная трудоемкость каждого из исполнителей. Результаты расчетов представлены в таблице 4.3. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 55
Таблица 4.3 - Расчет расходов на оплату труда Должность Исполнителей Трудоемкость, Оклад, час руб ЧТС, руб/час РОТ, руб 1 Младший научный сотрудник Старший научный сотрудник Экономист Итого: 2 304 3 13000 4 73,86 5 22453,44 128 15000 85,23 10909,44 48 480 12000 68,18 3272,64 36635,52 4.3 Расчет продолжительности исследования Согласно данным таблицы 4.3 трудоемкость исследования составила 480 часов. Продолжительность исследования составит: (4.3) Т иссл Т сум / Т РД где ТСУМ = 480 часов суммарная трудоемкость исследования ТРД = 8 часов – продолжительность рабочего дня ТИССЛ = 480/8 = 60 дней. Продолжительность исследования составляет 60 дней, расчет производится без учета выходных и праздничных дней. 4.4 Расчет стоимости расходных материалов Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 56
В данном разделе учитываются расходы на приобретение основных материалов, необходимых для проведения исследования, оформления соответствующей документации, а также учитывается стоимость картриджа. Расчет стоимости расходных материалов представлен в таблице 4.4. Таблица 4.4 - Стоимость расходных материалов Наименование Цена за расходных материалов единицу, руб. 1 2 Бумага 170 Канцтовары 150 Расходные материалы 3200 для принтера (картридж) Итого: Количество, шт. Сумма, руб. 3 2 - 4 340 150 3200 3690 Было определено, что для проведения исследования затраты на приобретение расходных материалов составят 3690 рублей. 4.5 Расчет сметы расходов на исследование С учетом часовой тарифной ставки были рассчитаны общие расходы на разработку и проведение исследования. В данную статью расходов включаются премиальные выплаты, районный коэффициент и страховые взносы. Для оценки затрат на исследование была составлена смета на разработку и проведение исследования. Был произведен расчет расходов: Премиальные выплаты рассчитываются по формуле: , ПВ Р К ОТ ПВ (4.4) Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 57
где КПВ - коэффициент премиальных выплат, составляет 20 %, в случае если премии не предусмотрены КПВ=1. ПВ = 36635,52∙0,2=7327,10 руб. Дополнительные затраты на проведение исследования определяются по формуле: З ДОП Р К , ОТ (4.5) где К - коэффициент дополнительных затрат (К=14%). ЗДОП = РОТ · 14 %. ЗДОП =36635,52·0,14=5128,97 В заработной плате может быть предусмотрен районный коэффициент, характеризующий доплату при работе в трудных условиях. Величина коэффициента определяется в зависимости от характера производства. РК Р К ОТ РВ (4.6) где КРВ – коэффициент районных выплат, для примера составляет 15 % от суммы. РК =(36635,52) ·0,15 =5495,33 руб. Общие расходы на оплату труда вычисляются по формуле: Р Р ПВ РК З общ ОТ ДОП (4.7) где РОТ - основная заработная плата; ПВ - премиальные выплаты; ЗДОП - дополнительные затраты; РК - районный коэффициент. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 58
Σ РОТ =36635,52+7327,10+5495,33+5128,97 Σ РОТ =54586,92 руб. Из таблицы 4.4 берется итоговая сумма стоимости расходных материалов по статье расходных материалов. Σ РРМ =3690 руб. Страховые взносы рассчитываются по формуле: СВ Р 0,3 ОТ (4.8) СВ =36635,52·0,30=10990,66 Амортизационные исчисления на использование компьютера составляют 25% от стоимости компьютера и вычисляются по формуле. АО С ПК 0,25 (4.9) АО = 28000 ·0,25=7000 руб. Расходы на использование Интернета берутся из расчета месячной абонентской платы для предприятия. Пусть: РИНТ=1250 руб. Административно-хозяйственные расходы составляют 50% от основной заработной платы (РОТ). Р АХ Р 0,5 ОТ (4.10) Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 59
РАХ=36635,52·0,5=18317,76 руб. Результаты расчета расходов были сведены в таблицу. Смета расходов на разработку и проведение исследования представлена в таблице 4.5. Таблица 4.5 - Смета расходов на разработку и проведение исследования Наименование статей расходов 1 1.Стоимость расходных материалов 2. Расходы на оплату труда 2.1. Основная заработная плата 2.2. Дополнительные затраты 2.3. Премиальные выплаты 2.4 Районный коэффициент 3. Единый социальный налог 4. Амортизационные исчисления на использование компьютера 5. Расходы на использование Интернет 6.Административно-хозяйственные расходы Итого: Сумма, руб. 2 3690 54586,92 36635,52 5128,97 7327,10 5495,33 10990,66 7000 Удельный вес статей, % 3 3,92 1250 18317,76 0,99 16,68 95835,34 100 33,36 4,67 13,35 5,0 14,66 7,36 Результатом экономической оценки исследования является определение затрат на разработку и реализацию исследования: - продолжительность исследовательских работ составила 60 дней; - сметы расходов на исследование – 95 835 рублей. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 60
ЗАКЛЮЧЕНИЕ В ходе произведен выполнения обзор выпускной методов видеопоследовательности. При квалификационной обнаружения движущихся работы объектов был на этом можно отметить, что существует множество методов обнаружения объектов: алгоритмы, базирующиеся на временных различиях кадров, а также моделирование и вычитание заднего фона. В связи с чем, для исследования были выбраны следующие методы обнаружения движущихся объектов на видео-данных: метод вычитания фона, метод вычитания фона с использованием смеси Гауссовых распределений, метод оптического потока (алгоритм Лукаса-Канаде). Были разработаны алгоритмы выбранных методов, выполнена программная реализация в программном пакете Matlab, а также проведены исследования разработанных алгоритмов при различных погодных условиях, при наличии шума. Были найдены вероятности правильного обнаружения движения для разного соотношения шум/сигнал. Судя по полученным результатам исследования можно сделать следующие выводы: - Алгоритм Лукаса-Канаде для построения оптического потока довольно устойчив к изменениям освещенности, яркости и контрастности кадров видеопоследовательности. Недостатками данного метода являются неустойчивость к воздействию шума, а также неэффективность обнаружения объектов при медленных движениях (медленнее, чем 1 пиксель за кадр). Данный алгоритм также является более устойчивым к изменениям разрешения видео-данных, чем алгоритмы вычитания фона. - Главным недостатком метода вычитания фона является возможная классификация фоновых пикселей как переднеплановых. Это возникает при появлении на видеопоследовательности листьев деревьев, колышущихся на Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 61
ветру, падающих снега и дождя, теней, отбрасываемых движущимися объектами и так далее. Для данного метода также свойственна латентность в обновлении модели фона. Алгоритм не устойчив к изменению разрешения видео-данных, то есть при уменьшении разрешения видео вероятность правильного обнаружения движущегося объекта значительно падает. Преимущества данного метода: достаточная устойчивость к воздействию шума любой интенсивности; простота реализации. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 62
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 1. Fisher R. CVOnline: Motion and time sequence analysis related concepts [Электронный ресурс]/ www.ed.ac.uk – официальный сайт Эдинбургского университета/ URL: http://homepages.inf.ed.ac.uk/rbf/CVonline/ (дата обращения 28.04.2016) 2. Сюй Лэй Исследование методов и алгоритмов обнаружения движущихся объектов в видеопотоке [Электронный ресурс]/ www.sntbul.bmstu.ru – официальный сайт Молодежного научно-технического вестника. Издатель ФГБОУ ВПО «МГТУ им. Н.Э.Баумана»/ URL: http://sntbul.bmstu.ru/doc/568760.html (дата обращения 02.05.2016) 3. Radke, R.J. Image Change Detection Algorithms: A systematic survey / R.J. Radke, S. Andra, O. Al-Kofahi, B. Roysam // IEEE Transactions on Image Processing. – 2005. – V. 14(3). – P. 294-307. 4. Dai, X. The effects of image misregistration on the accuracy of remotely sensed change detection / X. Dai, S. Khorram // IEEE Trans. Geoscience Remote Sensing. – 1998. – V. 36(5). – P. 1566-1577. 5. Lillestrand, R. Techniques for change detection // IEEE Trans. On Computers. – 1972. – V. 21(7). – P. 654-659. 6. Li, J. A Video-based Algorithm for Moving Objects Detection at Signalized Intersection / J. Li, C. Shao, C. Dong, D. Zhao, Y. Liu // World Academy of Science, Engineering and Technology. International Journal of Computer, Electrical, Automation, Control and Information Engineering. – 2010. – V. 4(6). – P. 1081-1086. 7. Stojkoska, B. N-Queens-based Algorithm for Moving Object Detection in Distributed Wireless Sensor Networks / B. Stojkoska, D. Davcev, V. Trajkovik // Journal of Computing and Information Technology - CIT 16. – 2008. – V. 4. – P. 325-332. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 63
8. Vu, T.D. Grid-based localization and local mapping with moving object detection and tracking / T.D. Vu, J. Burlet, O. Aycard // Journal of information Fusion. –2010. – P. 58-62. 9. Vargas, M. An Enhanced Background Estimation Algorithm for Vehicle Detection in Urban Traffic Scenes / M. Vargas, J.M. Milla, S.L. Toral, F. Barrero // Vehicular Technology, IEEE Transactions. – 2010. – V. 59(8). – P. 3694-3709. 10. Evans A.N. Digital video preprocessing with multi-dimensional attribute morphology / N.Young and A.N. Evans // Proceedings IEE Visual Information Engineering Conference (VIE) July 2003. – Guildford, Surrey, UK, 2003. – pp.89 92. 11. Морфологические операции на бинарных изображениях [Электронный ресурс] / www.wiki.technicalvision.ru - профессиональный Wiki ресурс «Техническое зрение» / URL: http://wiki.technicalvision.ru/index.php/Морфологические_операции_на_бинарны х_изображениях (дата обращения 20.04.2016) 12. Rosin P. Thresholding for change detection / P. Rosin // Sixth International Conference. 04 Jan 1998-07 Jan 1998 – Bombay, 1998. – P. 274-279. 13. Veit T. A maximality principle applied to a contrario motion detection / Veit T., Cao F., Bouthemy P. // IEEE International Conference on Image Processing. 14 Sept. 2005. – Genova, 2005. 14. по Скрипкина, А.А. Обзор методов обнаружения движущегося объекта видеоизображениям / А.А. Скрипкина // Перспективы развития информационных технологий. – 2011. – № 3-1. – C. 126-127. 15. Töreyin, B.U. Moving Object Detection in Wavelet Compressed Video / B.U. Töreyin, A. Enis Çetin, A. Aksay, M.B. Akhan // Signal Processing: Image Communication, EURASIP. – 2005. – V. 20. – P. 255-264. 16. Bagci, M. Moving object detection using adaptive subband decomposition and fractional lower order statistics in video sequences / M. Bagci, Y. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 64
Yardimci, A.E. Cetin // Signal Process. International Journal of Signal Processing. – 2002. – P. 1942-1947. 17. Nister D. Preemptive RANSAC for live structure and motion estimation / D.Nister // Nince IEEE International Conference on Computer Vision 13-16 Oct. 2003. – Nice, 2003. – P.199-206. 18. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход [Текст] / Д. Форсайт, Ж. Понс. – М.: Изд. д. Вильямс, 2004. – 465с. 19. Haritaoglu, I. W4: Who? When? Where? What? A real time system for detecting and tracking people / I. Haritaoglu, D. Harwood, LS. Davis // Third Face and Gesture Recog Conf. 14-16 Apr 1998. – Nara, 1998. – P. 222-227. 20. Stauffer, C. Adaptive background mixture models for real-time tracking / Chris Stauffer, W. Eric L. Grimson // Conference on Computer Vision and Pattern Recognition 23-25 June 1999. – Ft. Collins, CO, USA, 1999. – P. 2246-2252. 21. Lee, P.H. Real-time pedestrian and vehicle detection in video using 3D cues / P.H. Lee, T.H. Chiu, Y.L. Lin, Y.P. Hung // IEEE international conference on Multimedia and Expo. June 28 2009-July 3 2009. – New York, 2009. – P. 614-617. 22. Barnich, O. ViBe: Auniversal background subtraction algorithm for video sequences / O. Barnich, M. V. Droogenbroeck // IEEE Transactions on Image Processing. June 2011 – 2011. P.1709-1724. 23. Elgammal, A. Efficient Kernel Density Estimation Using the Fast Gauss Transform with Applications to Color Modeling and Tracking / A. Elgammal, R. Duraiswami, L.S. Davis // Patt Analysis and Machine Intelligence. IEEE Transactions. – 2003. – V. 25(11). – 1499-1504. 24. Cheung, S-C Robust techniques for background subtraction in urban traffic video / S-C Cheung, C. Kamath // Proc Elect Imaging: Visual Comm Image Proc. – 2004. – V. 5308. – P. 881-892. 25. Bouwmans, T. Background Modeling using Mixture of Gaussians for Foreground Detection / T. Bouwmans, F. El Baf, B. Vachon // - A Survey Recent Patents on Computer Science. – 2008. – V. 1(3). – P. 219-237. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 65
26. Fleet, D. J. Optical flow estimation / David J. Fleet, Y. Weiss // Mathematical Models in Computer Vision: The Handbook – 2005. – C. 15 – P. 239– 258. 27. Оптический поток [Электронный ресурс] / www.ru.wikipedia.org – свободная энциклопедия / URL: https://ru.wikipedia.org/wiki/Оптический_поток (дата обращения 22.04.2016) 28. Horn, B. K. P Determining Optical Flow / Berthold K. P. Horn, Brian G. Schunck // Artificial Intelligence. – 1981. – V. 17(1-3). – P. 185-203. 29. Эльсгольц, Л.Э. Дифференциальные уравнения и вариационное исчисление [Текст] / Л.Э. Эльсгольц. – Наука, 1969. – 425 с. 30. Zach, C. A Duality Based Approach for Realtime TV-L1 Optical Flow / C. Zach, T. Pock, H. Bischof // 29th DAGM conference on Pattern recognition September 12-14 2007. – Heidelberg, 2007. – P. 214-223. 31. Xu, L. Motion Detail Preserving Optical Flow Estimation / L. Xu, J. Jia, Y. Matsushita // IEEE Conference Computer Vision and Pattern Recognition (CVPR) 13-18 June 2010. – San Francisco, 2010. – P. 1293 – 1300. 32. Performance of optical flow techniques / J. L. Barron, D. J. Fleet, S. S. Beauchemin, T. A. Burkitt // IEEE Computer Society Conference 15-18 Jun 1992. – Champaign, 1992 – P. 236 - 242. 33. Lucas, B. D. An Iterative Image Registration Technique with an Application to Stereo Vision / B. D. Lucas, T. Kanade // Proc. of 7th International Joint Conference on Artificial Intelligence, August 1981. – Vancouver, 1981. – P. 674-679. Лист Изм. Лист № докум Подпись Дата 11070006.11.03.02.180.ПЗВКР 66
Отзывы:
Авторизуйтесь, чтобы оставить отзыв