Научный журнал
Международный журнал экспериментального образования

ISSN 2618–7159
ИФ РИНЦ = 0,431

МЕТОД РЕКОНСТРУКЦИИ ОБЛАЧНО-ТОЧЕЧНОЙ КАРТЫ ОКРУЖАЮЩЕЙ СРЕДЫ НА ОСНОВЕ МОНОКУЛЯРНОГО КОМПЬЮТЕРНОГО ЗРЕНИЯ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ

Гэн Кэ Кэ 1 Чулин Н.А. 1
1 ФГБОУ ВПО «Московский государственный технический университет им. Н.Э. Баумана»
1. Surmann H.,Nuchter A., Hertzberg J., An autonomous mobile robot with a 3D laser range finder for 3D exploration and digitalization of indoor environments[J] // International Journal of Robotics and Autonоmous Systems. –2003. – № 45. – P. 181 –198.
2. Lu H., Zhang F., Wu J. A new real time environment perception method based on visual image for micro UAS flight control[C]//Guidance, Navigation and Control Conference (CGNCC), 2014 IEEE Chinese. IEEE, 2014: 2515-2519.
3. Sa I., Hrabar S., Corke P. Outdoor flight testing of a pole inspection uav incorporating high-speed vision [C] // Field and Service Robotics. Springer International Publishing, 2015: 107-121.
4. Zarco-Tejada P.J., Diaz-Varela R., Angileri V., et al. Tree height quantification using very high resolution imagery acquired from an unmanned aerial vehicle (UAV) and automatic 3D photo-reconstruction methods[J]. European Journal of Agronomy, 2014, 55: 89-99.
5. Krig S. Computer Vision Metrics: Survey, Taxonomy, and Analysis [M]. Apress, 2014.
6. Smith S.M., Brady J.M. SUSAN – a new approach to low level image processing[J]. International journal of computer vision, 1997, 23(1): 45-78.
7. Tinne Tuytelaars, Krystian Mikolajczyk. Local Invariant Feature Detector
8. Camera Calibration Toolbox for Matlab. Режим доступа: http://www.vision.caltech.edu/bouguetj/calib_doc//(дата обращения: 19.10.2014).
9. Fisher R B. The RANSAC (random sample consensus) algorithm[J]. ac. uk/rbf/CVonline/LOCAL_COPIES/FISHER/RANSAC/index. html,[Access 23-May-2006], 2002.

Реконструция окружающей среды является важной разработкой при решении задачи обхода препятствий, планирования маршрута и навигации и т.д. для роботов, как наземных, так и воздушных. Облачно-точечная карта имеет простую структуру, хотя в ней тольно содержаются информации о координаты угловых точек, но уже достотчно для выражения окружающей среды. В настоящее время роботы получают информацию об окружающей среде с помощью GPS, лазерного радара, компьютерного зрения и других датчиков. Учёные Surmann, Nuchter и их коллеги воспроизвели окружающую среду, используя трёхмерный лазерный радар [1], однако лазерный радар имеет высокую стоимость и большие габариты, поэтому он трудно применим для роботов в процессе решения задачи в режиме реального времени. Компьютерное зрение имеет преимущества – невысокая стоимость, высокая точность и малая зависимость от окружающей среды [2 – 4]. В последние годы компьютерное зрение широко используется для решения задачи навигация и получения информации об окружающей среде.

В данной статьей предлагается метод реконструкции облачно-точечной карды окружающей средой в режиме реального времени на основе монокулярного компьютерного зрения. Метод состоит из этапов: обнаружение угловых точек на изображениях из двух соседних кадрах по алгоритму SUSAN; поиск соответствующих угловых точек по алгоритмам NCC и RANSAC; расчёт фундаментальной и существенной матрицы, матрицы вращения и перемещения камеры, и координаты угловых точек изображений в неподвижной системе координат.

Детектор угловых точек

В настоящее время существуют много алгоритмов обнаружения угловых точек, например алгоритм Harris, алгоритм FAST, алгоритм FASTER, алгоритм Shi-Tomas, алгоритм Moravec, алгоритм SUSAN и другие [5]. При сравнении результатов моделирования, в данной работе выбраем алгоритм SUSAN, предложеный Смитом и Бреди (Smith и Brady, 1997) [6], который является более быстрым и устойчивым в случае аффинных преобразований, размытия и неравномерной яркости фона изображений.

В данной статье выбираем фотографии цветов в качестве объекта эксперимента, его пиксельный размер 377×300, показана на рис. 1.

Результаты моделирования детекта угловых точек с помощью популярных существующих детекторов, показаны в табл. 1.

gen1.tif

Рис. 1. Изображение для моделирования

Таблица 1

Сравнение результатов моделирования

Детектор

Количество углых точек

Время вычисления(с)

SUSAN

76

0.119656

SHI-TOMAS

83

0.226599

FAST

81

0.419949

MORAVEC

79

0.428520

HARRIS

72

0.620711

Грубое соответствие угловых точек

Считаем keke1.wmf – яркости первого и второго изображения; keke2.wmf (n – нечетное число) – пиксельный размер окна соответствия; keke4.wmf, keke5.wmf и keke6.wmf, keke7.wmf – угловые точки и их пиксельные координаты первого и второго изображения. Используем функцию нормированной взаимной корреляции NCC(Normalized cross correlation)[7] для описания корреляции между угловыми точками двух изображений. Эту функцию можно записать в следующим образом:

keke8.wmf (1)

С учётом интервал между соседних кардах очень короткий, в целях повышения правильности и скорости соответствия угловых точек, в этой статье сделаны следующие улучшения для алгоритма NCC. На рис. 2 показана схема соответствия угловых точек.

gen2.tif

Рис. 2. Схема соответствия характерных точек

1) На первом изображении выбираем окно поиска, имеющое пиксельный размер keke9.wmf, вокруг первой угловой точкой. Если в соответствующем окне поиска на втором изображении нет угловых точек (например точка 1 на рис. 2), то перемещаемся окно поиска к следующей угловой точке; если в соответствующем окне поиска есть угловые точки(например точка 2 на рис. 2), то сократить пиксельный размер окна поиска до keke10.wmf и выбираем точку с самой большой корреляции(например точка 2 и точка а на рис. 2) в качестве соответствующей угловой точкой. На конеце получаем множество пар соответствующих угловых точек A.

2) Повторим выше операцию для второго изображения и получаем множество B.

3) Окончательное множество пар угловых точек C является пересечением множеств A и B, т.е. C (keke15.wmf).

Работоспособность улучшенного алгоритма проверялась сравнением результатов поиска сооветствия угловых точек двух изображений соседних кадрах. Результаты показаны в табл. 2.

Таблица 2

Результаты улучшения алгоритма грубого согласования

NCC

Изображения

Время вычисления

Количество пар

традиционный

gent1.tif

0.207047 

47

улучшенный

gent2.tif

0.065391 

53

Сравнение результатов показывает, что время вычисления значительно сокращается и количество пар соответствия угловых точек не уменьшается.

Точное согласование

После грубого соответствия ещё есть возможность существования неправильных пар соответственных угловых точек в матрице С. Поэтому необходимо разработка точного соответствия с помощью алгоритма RANSAC [7]. В алгоритме RANSAC реализована самая общая схема устойчивой оценки с помощью выбора случайных подмножеств данных. Схема алгоритм RANSAC записана на рис. 3.

gen3.tif

Рис. 3. Схема алгоритм RANSAC для точного соответствия угловых точек

На рисунке inlier – хорошие точки, удовлетворяющие модели; outlier –ложные точки; N – количество набора, определяется следующим уравнением:

keke17.wmf;

e – вероятность выбора без инлаера из общего числа точек; p – вероятность того, что алгоритм RANSAC на некоторой итерации; s=8; trialcount – количество итераций алгорима; maxdatatrial – максимальное количество итераций попытока точки inlier; t – порог расстояние, используемое для определения точки inlier; maxtrial – максимальное количество итераций; bestscore – количество точки inlier предыдущого итерации.

Для повышения устойчивости алгоритма соответствия, сделаны следующие улучшения:

а) Разработка нормализации координаты угловых, так что все точки находится в окружности вокруг центра масса изображения с радиусом keke21.wmf.

Матрица преобразования:

keke22.wmf (2)

где keke23.wmf – координат угловых точек; keke24.wmf – средние координаты угловых точек; n – количество угловых точек;

keke26.wmf.

б) Использовано расстояние Sampson в качестве критерии определения точек inlier, которое можно записать в следующем образом:

keke27.wmf (3)

где keke28.wmf, keke29.wmf – нормализованных соответствующих угловых точек первого и второго изображения; keke30.wmf (keke31.wmf) – j-го элемента матрицы keke33.wmf.

Реконструкция окружающей среды

Для получения координаты угловых точек сначало необходимо калибровка внутренней параметров самеры. Использование Камеры Калибровка Набор инструментов для Matlab, написанный Калифорнии политехнического университета доктора Bouquet[8], мы можем получить внутренния параметры камеры :

Фокусное расстояние: fc = [1015.78212 1012.65800] ± ± [7.15609 7.22421 ]

Центральная точка: cc = [320.03704 240.40334] ± ± [ 3.41690 4.77241]

Искажение: kc = [ 0.09333 -0.05262 -0.01156  -0.00424 0.00000 ] ±[ 0.02113 0.11162 0.00246  0.00249 0.00000 ]

Матрица искажения keke34.wmf, где keke35.wmf – параметры радиальных искажениях, keke36.wmf – параметры касательных искажениях.

По результату эксперимента калибровки получаем матрицу внутреней параметров камеры:

keke37.wmf (4)

Существенная матрица можно записать в следующем образом: keke38.wmf.

В данной статье мы пользуем монокулярное компьютерное зрение, поэтому keke39.wmf.

По статьей [9] узнаем, что матрицы вращения и перемещения камеры могут быть получины из уравнений:

keke40.wmf (5)

где R– матрица вращения; l – матрица перемещения изображений; keke41.wmf – матрица перемещениякамеры; keke42.wmf – коэффициент пропорции.

Выше уравнения имеют 4 решения, из которых необходимо выбрано единственное правильное решение при критерии: все угловых точки должны находиться перед камерами, т.е., проекция координаты угловых точек на оси z должно быть больше нуля).

Формула проекции матрицы можно записать следующем образом:

keke43.wmf (6)

Преобразование координат угловых точек:

keke44.wmf,(7)

где keke45.wmf – проекция координат угловых точек на оси z камерной системы координаты; keke46.wmf – однородные пикмельные координат угловых точек; keke47.wmf – однородные координаты угловых точек в неподвижной системе координат.

Четыре линейных уравнений может быть получена:

keke48.wmf (8)

Они переопределённые уравнения, но метод наименьших квадратов может быть использован для решения уравнений. Таким образом, трехмерные координаты угловых точек (X, Y, Z) могут быть получены.

Результаты эксперимента

Чтобы проверить правильность алгоритма реконструкции трехмерной координаты, эксперимент был в помещении. Предмет этого эксперимента был коридор (рис. 4).

а

gen4.tif

б

gen5.tif

Рис. 4. Реконструкция координаты угловых точек: а – детект и соответствие угловых точек; б – двухмерные и трехмерные координаты угловых точек

На рис. 4, по сравнениему положения характерных точек на изображения и их двухмерных и трехмерных координат, узнаем что координаты характерных точек приблизительно отражают их положения в неподвижной системе координат, то можно доказать правильность метода. Время реакции равно keke49.wmf, что доказывает быстродействие метода.

Выводы

В данной работе предлагается метод реконструкции облачно-точечной карды окружающей средой в режиме реального времени на основе монокулярного компьютерного зрения. По сравнениему результатов моделирования детекта угловых точек выбираем детектор SUSAN, имеющий быстрее скорость вычисления и высше устойчивость. Разработка улучшения грубого и точного алгоритма соответствия, позволяющая повышить скорость вычисления. Результаты эксперимента доказывают правильность и в режиме реального времени предложенного метода.


Библиографическая ссылка

Гэн Кэ Кэ, Чулин Н.А. МЕТОД РЕКОНСТРУКЦИИ ОБЛАЧНО-ТОЧЕЧНОЙ КАРТЫ ОКРУЖАЮЩЕЙ СРЕДЫ НА ОСНОВЕ МОНОКУЛЯРНОГО КОМПЬЮТЕРНОГО ЗРЕНИЯ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ // Международный журнал экспериментального образования. – 2015. – № 12-3. – С. 437-442;
URL: http://expeducation.ru/ru/article/view?id=9163 (дата обращения: 12.11.2019).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074