Дополненная реальность принцип работы

Принцип создания дополненной реальности определяется техническими возможностями средств, с помощью которых она реализуется.

Средства создания дополненной реальности следующие:

• мобильные устройства (планшеты, сотовые телефоны);
• очки дополненной реальности;
• телевизор (или экран компьютера);
• игровой компьютер типа Kinect;
• средства для воспроизведения AR в открытом пространстве;
• специальные средства:

• разные тренажеры;
• медицинское оборудование.

Общая схема создания дополненной реальности во всех случаях такова: оптический сканер (камера) устройства считывает (снимает) изображение реального объекта; программное обеспечение устройства проводит идентификацию и анализ полученного изображения, выбирает или вычисляет соответствующее изображению видимое дополнение, объединяет реальное изображение с его дополнением и выводит итоговое изображение на устройство визуализации. Так получается дополненная реальность.

Рассмотрим, как создается дополненная реальность разными устройствами.

Мобильные устройства

Практическое применение их в области дополненной реальности — это, как правило, развлекательные или рекламные цели. Камера планшета (мобильного телефона) передает снимаемое изображение в специальную программу, которую пользователь предварительно скачивает в устройство. При анализе изображения программа распознает это изображение, выбирает связанное с изображением содержимое (это может быть текст, видеоролик, 3D-модель) и воспроизводит его на фоне изображения с камеры.

Например, при наведении камеры телефона на рекламу в журнале вы видите на экране телефона объемное изображение товара, который продвигает эта реклама. В некоторые программы воспроизведения такой дополненной реальности заложены функции управления этим объектом (масштабированием, поворотом, вызовом звуковых сигналов при касании разных частей объекта). Возможности визуализации дополненной реальности определяются только фантазией разработчиков программы.

Очки дополненной реальности

Это просто очки-компьютер. Человек, надевший на себя такие очки, видит через прозрачные линзы реальный мир и одновременно наложенные на него виртуальные объекты.

В очках дополненной реальности встроена система, отслеживающая движение глаз, а программное обеспечение, которое суммирует виртуальную и реальную картинку, позволяет создавать иллюзию обзора панорамы. Например, в реальный городской пейзаж можно встроить старинные замки, и в зависимости от поворота головы (взгляда) человек видит разные участки такого дополненного пейзажа. Примером таких очков является устройство Microsoft HoloLens.

Телевизор (экран компьютера)

Обычно применяется для показа телетрансляции, например, спортивных матчей. Видеосигнал, прежде чем отправиться в эфир, пропускается через специальное программное обеспечение, которое накладывает на картинку какую-либо видеоинформацию. Телезритель видит уже измененный видеосигнал, содержащий в себе реальную и компьютерную картинку. Причем зачастую он даже не осознает, что видит дополненную реальность. Понятно, что телесигнал в эфире уходит с некоторой задержкой, необходимой для компьютерной обработки сигнала. Такой прием часто применяется во время спортивных матчей для нанесения на реальную картинку цифровых отметок и линий, показывающих расстояние до ворот, наличие офсайда и т. п.

Игровой компьютер типа Kinect

Собственно говоря, Kinect — это игровой контроллер, работающий вместе с компьютером или игровой приставкой. В состав контроллера входит видеокамера, которая позволяет программному обеспечению анализировать окружающее пространство, положение и жесты игрока. В состав оборудования также входят два инфракрасных датчика глубины и микрофон. Программное обеспечение получает трехмерное изображение и калибрует датчики с учетом уровня освещенности и окружающих условий, проводит распознавание мимики, голоса, движения тела. Таким образом, в игровой процесс, то есть в видеоизображение, формируемое игрой, встраивается сам игрок (и даже несколько игроков) и окружающее его пространство.

Воспроизведение AR в открытом пространстве

Для того чтобы формировать дополненную реальность в открытом пространстве, нужны видеокамеры, компьютер со специальным программным обеспечением, лазерная установка. Видеокамера получает и пересылает в компьютер реальное изображение, программное обеспечение производит анализ изображения, лазерная установка световым лучом прорисовывает на реальном изображении дополнительное изображение. Так, например, работает бильярдный тренажер. Игрок целится кием по шару на бильярдном столе, программа анализирует положение шаров, кия, игрока, вычисляет предполагаемую траекторию движения шара. Лазерная установка проецирует изображения траектории прямо на бильярдный стол. Эту траекторию видит игрок и может корректировать положение кия. Получается классическая система управления с отрицательной обратной связью.

Специальные средства AR

К ним относятся всевозможные специализированные технические устройства, отличающиеся по способу взаимодействия с человеком и способу отображения информации. Хотя общий принцип сложения (синтеза) реального и мнимого изображений с помощью компьютерной программы остается неизменным.

К специальным средствам относятся специализированные шлемы пилотов для тренажеров или реальных условий полета. На стекло шлема выводится некая информация поверх окружающей обстановки, такой шлем отслеживает положение глазных яблок пилота.

Также существует специальное медицинское оборудование, применяемое для обучения врачей или для реального проведения операций. В первом случае, например, проводится обучение медика поиску кровеносного сосуда в введению в него иглы. Игла реальная — кровеносный сосуд виртуальный, но через сложную систему гидравлических механизмов врач ощущает его как реальный (он даже может почувствовать пульс), а при точном попадании иглы в сосуд, на экране устройства из сосуда выходит кровь. Во втором случае, например, при эндоскопических операциях, на изображение оперируемого органа, выводимое на экран, накладывается рентгеновское изображение опухоли, полученное ранее. Это позволяет врачу с большей точностью локализовать опухоль внутри органа.

Можно, конечно, долго описывать и другие способы формирования дополненной реальности, но поставим пока многоточие.

На странице использованы изображения и (или) видеоматериалы из следующих источников:

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Прокопов С.А., Соколовский Н.А.

Описываются основы, применение в космонавтике и принцип работы технологии дополненной реальности .

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Прокопов С.А., Соколовский Н.А.

FUNDAMENTALS AND PRINCIPLES OF AUGMENTED REALITY TECHNOLOGY

It describes the basics, application in space and the principle of augmented reality technology.

Текст научной работы на тему «Основы и принципы работы технологии дополненной реальности»

УДК 004.946, 004.588, 004.93

ОСНОВЫ И ПРИНЦИПЫ РАБОТЫ ТЕХНОЛОГИИ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

С. А. Прокопов, Н. А. Соколовский

Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31 E-mail: sprokopov24@gmail.com; wolf24ru@live.ru

Описываются основы, применение в космонавтике и принцип работы технологии дополненной реальности.

Ключевые слова: AR, дополненная реальность.

FUNDAMENTALS AND PRINCIPLES OF AUGMENTED REALITY TECHNOLOGY

S. A. Prokopov, N. A. Sokolovskiy

Reshetnev Siberian State University of Science and Technology 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: sprokopov24@gmail.com; wolf24ru@live.ru

It describes the basics, application in space and the principle of augmented reality technology.

Keywords: AR, Augment reality.

За последние годы технологии развиваются все быстрее и быстрее упрощая деятельность человека в несколько раз. Одной из таких технологий является augmented reality (AR) или дополненная реальность. Эта технология, позволяющая в реальном времени наложить на изображение виртуальные, довольно сложные и детализированные объекты, которые воспринимаются как реальные. Первая система дополненной реальности была разработана военными США в 1992 году.

Первым современным устройством дополненной реальности можно назвать Microsoft Hololens, обработка информации происходит при помощи встроенного чипа, возможность которого способна обрабатывать гигабайты данных на самом устройстве. Также эти очки являются самыми популярными при упоминании дополненная реальность, но, к сожалению, это устройство до сих пор находится на доработке и пользовались им лишь журналисты и разработчики. Большинство отзывов о Hololens положительные и описывают как незабываемый опыт использования [1]. Еще одними устройством, которое является итогом прогресса в области дополненной реальности является Magic Leap. В отличие от Hololens, эти очки подключаются к небольшому компьютеру, который, как уверяет создатель, по мощности равен полноценному игровому компьютеру. По словам разработчика, очки можно использовать для игр, интернет-серфинга, онлайн покупок, отображение различной информации, виртуальное общение и творчество [2].

Основными методами реализации дополненной реальности это распознавание образов и распознавание маркеров. Для распознавания образа разработчик должен добавить фотографии объекта и обозначить общие параметры для объекта, самым распространенным приложением можно назвать распознавание черт

лица человека на которое добавляется маска или другие косметические предметы. Для отслеживания маркера необходимо напечатать изображение или создать метку, по которой система определяет положение и размещает объект на плоскости. Также стоит отметить технологию SLAM (Simulation Localization and Mapping), метод одновременной локализации и построения карты, при котором картинка раскладывается на геометрические объекты и линии, а затем система выделяет ключевые точки и запоминает их, благодаря этой технологии система дополненной реальности гораздо лучше ориентируется в пространстве [3].

В связи с огромным количеством высокотехнологичных смартфонов, стоит отметить влияние крупнейших компаний, таких как Google, Apple на технологию дополненной реальности, тем самым предоставляется возможность использования этой технологии для каждого, без покупки другого дорогостоящего оборудования. Так, например, компания Apple представила среду для разработчиков ARKit 2, в которой имеется возможность создавать объекты с привязкой к конкретным местам, распознавание объектов и отслеживание изображений, совместная работа и взаимодействие с виртуальными элементами [4]. В Google имеется своя среда ARCore, которая: использует камеру телефона и гироскоп для определения телефона в пространстве, тем самым при перемещении устройства объект остается неподвижным; имеется возможность распознавания горизонтальных поверхностей без меток; оценка освещения и освещение объекта в соответствии с окружающей обстановкой, благодаря этому объект получается наиболее реалистичным [5].

Дополненная реальность может быть полезна в любой отрасли деятельности человека. Так, например, для космической отрасли дополненная реальность открывает широкий спектр возможностей. Астро-

Решетневские чтения. 2018

навты могут видеть инструкции и задания без необходимости пользования печатным вариантом, это освободит руки, а передача изображений на очки упростит работу в открытом космосе.

На сегодняшний день существует несколько видов алгоритмов распознавания объектов и изображений, которые применяться для создания допиленной реальности. Допиленная реальность достигается двумя принципами построения: на основе координат местоположения пользователя, на основе маркера. В первом варианте все довольно просто и применяется на мобильных устройствах, используя данные с акселерометра, гироскопа, GPS-приемника, создаться эффект присутствия. Куда же более интересен и сложен принцип на основе маркеров. Под маркером следует понимать объект, расположенный в обозримом пространстве, который, с помощью специального программного обеспечения, находится и анализируется для последующей постановки виртуальных объектов. Получившую информацию об положении маркера в пространстве, программа использует для достаточно точного проецирования виртуального объекта, вследствие чего и возникает эффект физического присутствия в окружающем пространстве [6].

Один из самых простых алгоритмов распознавания в дополненной реальности – это генетический алгоритм. Генетические алгоритмы – это эвристические алгоритмы поиска, используемые для решения задач оптимизации и моделирования путём случайного подбора, комбинирования и вариации искомых параметров с использованием механизмов, напоминающих биологическую эволюцию. Данный алгоритм изначально требует обучения, для корректного распознавания заданных маркеров. Обучения строиться на сравнении двух изображений, корректного, с искомым объектом, и не корректного, на котором отсутствует искомый объект. Чем больше данных обучающих изображений, тем лучше работает алгоритм. Примером использования данного подхода может служить алгоритм распознания лиц и глаз на видеопотоке. Постепенно обучая алгоритм, можно добиться высоких результатов нахождения заданного класса объектов.

Существует и более сложный и качественный метод. Feature detection, данный метод нацелен на вычисление абстракций изображения и выделения на нем ключевых особенностей. Чаще всего для определения маркеров на изображении используются алгоритмы, которые выполняют поиск и сравнение полученных изображений по ключевым точкам. Ключевая точка – это некоторый участок картинки, который является отличительным для заданного изображения. Для их нахождения и последующего сравнения используются три составляющие: Детектор – осуществляет поиск ключевых точек на изображении, дескриптор – производит описание найденных ключевых точек, матчер-осуществляет построение соответствий между двумя наборами точек.

Как же все такие строиться дополнительная реальность? Для этого необходимо использовать уже готовую библиотеку OpenCV (либо аналогичные библиотеки), она поможет с поиском маркера на видео

с дальнейшим отражением виртуального объекта. Для построения 3D пространства необходимо знать две матрицы: внутреннюю (intrisic matrix) и внешнюю (extrinsic matrix). После чего, воспользовавшись методами OpenGL, можно нарисовать виртуальный объект поверх маркера [7].

Внутренняя матрица (или матрица проекции) показана на рис. 1 состоит из параметров используемой камеры: фокального расстояния по двум осям (f, fy) и координат центра фокуса (cx, cy).

Рис. 1. Внутренняя матрица

Внешняя матрица (или матрица модели) – это матрица преобразований модели посредством растяжения, поворота и переноса изображена на рис. 2. Она позволяет однозначно задать положение объекта в пространстве.

Рис. 2. Внешняя матрица

Диагональные элементы отвечают за растяжение модели. Остальные элементы r – за поворот объекта в пространстве. Элементы t отвечают за перенос.

Вычисление её производится путём определения четырёх пар точек объекта и соответствующего его положения в кадре. Точки положения в кадре – это вершины четырехугольника, описывающего (ограничивающего) объект в кадре. Получить данные точки можно, если подействовать на крайние точки шаблона гомографией. Сконструированные матрицы затем используются для вычисления вектора поворота и переноса с последующим занесением в матрицу модели [7].

Дополненная реальность – одна из многих технологий взаимодействия человека и компьютера. Ее специфика заключается в том, что она программным образом визуально совмещает два изначально независимых пространства: мир реальных объектов вокруг нас и виртуальный мир, воссозданный на компьютере.

Новая виртуальная среда образуется путем наложения запрограммированных виртуальных объектов поверх видеосигнала с камеры, и становится интерактивной путем использования специальных маркеров.

Дополненная реальность уже много лет используется в медицине, в рекламной отрасли, в военных технологиях, в играх, для мониторинга объектов и в мобильных устройствах.

Основа технологии дополненной реальности – это система оптического трекинга. Это значит, что «глазами» системы становится камера, а «руками» – маркеры. Камера распознает маркеры в реальном мире, «переносит» их в виртуальную среду, накладывает один слой реальности на другой и таким образом создает мир дополненной реальности.

Существуют три основных направления в развитии этой технологии:

«Безмаркерная» технология AR

«Безмаркерная» технология работает по особым алгоритмам распознавания, где на окружающий ландшафт, снятый камерой, накладывается виртуальная «сетка». На этой сетке программные алгоритмы находят некие опорные точки, по которым определяют точное место, к которому будет «привязана» виртуальная модель. Преимущество такой технологии в том, что объекты реального мира служат маркерами сами по себе и для них не нужно создавать специальных визуальных идентификаторов.

AR технология на базе маркеров

Технология на базе специальных маркеров, или меток, удобна тем, что они проще распознаются камерой и дают ей более жесткую привязку к месту для виртуальной модели. Такая технология гораздо надежнее «безмаркерной» и работает практически без сбоев.

«Пространственная» технология

Кроме маркерной и безмаркерной, существует технология дополненной реальности, основанная на пространственном расположении объекта. В ней используются данные GPS/ГЛОНАСС, гироскопа и компаса, встроенного в мобильный телефон. Место виртуального объекта определяется координатами в пространстве. Активация программы дополненной реальности происходит при совпадении координаты, заложенной в программе, с координатами пользователя.

Стараясь исключить технологические риски и обойти проблемные моменты, при разработке прототипа программного комплекса, мы остановили свой выбор на надежной и проверенной маркерной технологии дополненной реальности.

Так же, использование маркерной технологии имеет дополнительные преимущества в плане внедрения в методическую часть наглядных печатных материалов, используемых в общеобразовательных учреждениях при изучении конкретной темы и проведении практических работ по ней.

Примеры приложений с AR технологиями

Складской учёт с дополненной реальностью

Руководство пользователя с дополненной реальностью

Раскраски с дополненной реальностью

Маркерная AR навигация внутри помещений

Мобильный образовательный комплекс

Промо-приложение и брендирование сок "Добрый"

Живой печатный учебник

Живая полиграфия с AR

Визуализация скрытых объектов

Оборудование для AR технологий

Для работы с технологией дополненной реальности обязательно необходимы следующие компоненты:

• Графическая станция. Это может быть мобильный телефон, ноутбук, персональный компьютер, графическая рабочая станция с профессиональной видеокартой. Одним словом, компьютер.
• Дисплей. Экран телефона, телевизор, монитор, моно или стерео дисплей, проекционный экран.
• Камера. Благодаря камере мы получаем «слепок» реального мира, на который специальное программное обеспечение накладывает виртуальные объекты.
• Метки, или маркеры.
• Программное обеспечение. Математические алгоритмы, которые позволяют камере увидеть и распознать метку (маркер) в окружающем пространстве, а затем определить, какая именно модель программно «привязана» к метке. И, наконец, «положить» эту модель на метку таким образом, чтобы виртуальный 2D или 3D объект повторял любое движение реальной метки.

Технология дополненной реальности это, в основе своей, программное обеспечение. То есть это специальные математические алгоритмы, которые связывают камеру, метки и компьютер в единую интерактивную систему.

Основная задача системы – определить трехмерное положение реальной метки по ее снимку, полученному с помощью камеры. Процесс распознавания происходит поэтапно. Сначала снимается изображение с камеры. Затем программа распознает пятна на каждом кадре видео в поисках заданного шаблона – рамки метки. Поскольку видео передается в формате 2D, то и найденная на кадре рамка метки определяется как 2D контур. Как только камера «находит» в окружающем пространстве рамку, ее следующая задача – определить, что именно изображено внутри рамки. Как только сделан последний шаг, задача системы – построить виртуальную 3D модель в двухмерной системе координат изображения камеры. И привязать ее к метке.

После этого, как бы мы ни передвигали метку в реальном пространстве, виртуальная 3D модель на ней будет точно следовать за движением метки.

К сожалению, маркерная технология, как и любая другая технология, имеет ряд возможных проблем в работе с метками. Бывает, что при движении метки объект может «соскочить» с нее или вовсе исчезнуть с экрана. Это означает, что камера просто перестала «видеть» метку. Есть пять основных причин для этого.

Первое, в чем может заключаться проблема, это освещение. Затемненная зона, слишком яркое направленное освещение, лампа дневного света, светочувствительность камеры, – все эти параметры напрямую влияют на уровень распознавания метки.

Вторая проблема – это расположение реальной метки в пространстве по отношению к камере. Поскольку камера должна четко и целиком видеть рамку метки, она не сможет распознать ее, если метка будет под наклоном или если область рамки будет закрыта, например, рукой. Еще одна причина – слишком быстрое перемещение метки из стороны в сторону. Большинство любительских камер просто не успевает отследить ее перемещения по частоте кадров в секунду и «теряет» метку вместе с моделью.

Если первые две сложности легко устранить, просто следуя инструкции по применению, то есть и третья, более серьезная проблема. Она связана с калибровкой камеры. Калибровка нужна, чтобы построить модель реальной камеры в компьютерном пространстве.

Для того чтобы добавить перспективу и глубину в 2D картинку, которая отображается с камеры на экран, нужно определить параметры перспективной проекции для камеры. Это можно сделать в домашних условиях, используя «шахматную доску» и специальное программное обеспечение.

Еще одна проблема, которая часто относится к web-камерам, – это низкое разрешение камеры. Любительская оптика, тем более встроенные камеры на ноутбуках, как правило, не обладают хорошими объективами с высоким разрешением. Поэтому они дают больше нелинейных искажений и проблем в работе с метками дополненной реальности. Например, если метка будет находиться слишком далеко от камеры или на границе ее видимости, то последняя ее просто «не увидит». Этот вопрос решается покупкой камеры с более высоким разрешением и ее последующей калибровкой.

И последняя проблема – это программное обеспечение. Некоторые алгоритмы распознавания могут иметь ошибки и давать погрешности во время распознавания рамки и «чтения» картинки метки. В этом случае модели могут отображаться некорректно (например, на метке с совой может появиться совсем другой объект) или вовсе исчезать с экрана.

Аппаратная часть, для реализации базовых функций технологии дополненной реальности должна решать 3 основных задачи: получать видеопоток хорошего качества, иметь возможность обработать данный видеопоток и дополнить слоем с виртуальными объектами и, конечно же, вывести обработанные данные на устройства вывода для восприятия конечным пользователем.