Дополнительная реальность что это

Дополненная реальность – одна из многих технологий взаимодействия человека и компьютера. Ее специфика заключается в том, что она программным образом визуально совмещает два изначально независимых пространства: мир реальных объектов вокруг нас и виртуальный мир, воссозданный на компьютере.

Новая виртуальная среда образуется путем наложения запрограммированных виртуальных объектов поверх видеосигнала с камеры, и становится интерактивной путем использования специальных маркеров.

Дополненная реальность уже много лет используется в медицине, в рекламной отрасли, в военных технологиях, в играх, для мониторинга объектов и в мобильных устройствах.

Основа технологии дополненной реальности – это система оптического трекинга. Это значит, что «глазами» системы становится камера, а «руками» – маркеры. Камера распознает маркеры в реальном мире, «переносит» их в виртуальную среду, накладывает один слой реальности на другой и таким образом создает мир дополненной реальности.

Существуют три основных направления в развитии этой технологии:

«Безмаркерная» технология AR

«Безмаркерная» технология работает по особым алгоритмам распознавания, где на окружающий ландшафт, снятый камерой, накладывается виртуальная «сетка». На этой сетке программные алгоритмы находят некие опорные точки, по которым определяют точное место, к которому будет «привязана» виртуальная модель. Преимущество такой технологии в том, что объекты реального мира служат маркерами сами по себе и для них не нужно создавать специальных визуальных идентификаторов.

AR технология на базе маркеров

Технология на базе специальных маркеров, или меток, удобна тем, что они проще распознаются камерой и дают ей более жесткую привязку к месту для виртуальной модели. Такая технология гораздо надежнее «безмаркерной» и работает практически без сбоев.

«Пространственная» технология

Кроме маркерной и безмаркерной, существует технология дополненной реальности, основанная на пространственном расположении объекта. В ней используются данные GPS/ГЛОНАСС, гироскопа и компаса, встроенного в мобильный телефон. Место виртуального объекта определяется координатами в пространстве. Активация программы дополненной реальности происходит при совпадении координаты, заложенной в программе, с координатами пользователя.

Стараясь исключить технологические риски и обойти проблемные моменты, при разработке прототипа программного комплекса, мы остановили свой выбор на надежной и проверенной маркерной технологии дополненной реальности.

Так же, использование маркерной технологии имеет дополнительные преимущества в плане внедрения в методическую часть наглядных печатных материалов, используемых в общеобразовательных учреждениях при изучении конкретной темы и проведении практических работ по ней.

Примеры приложений с AR технологиями

Складской учёт с дополненной реальностью

Руководство пользователя с дополненной реальностью

Раскраски с дополненной реальностью

Маркерная AR навигация внутри помещений

Мобильный образовательный комплекс

Промо-приложение и брендирование сок "Добрый"

Живой печатный учебник

Живая полиграфия с AR

Визуализация скрытых объектов

Оборудование для AR технологий

Для работы с технологией дополненной реальности обязательно необходимы следующие компоненты:

• Графическая станция. Это может быть мобильный телефон, ноутбук, персональный компьютер, графическая рабочая станция с профессиональной видеокартой. Одним словом, компьютер.
• Дисплей. Экран телефона, телевизор, монитор, моно или стерео дисплей, проекционный экран.
• Камера. Благодаря камере мы получаем «слепок» реального мира, на который специальное программное обеспечение накладывает виртуальные объекты.
• Метки, или маркеры.
• Программное обеспечение. Математические алгоритмы, которые позволяют камере увидеть и распознать метку (маркер) в окружающем пространстве, а затем определить, какая именно модель программно «привязана» к метке. И, наконец, «положить» эту модель на метку таким образом, чтобы виртуальный 2D или 3D объект повторял любое движение реальной метки.

Технология дополненной реальности это, в основе своей, программное обеспечение. То есть это специальные математические алгоритмы, которые связывают камеру, метки и компьютер в единую интерактивную систему.

Основная задача системы – определить трехмерное положение реальной метки по ее снимку, полученному с помощью камеры. Процесс распознавания происходит поэтапно. Сначала снимается изображение с камеры. Затем программа распознает пятна на каждом кадре видео в поисках заданного шаблона – рамки метки. Поскольку видео передается в формате 2D, то и найденная на кадре рамка метки определяется как 2D контур. Как только камера «находит» в окружающем пространстве рамку, ее следующая задача – определить, что именно изображено внутри рамки. Как только сделан последний шаг, задача системы – построить виртуальную 3D модель в двухмерной системе координат изображения камеры. И привязать ее к метке.

После этого, как бы мы ни передвигали метку в реальном пространстве, виртуальная 3D модель на ней будет точно следовать за движением метки.

К сожалению, маркерная технология, как и любая другая технология, имеет ряд возможных проблем в работе с метками. Бывает, что при движении метки объект может «соскочить» с нее или вовсе исчезнуть с экрана. Это означает, что камера просто перестала «видеть» метку. Есть пять основных причин для этого.

Первое, в чем может заключаться проблема, это освещение. Затемненная зона, слишком яркое направленное освещение, лампа дневного света, светочувствительность камеры, – все эти параметры напрямую влияют на уровень распознавания метки.

Вторая проблема – это расположение реальной метки в пространстве по отношению к камере. Поскольку камера должна четко и целиком видеть рамку метки, она не сможет распознать ее, если метка будет под наклоном или если область рамки будет закрыта, например, рукой. Еще одна причина – слишком быстрое перемещение метки из стороны в сторону. Большинство любительских камер просто не успевает отследить ее перемещения по частоте кадров в секунду и «теряет» метку вместе с моделью.

Если первые две сложности легко устранить, просто следуя инструкции по применению, то есть и третья, более серьезная проблема. Она связана с калибровкой камеры. Калибровка нужна, чтобы построить модель реальной камеры в компьютерном пространстве.

Для того чтобы добавить перспективу и глубину в 2D картинку, которая отображается с камеры на экран, нужно определить параметры перспективной проекции для камеры. Это можно сделать в домашних условиях, используя «шахматную доску» и специальное программное обеспечение.

Еще одна проблема, которая часто относится к web-камерам, – это низкое разрешение камеры. Любительская оптика, тем более встроенные камеры на ноутбуках, как правило, не обладают хорошими объективами с высоким разрешением. Поэтому они дают больше нелинейных искажений и проблем в работе с метками дополненной реальности. Например, если метка будет находиться слишком далеко от камеры или на границе ее видимости, то последняя ее просто «не увидит». Этот вопрос решается покупкой камеры с более высоким разрешением и ее последующей калибровкой.

И последняя проблема – это программное обеспечение. Некоторые алгоритмы распознавания могут иметь ошибки и давать погрешности во время распознавания рамки и «чтения» картинки метки. В этом случае модели могут отображаться некорректно (например, на метке с совой может появиться совсем другой объект) или вовсе исчезать с экрана.

Аппаратная часть, для реализации базовых функций технологии дополненной реальности должна решать 3 основных задачи: получать видеопоток хорошего качества, иметь возможность обработать данный видеопоток и дополнить слоем с виртуальными объектами и, конечно же, вывести обработанные данные на устройства вывода для восприятия конечным пользователем.

Для начала поясним, что такое технология дополненной реальности (AR – augmented reality). Её часто путают с виртуальной реальностью (VR – virtual reality).

Понять разницу довольно просто. Виртуальная реальность состоит только из нереальных, созданных в программе объектов.

Надевая VR-шлем, вы полностью оказываетесь в искусственно созданном мире.

Дополненная реальность – это когда нереальные, виртуальные, объекты в восприятии пользователя становятся частью реальной окружающей картины мира.

От «Сенсорамы» к приложениям на iPhone

Разработкой технологии дополненной реальности исследователи занимаются не первый год. В 1961 году кинооператор Мортон Хайлиг представил иммерсивное мультисенсорное устройство, напоминающее своеобразную аркадную игру с вибрацией и воспроизведением стереофонических звуков. В следующем году Хайлиг получил патент на первый в мире виртуальный симулятор под названием "Сенсорама". Огромное устройство, внешне похожее на игровые автоматы 1980-х, позволяло зрителю впервые погрузиться в виртуальную реальность: например, прокатиться на мотоцикле по улицам Бруклина. Однако "Сенсорамой" не заинтересовались инвесторы и разработки пришлось свернуть.

Следующим этапом развития технологии принято считать 1974 год, когда компьютерный специалист Майрон Крюгер разработал лабораторию "искусственной реальности" под названием Videoplace. Она представляла из себя несколько связанных по сети комнат, в каждой из которых находился большой экран с расположенным позади него видеопроектором. Когда человек заходил в комнату, он видел на экране свое собственное изображение в виде примитивного силуэта, а также подобные силуэты людей в остальных комнатах. У всех "теней" можно было менять цвет или размер, а также присоединять к ним различные визуальные объекты.

Возможно, идеи Крюгера и его друзей побудили ученого Тома Кодэлла впервые предложить термин "дополненная реальность" в 1990 году. Работая в компании Boeing Computer Services в Сиэтле, он использовал словосочетание для обозначения цифрового дисплея на голове, используемого электриками самолетов, которые смешивали виртуальную графику с физической реальностью.

В 1992 году первая действующая AR-система начала использоваться военными ВВС США. Она получила название "Виртуальные светильники" и позволила создать новый метод обучения пилотов. С помощью наложения физически реальных объектов на 3D-виртуальные появился первый настоящий опыт дополненной реальности, обеспечивающий картинку, звук и прикосновение.

Примерно в то же время в университете штата Колумбия состоялась презентация системы KARMA ("Помощник в дополненной реальности"), позволяющей через шлем виртуальной реальности увидеть интерактивную инструкцию по обслуживанию принтера.

Но до 1999 года дополненная реальность широко не использовалась, а многими учеными и исследователями даже не понималась. Для ее работы использовались сложные программные решения и громоздкое оборудование. Однако ситуация резко изменилась, когда японский профессор Хироказу Като из Института науки и технологий Нары выпустил уникальное программное обеспечение под названием ARToolKit. Оно позволило отслеживать видеозахват действий в реальном мире и объединить их с виртуальными объектами. Обеспечение могло быть связано с простым карманным устройством: например, камерой и подключением к интернету. Появление ARToolKit привело к тому, что теперь пользователи видели непосредственно сам процесс работы дополненной реальности.

Уже в 2000 году Брюс Томас из лаборатории Wearable Computer разработал первую мобильную игру для открытого пространства с системой дополненной реальности, названную ARQuake. Она позволила пользователю с прикрепленным цифровым дисплеем на голове повернуть голову и увидеть другие объекты виртуального мира. ARQuake с успехом презентовали на Международном симпозиуме по мобильным компьютерам.

Несколько лет спустя в 2008 году первые AR-приложения были созданы для смартфонов, и люди по всему миру мир смогли впервые воспользоваться новейшей технологией. Первое приложение предназначалось для пользователей Android, и это позволило им использовать свои камеры, чтобы увидеть на экране различные объекты виртуальной реальности в 3D. Решение вскоре появилось и на iPhone, и запущено в качестве навигационного приложения, названного Wikitude Drive.

Шум из ничего или действительно полезная технология?

Хотя дополненная реальность в течение многих лет пытается попасть в технологический мейнстрим, многие из ее самых ярых сторонников начали задаваться вопросом, сможет ли она справиться с собственным потенциалом.

Многие исследователи считают, что на самом деле технология уже начала демонстрировать свою истинную ценность благодаря упрощению многих привычных для потребителей вещей. Например, уже существуют приложения по подбору причесок и одежды, широко используемые в индустрии красоты; в автомобильном секторе, где пользователи теперь могут использовать дополненную реальность, чтобы погрузиться в опыт вождения автомобиля, который они хотят приобрести.

Некоторые бренды, такие как Lego и Jurassic World, уже экспериментируют с технологией, и отмечают, что его потенциальное воздействие на аудиторию огромно.

Выйти за пределы вау-эффекта

AR по-прежнему имеет удивительный вау-фактор. Он идеально сработал с игрой Pokemon Go, в которой до сих пор миллионы игроков находят, захватывают и тренируют виртуальных существ, появляющихся на экране, будто они находятся в том же реальном месте, что и игрок.

Ведущие бренды и розничные торговцы, такие как Sephora, Nestlé и Jaguar Land Rover, продемонстрировали особое лидерство в этой области. Они экспериментировали с использованием AR для предоставления персональных консультаций, информации о происхождении товаров или дополнительных услуг для их продуктов, что привело к успешным, вдохновляющим кампаниям, которые выходят далеко за рамки обычных игр.

А, например, Ikea полностью интегрировала AR в свое приложение, с помощью которого позволяет пользователям проверить, как мебель может выглядеть в их домах. Кондитерская марка Cadbury использовала дополненную реальность, чтобы улучшить календарь с рождественскими подарками для своих потребителей. Любители шоколада могут использовать приложение Blippar для сканирования своего календаря и входа в "дополненный мир зимних чудес".

Интерес к AR продолжает расти в геометрической прогрессии. Теперь он подпитывается и искусственным интеллектом, который позволяет камерам "понимать" мир и накладывать на него цифровой контент. В сочетании с оборудованием, становящимся более мощным и легким, ближайшие годы будут ключевыми для развития дополненной реальности.

Сегодня большая часть из того, что казалось каких-то 20 лет назад невообразимым и фантастическим в плане технологий – обыденность современного человека. Маленькие телефоны с дисплеями, которые мы носим в кармане, связь по скайпу с использованием веб-камер и, конечно, дополненная реальность в образовании.

Особого внимания заслуживает последнее, ведь когда-то голограммы в воздухе нам казались чем-то необычным, но вот уже apple выпускает свой новый телефон с возможностью построить дом из «кубического симулятора» прямо у себя на столе.

И в целом, игры с дополненной реальностью уже давно не новость, а этот рынок занимает нишу не меньше, чем VR.

Но как вообще реализуется технология дополненной реальности и что она из себя представляет? А также, каким образом запрет порно-ресурсов повлиял на очки дополненной реальности microsoft?

Так что такое дополненная реальность и как работает, а также стоит ли таким образом читать книжки?

Что означает термин “дополненная реальность”?

Дополненная реальность (augmented reality, AR) – это среда, которая создается благодаря наложению информации или объектов на воспринимаемый мир в реальном времени. Для этого могут применяться как компьютерные устройства: смартфоны и планшеты, так и разнообразные гаджеты: очки и шлемы дополненной реальности.В отличии от виртуальной реальности человек не путешествует по другому миру, он все также воспринимает реальный мир, пусть и в видоизмененном состоянии

Что бы кто ни говорил, а дополненная реальность своими руками – не подлежит реализации, ведь это не виртуальные очки своими руками. Но что значит этот термин?

Впервые он появился ещё в 90-х годах прошлого столетия, и был изобретён Томасом Коделлом, как и все великие изобретения, вследствие разработок для военных целей.

Первой дополненной реальностью были нашлемные системы для указания целей и простейшей индикации основных принципов полёта. На тот момент никакие книги с дополненной реальностью и очки дополненной реальности meta ещё не существовали, но такое интересное устройство уже начало расползаться в гражданских отраслях и в промышленности.

На сегодняшний день дополненная реальность в рекламе представляет собой наложенную информацию (в любом виде, будь это текст или картинка) на уже существующую картинку окружения. Именно это отличает линзы дополненной реальности от тех же для виртуальной, ведь они лишь позволяют наполнить окружение большим количеством фактов, а не замещают его вовсе, как в последнем случае.

Чтобы их не спутать, достаточно помнить, что любые устройства дополненной реальности соответствуют трём главным критериям:

1. Комбинация реальности и виртуальности с преобладанием первой.
2. Полная интерактивность всех «искусственных» объектов, возможность создания собственных.
3. Объёмность представленных объектов, возможность рассмотреть их со всех ракурсов и взаимодействие их с реальным миром.

Потенциал технологии дополненной реальности в будущем хорошо виден в приведенной выше короткометражке “Hyper-Reality”. Однако на данный момент технология находится в зачаточном состоянии. Уже спустя день-два «вау»-эффект от использования гаджетов AR исчезает, и именно окончание этого периода показывает пригодность технологии к жизни.

Это сейчас хорошо показывает виртуальная и дополненная реальность, которая уже успела продемонстрировать такой эффект на примере всё тех же злосчастных google glass. Но что же с google glass произошло, и не ожидает ли забвение функцию augmented reality ios, которую так яро продвигает сейчас компания Джобса?

Почему google glass провалились?

С самого начала продвигаемая поисковиком технология выглядела достаточно необычно, ведь кто бы не хотел получить открытки с дополненной реальностью, где танцуют ваши любимые музыканты, а после этого увидеть прогноз погоды прямо перед своими глазами?

Однако всё это пошло крахом после того, как пользователей лишили одного из главных двигателей прогресса современного мира – порнографии. Как бы это ни звучало банально, но после того, как пользователи и обзорщики наигрались с google glass – все стали сетовать на их бесполезность в повседневной жизни, но продажи всё ещё позволяли надеяться на вхождение технологии в массы.

Однако как только Google увидели, что в большинстве своём их изобретение используют для просмотров «фильмов для взрослых», они заблокировали все приложения, позволявшие это делать, и тем самым снизили продажи очков почти на треть.

Да, это стало далеко не главным фактором провала, но одним из основных. Как бы пользователей не завлекала полиграфия с дополненной реальностью, позволяющая распечатать любую картинку, находящуюся прямо перед вашими глазами – всё это было попросту не нужно.

И виновником тому стала неправильная ориентация технологии, ведь никому не были нужны очки за несколько сотен долларов ради того, чтобы смотреть метки дополненной реальности при поездке на работу. Проще за эти деньги купить качественный телефон, в котором это всё и так будет. Схожим образом размышляла и apple, после чего и решила поработать над созданием такой реальности своими руками.

Дополненная реальность в iOS

Создание и продвижение чего-то абсолютно нового в массы – трудоёмкий труд, но его можно значительно облегчить, если подать технологию в качестве дополнения к уже любимому всем миром девайсу.

Главным нововведением, к которому было много скептицизма, на презентации iphone 8 стала возможность включения дополненной реальности, и на сей раз можно сказать, что у технологии есть все шансы выстрелить.

В первую очередь стоит отметить, что технология станет доступна на всех устройствах с ios 11, тем самым владельцам прежних версий не будет нужды обновляться ради того, чтобы попробовать необычное нововведение.
В целом, дополненная реальность – главный козырь в рукаве у ios 11, ведь она позволит на полном серьёзе изменить ваше представление об окружающем мире.

А самое главное – для ios 11 не нужен громоздкий шлем дополненной реальности, ведь всё это находится прямо у вас в кармане и вы в любой момент можете навести смартфон на телевизор в отделе продаж, дабы посмотреть, из какой страны он приехал и каковы его характеристики. Можно примерить прямо на себя понравившиеся очки, не убирая их со стеллажа и с таким же успехом посмотреть, как в вашей комнате будет смотреться приобретённая ваза.

Конкуренты

С недавних пор apple стали не единственными участниками своеобразной «гонки вооружений», ведь заявлена дополненная реальность samsung и пусть для обеих компаний это большой стресс, для самой технологии нельзя придумать более благотворных условий.

Конкуренция всегда порождала прогресс, а если это два мастодонта из мира смартфонов, то можно надеяться на то, что каждый из них постарается довести свой продукт до идеала. И очевидный плюс такого решения в следующем: реальность на андроид намного доступнее для обывателей, ведь устройствами на этой ОС сейчас обладают практически все.

Хорошие примеры того, как противостояния выводят технологию на новый уровень – HTC Vive и Oculus rift, запустившие цепную реакцию, благодаря чему многие именитые компании решились на отчаянный шаг и начали производить свои аналоги.

В итоге потребитель имеет гигантский выбор между платформами, на которых можно использовать VR, и различными видами шлемов, что постоянно эволюционируют, стараясь завлечь аудиторию. А самое главное – технология находится в непрерывном развитии, ведь тот, кто первый отстанет – вылетит из гонки, а этого уже не хочется никому. Но как работает всё это?

Как работает технология дополненной реальности?

Самые простые приложения дополненной реальности выглядят как картинка, наложенная на видео из камеры в вашем телефоне и это вовсе не так сложно, как может показаться на первый взгляд. Но если всё так легко, то чего дополненной реальности не хватало раньше?

На деле разработка дополненной реальности включает в себя создание специального алгоритма, позволяющего привязать к настоящим вещам виртуальные, дабы создать иллюзию того, что последние действительно существуют в физическом обличии. Долгое время это и не давало создать дополненную реальность ar, как в продукте от Эпл, но благодаря очкам дополненной реальности microsoft hololens, всё изменилось, ведь они показали готовность технологий к такому резкому скачку, а также, что это не простой перевод ресурсов.

Работа очков дополненной реальности google была основана на данных, получаемых при помощи gps и специальных «меток», поэтому они, хоть и были чем-то необычным, но оставались неуклюжими в плане проекций объектов. В свою очередь в дополненной реальности андроид специальный алгоритм способен создавать трёхмерные модели помещений и прикреплять каждый объект к конкретным координатам по долготе, широте и высоте. Большая часть из этого лишь в разработке, но даже то, что сейчас уже доступно, способно вас сильно поразить.

И всё же, главный недостаток ar дополненной реальности – отсутствие конкретной области применения. На данный момент технологию продвигают в игровой индустрии, однако инструментам дополненной реальности подвластно куда больше и тратить их для обычного развлечения – глупо.

И всё же дополненной реальности apple нашлось одно значимое применение – теперь есть место дополненной реальности в архитектуре, ведь она позволяет рассмотреть все данные об объекте рядом с вами благодаря полученным координатам. Неудивительно, что с дополненной реальностью недвижимость продаётся куда быстрее, ведь маркетологи научились её использовать для демонстрации покупателям всех прелестей нового жилья.

Также можно банально совершить перевод надписи в незнакомой стране за считанные секунды.

Поэтому наиболее перспективный способ развития рынка приложений с дополненной реальностью для android – обучение. В конце концов, вы можете даже читать детские книги с помощью ipad. Мало кто откажется от очков дополненной реальности epson moverio bt 300; а обезопасить экспонаты музея или, наоборот, позволить посетителям посмотреть на динозавра в первозданном виде, и всё это за счёт карманного устройства, – вот это действительно прогресс.

На данный момент работу с дополненной реальностью unity3d может попробовать каждый желающий, кто владеет основами программирования, потому программ дополненной реальности для iphone и ipad в магазине сейчас великое множество. Они могут вам помочь, даже если нужен простой перевод надписей.

Более даже нет смысла ходить в Икеа, ведь при помощи простой утилиты для ios вы можете, прямо сидя дома, примерить, а затем и заказать необходимую мебель. Благо недостатка приложений, созданных на различных языках программирования и на unity, не имеется. Сейчас их в магазине более 200, и часть из них даже взаимодействует с гугл-очками.

На данном этапе происходит создание дополнительных онлайн-приложений для возможности чата с поддержкой дополненной реальности: «Я пишу с использованием одновременно 5 языков программирования и все равно не представляю сейчас, как решить парочку простейших пространственных задач» – дополняет один из программистов Apple, создающих основной костяк ПО.

В любом случае, дополненную реальность ждет светлое будущее – осталось только дождаться его.