Расширение реальности

(Май 2002)

Давнишний материал, наиболее любопытный с исторической точки зрения. За 10 с лишним лет до прихода гаджета Google Glass рассказывает, «как это будет выглядеть».

0_collage_comp

Пролог: приход  кибер-человека

Съемочная группа канадского телевидения создала недавно любопытный документальный фильм под названием “Cyberman”,  т.е. “кибер-человек”.  Вся картина целиком посвящена престранному профессору торонтского университета по имени Стив Мэнн, который уже более двадцати лет  пытается совместить в себе человека и компьютер.

Занявшись разработкой компьютеризированных очков еще в школьном возрасте в 1970-х, снискав славу пионера концепции носимых компьютеров на рубеже 1980-1990-х годов, Мэнн по сию пору практически не снимая носит на себе кучу всевозможной электроники.

Документальный фильм, поделив экран на три части, дает зрителю возможность одновременно видеть жизнь Мэнна со стороны (с позиции киношников), через один его глаз (поскольку объектив видеокамеры в очках постоянно транслирует происходящее в нательный компьютер и Интернет) и через другой его глаз (постоянно смотрящий в миниатюрный дисплей, заменяющий правую линзу очков и непрерывно подпитывающий Мэнна всевозможной  дополнительной информацией)…

Все это зрелище, понятное дело, поначалу выглядит как запредельное чудачество сильно “гикнувшегося” ученого, однако при чуть более проницательном взгляде в несколько окарикатуренном виде здесь можно разглядеть характерные черты мощнейшей технологии недалекого будущего — так называемой “расширенной реальности” или кратко AR (Augmented Reality).

Нахальная VR и деликатная AR

По сути дела, речь идет о фундаментально ином типе интерфейса для общения между человеком и компьютером. Под термином “расширенная реальность” в первую очередь понимаются компьютерные дисплеи, добавляющие виртуальную информацию в поток традиционных сенсорных восприятий человека.

Большинство нынешних AR-разработок и исследований сосредоточено на создании устройств “сквозного видения”,  которые как правило крепятся к голове и накладывают дополнительную графику и текст на картины окружающей человека обстановки.

В принципе, можно добавлять и другие сенсорные воздействия, такие как звуки или тактильные ощущения, но подавляющая часть информации о мире поступает к нам через зрение, поэтому имеет смысл пока сфокусироваться лишь на визуальных технологиях расширения реальности.

Главная особенность AR-систем в том, КАК они предоставляют пользователю информацию — не на отдельном дисплее, а непосредственно интегрируя ее в естественные механизмы восприятия. Здесь сводятся к возможному минимуму все мысленные усилия, необходимые человеку для переключения от реального мира к компьютерному изображению. В сущности, новый компьютерный интерфейс и  способ видения мира становятся одним и тем же.

Ярчайший реальный пример, демонстрирующий возможности AR, — это медицинские приложения. Зрение врачей начинает получать эквивалент рентгеновского просвечивания пациента, позволяя в реальном масштабе наблюдать результаты ультразвукового сканирования внутренних органов, наложенные на соответствующую часть тела больного. “Прозрачное” тело, к примеру, дает возможность эффективно проводить лапароскопические операции с минимальным хирургическим вмешательством.

progb

AR-системы постоянно отслеживают позицию и ориентацию головы пользователя, чтобы накладываемый виртуальный материал максимально аккуратно совмещался с видимой картиной мира. Понятно, что в такого рода системах нередко используются примерно те же технологии, что и в области моделирования виртуальной реальности (VR).

Однако есть и очень существенная разница. Виртуальная реальность как бы ставит перед собой нахальную цель полной подмены картины мира настоящего, а расширенная реальность  лишь деликатно и почтительно этот мир дополняет.

Пока что полноценная расширенная реальность может казаться чем-то фантастическим, однако в исследовательских лабораториях прототипы подобных систем создаются уже более  трех десятилетий. Сам термин “augmented reality” родился не так давно, в начале 1990-х годов у ученых корпорации Boeing, когда здесь создавали экспериментальную AR-систему для помощи рабочим-сборщикам при монтаже хитроумнейших сетей из проводов и кабелей в самолетах.

Самым  же главным  для ощутимого прогресса в AR-исследованиях   за последнее десятилетие стало существенное снижение цен на компьютерное оборудование при одновременном стремительном  росте его производительности.

Голова-телевизор

По самому определению своему дисплей сквозного видения в AR-системе должен комбинировать в едином изображении виртуальную и реальную информацию. В принципе, такой дисплей может быть закреплен и стационарно, но обычно его крепят к голове — в виде миниатюрного экрана, расположенного близко к глазу и поэтому способного создавать впечатление картины любого размера.

По аналогии с головными наушниками это устройство можно называть головным дисплеем, в английском же языке для его обозначения закрепилась аббревиатура HMD, от head-mounted display.

HMD_opt

Устройства HMD подразделяются на два основных типа: оптические и видео. Оптический дисплей сквозного видения в своем простейшем варианте представляет собой зеркальный светоделитель — полупрозрачное зеркало, одновременно отражающее и пропускающее свет.  Если правильно расположить такую пластину, то светоделитель может отражать в глаз пользователя  проекционную картинку компьютерного дисплея и одновременно пропускать свет от картины реального окружающего  мира.

Для более качественного наложения картинок могут использоваться линзы и призмы, однако принцип совмещения изображений в таком устройстве в целом достаточно очевиден. Кроме того, если дисплеи спарены, то картина получается стереоскопической.

HMD_vid

Что же касается второго типа, т.е. видеодисплеев сквозного видения, то здесь применяется технология микширования видеоизображений, первоначально создававшаяся для спецэффектов в кино и ТВ. Иными словами, здесь происходит комбинирование картинки от закрепленной на голове видеокамеры и изображений, сгенерированных компьютером.

В этом случае очки совершенно непрозрачные, поскольку роль линзы играет дисплей, на который проецируется совмещенное изображение. Видеокамеру как правило стремятся расположить максимально близко к точке обзора глаза, чтобы получающаяся видеокартинка была как можно ближе к позиции естественного зрения. И в первом, и во втором вариантах дисплеи могут монтироваться  для обоих глаз, так что возможно формирование объемного стереоскопического изображения.

Как это обычно бывает, каждый из альтернативных подходов к конструкции HMD имеет свои плюсы и минусы. Оптические системы дают пользователю возможность видеть реальный мир с тем прекрасным разрешением и обзором, что предоставляют глаза. Зато накладываемая графика получается полупрозрачной и не может скрыть объекты, которые подменяет.

В результате может плохо читаться текст, или трехмерная графика не всегда способна создать убедительную иллюзию объема. Кроме того, из-за разницы в дистанциях пользователь может испытывать трудности при попытках одновременной фокусировки на реальном объекте и его наложенной структуре.

В видеосистемах сквозного видения, напротив, виртуальные объекты могут полностью  скрывать реальные, а также комбинироваться с ними в существенно более богатом разнообразии с точки зрения графических эффектов. Нет здесь и проблем с фокусировкой, поскольку виртуальные и физические объекты совмещаются в одной плоскости.

Однако, оборотной стороной всех этих плюсов чисто компьютерного изображения становится заметное снижение качества картинки, поскольку разрешающим способностям видеокамеры и экрана пока что далеко до человеческого глаза.

Постоянно прогрессирующие технологии позволили довести современные микродисплеи до размеров вполне обычных очков.  Отчетливо наметились и несколько новых направлений.

Например, компания Microvision не так давно начала выпускать устройство, в котором лазер малой энергии проецирует изображение без всяких экранов непосредственно на сетчатку глаза. При другом альтернативном подходе генерируемая компьютером графика, напротив, объемно проецируется непосредственно на окружающую обстановку.

Ясно, что та или иная конкретная конструкция дисплея расширенной реальности будет определяться характером решаемых с его помощью задач, а потому самое время поподробнее рассмотреть те области, где  применение AR-систем  несет вполне очевидные выгоды.

В цеху, в быту, на поле боя

Что касается производства, то, напомним, сам термин “расширенная реальность” был придуман в 1990 году ученым корпорации “Боинг”  Томом Коделлом, замыслившим “волшебными очками” заменить кучу увесистых  папок со схемами, описывающими мудреную разводку проводов в  каждой из моделей  самолетов компании.

Новаторские идеи Коделла и его коллег не получили тогда полноценного развития, главным образом, из-за недостаточно развитой в ту пору компьютерной техники.  Но был четко сформулирован весьма плодотворный общий  принцип — с помощью AR всякий техник по ремонту оборудования, разглядывая вышедший из строя сложный агрегат, видит на его фоне инструкции, выделяющие те детали, что подлежат проверке в первую очередь, а также рекомендации по их демонтажу и замене.

В настоящее время эта концепция начинает воплощаться в самых разных системах — от техобслуживания химкомбинатов до ремонта автомобилей и бытовой техники.

Чрезвычайно полезны AR-системы в опасных для жизни профессиях. Например, пожарные могут отчетливо видеть внутреннюю структуру горящего здания, что позволяет им обходить наиболее рискованные участки, невыявляемые любыми иными средствами.

Пилоты современных боевых самолетов, танкисты или военные моряки уже много лет имеют компьютерные системы, выводящие на экран обзорного дисплея полезную дополнительную информацию на основе поступающих аналитических данных о ходе боя.  Развить такие же идеи вплоть до отдельных солдат  — задача весьма проблематичная с точки зрения технологий.  Но в США, например, еще в 1994 году была запущена исследовательская программа Land Warrior, ставящая перед собой целью создание носимого AR-компьютера в качестве стандартной экипировки пехотинца.

land-warrior-lwc

Программа эта уже успела пережить кризисный этап, едва не была свернута из-за перерасхода средств, однако сейчас работа вновь идет полным ходом, на 2003 год намечены массовые полевые испытания “солдатского компьютера”,  а на 2008 — оснащение подобной техникой всех бойцов.

Обеспеченные AR-системой солдаты получают возможность уверенно действовать на всякой незнакомой территории, где заранее проведены тщательное картографирование и разведка.  Например — видеть позиции вражеских снайперов, выявленные накануне беспилотными самолетами-шпионами. Видеть не просто здание, а объект с надписью “склад боеприпасов”.  Не просто дорогу, а участки с надписью “заминировано”.

Практически те же самые принципы оказания помощи при ориентации в неизвестной местности развиваются  и совсем в иных, куда более мирных областях — прежде всего, в туристическом бизнесе.

Путешественники, оснащенные мобильной AR-системой,  получат возможность не только свободно ориентироваться в чужом городе, но и, окинув взглядом улицу, увидеть, к примеру, на дисплее очков перечисление и местоположение всех ресторанов в квартале, а также  комментарии о ценах,  особенностях кухни и самых ударных блюдах в сегодняшнем меню. Главное здесь, понятно, чтобы сами владельцы этих заведений позаботились о своевременном обновлении соответствующей информации в Интернете.

Интересные приложения AR-систем создаются для музеев. Например, немецкими учеными из Фраунгоферовского института компьютерной графики разработано устройство, позволяющее посетителям увидеть древний экспонат не только в сильно попорченном веками нынешнем состоянии, но и (надев специальные очки) полюбоваться вещью во всей ее первозданной красе.

Естественно, это будет реконструкция, воспроизведенная археологами и историками искусства, однако на силе эстетических впечатлений подобная  трансформация может сказываться самым удивительным образом.

В бизнесе AR-системы могут оказать неоценимую помощь и при таких мероприятиях, как, скажем, многолюдные презентации. Сотрудники, занимающиеся связями с общественностью, получают ценнейший инструмент — чудо-очки, высвечивающие на микродисплей всю нужную информацию о каждом участнике: имя, компания, должность и т.д. и т.п..

Тут же, конечно, начинают всплывать и всевозможные неприятные стороны технологии, связанные с покушением на приватность граждан. Ведь далеко не каждому понравится, что фактически “первый встречный”,  окинув тебя одним всего лишь взглядом, может тут же втихаря порыться во всех сведениях, что найдутся на твою персону в базах данных.

Более того, богатые до фантазий головы уже видят AR-системы, позволяющие, к примеру, владельцу очков виртуально раздеть всякого заинтересовавшего его человека… Впрочем, всякая новая технология несет в себе потенциал двоякого применения, и дело тут скорее в уровне развития человека, а не в угрозах продвинутой техники.

Эпилог: киборг выключенный

В заключение же можно отметить, что на сегодняшний день не люди-киборги виртуально раздевают прохожих, а их самих раздевает бдительная охрана аэропортов. Причем не виртуально, а вполне натурально.

С упоминавшимся в прологе “терминатором из Торонто” Стивом Мэнном совсем недавно произошел  пренеприятнейший казус, когда охрана авиакомпании Air Canada ни в какую не захотела пропускать на борт самолета подозрительного субъекта, не снимающего черные очки, обвешанного электроникой и опутанного проводами.

Поскольку дело было на острове Ньюфаундленд, а вернуться домой очень хотелось, после трех дней препирательств Мэнну все же пришлось согласиться на отсоединение всей компьютерной техники, часть которой, заметим, была подключена к его организму вживленными в тело электродами.

Отдав аппаратуру на проверку, Мэнн лишился привычных органов чувств, на время потерял ориентацию в пространстве, несколько раз упал и сильно ударился при этом головой. В итоге же в родной Торонто профессор  вернулся совершенно разбитым и в инвалидной коляске, а  адвокат Мэнна подал на  Air Canada в суд, оценив материальный ущерб от испорченной осмотром техники в 58 тысяч долларов, а моральный ущерб, понесенный  ущемленным в правах киборгом — в 1 миллион долларов.

Один же из профессоров торонтского университета тут же отпустил по адресу бедолаги Мэнна ироничную шпильку.   На этом примере, сказал добрый коллега,  все должны увидеть, что происходит с киборгами, когда их выключают.

Так что – не смотрите, дети, телевизор долго; вредная привычка, для здоровья плохо.

The END