«Пока обманывать мозг получается средне»

Популярную среди поклонников современных технологий тему дополненной реальности в последнее время принято воспринимать в основном через призму специальных очков. Сначала летом на своей ежегодной конференции действующую модель показала Google, а затем в ноябре стало известно, что заявку на соответствующий патент подала и Microsoft.

Однако из разговора с руководителем группы интерактивных 3D-технологий в Кэмбриджской лаборатории Microsoft Шарамом Изади следует, что для ученых данной компании очки - пройденный этап. Их манит перспектива манипуляции виртуальными объектами в воздухе голыми руками, создания виртуальных открытых пространств.

- Расскажите, пожалуйста, в общих чертах, чем занимается ваша исследовательская группа?

- Мы занимаемся взаимодействием человека с машинами, но при этом пытаемся раздвинуть границы этого взаимодействия. Пока человечество в массе застряло на этапе работы с пикселями на плоском экране, иногда тыканья в них пальцем. Мы же хотим заглянуть на 5-10 лет вперед и предугадать кардинальные изменения в этом взаимодействии. Например, приставка Xbox и сенсоры Kinect – это шаг вперед, и почти ни один Xbox сегодня без Kinect не продается, ведь всем интересно жестовое управление.

- Что еще нас ждет впереди?

- Несмотря на то, что Kinect перенес взаимодействие на физический уровень, многое до сих пор происходит на плоском экране, иногда в 3D. Ввод информации улучшился (система получает больше данных), а вывод пока не очень. Мы пытаемся это изменить, работаем над истинно трехмерными системами отображения на базе различных технологий, в том числе проективных. Нужно выпустить компьютерный мир в наш, физический, сделать его более осязаемым. Для этого, однако, нужно распознать не только пользователя, но и пространство вокруг него. Тогда мы сможем дополнять реальный мир виртуальными объектами в гораздо более удобной форме. И в первую очередь – к черту эти дурацкие шлемы виртуальной реальности!

- Что вы думаете насчет голосового управления? Популярная штука, но не переоценивают ли ее?

- Его определенно нельзя назвать панацеей – встает вопрос приватности, потому что не всегда хочется извещать окружающих о своих действиях и намерениях. На самом деле все виды взаимодействия с компьютерами хороши, но каждый в своей нише. Например, для управления устройствами в общественных местах у нас был проект, в рамках которого мы думали над жестами, но не над размашистыми, а над такими скупыми, короткими. При этом жесты снимались не камерой устройства, а наручным браслетом, который фиксировал движения костей и мышц. Пока он большой, но теоретически его можно уменьшить до размера наручных часов. Но вообще будущее за смешанным типом управления, например, жест+голос.

- Это как?

- Например, как вы попросите меня передать вам эту банку газировки? Вы скажете и одновременно покажете.

- Я обычно просто говорю.

- О, это будет очень сложно распознать. 

- То есть вы хотите заставить пользователей адаптироваться под то, что может или не может на данный момент машина? 

- Совсем необязательно, но это взаимное сближение. Думаю, в ближайшее время нам в основном придется работать над разработкой новых типов сенсоров, которые позволят точнее определять реакции человека. Это могут быть, например, лазерные сенсоры, они дают неплохое разрешение по глубине, это очень важно.

- Если говорить о вашей работе с сенсорами Xbox Kinect, какие у вас претензии к современным камерам? Не хватает разрешения, глубины или еще чего-то?

- В принципе нынешнее поколение - это то, от чего можно отталкиваться в нашей работе над трехмерным распознаванием. Конечно, хорошо бы получить мегапикселей 8 со скоростью 1000 к/с. Но дело не в самих мегапикселях, а в качестве матрицы и глубине. С последней точки зрения все нынешние технологии для нас недостаточно хороши - это добавляет работы проектировщикам алгоритмов. То есть надо помнить не только про разрешение по осям X и Y, но и Z. Также очень важна скорость, количество кадров в секунду. Движения человека довольно динамичны, и нынешних 30 к/с откровенно маловато, особенно для жестов. Стивен Бетишес из нашей Рэдмондской лаборатории сделал сенсор касания с  регулируемой задержкой обработки - от 1 до  100 мс, причем современные серийные сенсоры ближе к второму (60-100) показателю. Не все понимают, насколько это влияет на взаимодействие человека и машин. Мне бы в моей работе очень пригодился эквивалент такого устройства, только не требующий касаний, чтобы кадров в секунду было побольше.

- А количество камер увеличивать не нужно?

- В Kinect сейчас есть три «камеры», одна из которых на самом деле - инфракрасный излучатель, а вторая - приемник отраженного сигнала. А вот уже третья камера - это, собственно, обычный сенсор видимого диапазона. Она не применяется для определения глубины объекта. Потенциально большее количество камер могли бы решить проблему… Или усугубить ее, увеличив требуемый объем расчетов. Было бы неплохо создать гибкий аналог Kinect, поиграться с кривизной расположения камер и посмотреть, как это поможет в трехмерном определении положения.

- Насколько помню, Microsoft, в отличие от Google, не презентовала публике свои очки. Вам не кажется, что с точки зрения повседневного использования технологий дополненной реальности очки – это одна из самых перспективных платформ? 

- Конечно, все время разгуливать, держа смартфон в поднятых руках, не очень удобно, но вот что я думаю: самым крутым вариантом была бы «переходящая» дополненная реальность, когда на основе облачной платформы вы могли бы переключаться с очков на смартфон, проекционный дисплей и далее везде. Очки – очень персональное устройство, в этом их сила (приватные вещи видите только вы), и одновременно слабость – дополненная реальность на основе очков не позволит вам работать над виртуальными объектами совместно с другими людьми.

- Представим на минутку, что манипулирование виртуальными голографическими объектами в воздухе доступно не только Тони Старку из «Железного Человека», но и простому смертному. Есть одна проблема, на которую часто указывают критики такой идеи: нет тактильного отзыва! Руки ничего не чувствуют! Какие ответы ваша группа готовит на этот вызов?

- В своих лекциях я часто говорю, что дополненная реальность – это седьмой по счету прорыв во взаимодействии человека и машины. Думаю, восьмым вполне может стать добавка тактильных ощущений. Пока же один из интересных трюков – использование второй руки в качестве своеобразной подложки для изображения. Она отлично регистрирует нажатия! Но есть и технологии, которые действительно направлены на придание вот этим «картинкам в воздухе» осязаемости – например, интерференция нескольких направленных ультразвуковых лучей в определенной точке, где находится палец, дает ощущение, но пока оно очень слабое – как будто вам подули на подушечки. Есть и браслеты на запястья, которые влияют на нервные окончания в пальцах – тоже перспективное направление.

- А вы пытались обмануть мозг? Заставить его думать, что он чувствует то, что вроде бы должен чувствовать в тот момент, когда он что-то видит?

- Вот это хорошая идея, мы еще не пробовали так делать. Тут кроется еще одна задача, над которой предстоит биться еще долго – как заставить человека, физически находящегося в очень ограниченном пространстве, поверить, что он идет по открытому, практически бесконечному – работаем и над концепциями беговых дорожек (совсем не таких, как в клубах), движущихся платформ, а также огромных шаров. Пока обманывать мозг получается средне, работы еще очень на многие годы. Вот что делает работу над виртуальной реальностью такой привлекательной для исследователя – многие вещи в абсолютно зачаточном состоянии.