С глаз волной: системы управления компьютером с помощью взгляда станут точнее

Ученые впервые описали механизмы нейронной активности, которые позволяют человеку управлять компьютером с помощью намеренного удержания взгляда. Во время записи участники исследования играли в специально разработанную игру EyeLines. Полученные данные помогут улучшить технологии управления взглядом для людей с ограниченной подвижностью, а также сделать системы виртуальной и дополненной реальности удобнее и правдоподобнее. Подробнее — в материале «Известий».

Управление компьютером с помощью взгляда

Ученые из Московского государственного психолого-педагогического университета (МГППУ), МГУ имени М.В. Ломоносова и Высшей школы экономики исследовали механизмы намеренного удержания взгляда, используемого человеком для управления компьютером. Для этого авторы записали у 32 людей 306-канальные магнитоэнцефалограммы — сигналы, очень детально описывающие магнитные поля, которые возникают при работе нейронов головного мозга. Во время записи участники исследования играли в специально разработанную для подобных исследований игру EyeLines. В ней человек с помощью взгляда должен перемещать предметы и создавать из них комбинации.

Параллельно с записью ученые отслеживали движения глаз игроков. Специально разработанная методика позволила выделить задержки взгляда, которые намеренно использовались для управления, и непреднамеренные, спонтанные, происходившие, например, когда игрок изучал позицию. Сопоставив данные активности головного мозга и перемещения взгляда, исследователи определили различия между этими видами задержек.

Оказалось, что намеренные связаны с двумя последовательно развивающимися процессами в мозге. Сначала в участках, отвечающих за движения глаз, возникает тормозящий сигнал, по-видимому, связанный с остановкой автоматического (бессознательного) перемещения взгляда. Затем активируются височные отделы коры, отвечающие за внимание к положению объекта в пространстве. Интересно, что эти процессы начинаются еще до полной фиксации глаз — в первые 0,2–0,3 секунды после перевода взгляда на объект. Спонтанные задержки такими процессами не сопровождались, рассказали ученые.

— Нам удалось получить представление о том, за счет каких процессов в головном мозге человеку удается произвольно задерживать взгляд, чтобы использовать его для управления электронными устройствами. Технологии для управления компьютером с помощью взгляда ранее разрабатывались без опоры на знание физиологических механизмов, делающих задержку взгляда в принципе возможной, — рассказал ведущий научный сотрудник Научно-образовательного центра нейрокогнитивных исследований (МЭГ-центра) МГППУ Сергей Шишкин.

Объединяя полушария: российские ученые работают над реабилитацией пациентов с инсультом

Медики изучают особенности мозговой деятельности

Нейроинтерфейсы будущего

Новые данные, полученные с помощью уникальной установки для регистрации многоканальной магнитоэнцефалограммы, находящейся в МЭГ-центре МГППУ, будут полезны для совершенствования подобных интерфейсов.

— Не исключено, что они пригодятся и исследователям из других областей науки. Человек способен намеренно использовать взгляд в общении с людьми — например, мы можем показывать им на предметы, о которых говорим. Такая коммуникация с помощью взгляда очень похожа на то, как человек выбирает объекты в нашей игре. Поэтому, возможно, и наши результаты, и разработанные методики сравнения намеренных и спонтанных задержек взгляда смогут использовать те, кто изучает взаимодействие между людьми, — рассказал Сергей Шишкин.

Подобная технология действительно может помочь в развитии систем управления «человек — компьютер», отметил гендиректор группы компаний ST IT, эксперт рынка TechNet НТИ Антон Аверьянов.

— Сейчас для управления взглядом используется система отслеживания положения глаз, которая «наблюдает» за позицией глаза и подсвечивает соответствующую область. Однако такие системы могут быть недостаточно точными или надежными. Предложенная технология поможет улучшить системы виртуальной реальности, которые станут более интуитивными, — сказал специалист.

Технологии управления компьютером с помощью взгляда уже достигли уровня, при котором они эффективно применяются в VR/AR и в системах для людей с ограниченной подвижностью. Современные трекеры взгляда способны с высокой точностью фиксировать направление и длительность фиксации, распознавая команды пользователя по задержке взгляда на виртуальных элементах. Однако до недавнего времени в этих интерфейсах практически не учитывались нейрофизиологические аспекты осознанного контроля взгляда, отметил ведущий специалист в области ИИ Университета 2035 Ярослав Селиверстов.

Ученых свет: атомные часы и белки-аргонавты вошли в лучшие достижения исследователей РФ

Как их разработки помогут создать полезные устройства и улучшить жизнь людей

— Это открытие — важный шаг к созданию биологически обоснованных пользовательских интерфейсов. Перспективы включают развитие интерфейсов «мозг — компьютер» без дополнительных устройств, только на основе намеренного взгляда. Также открывается путь к снижению количества ложных срабатываний и к более естественному взаимодействию в VR/AR-средах. В будущем возможно объединение данных о взгляде с прямыми сигналами мозга для создания гибридных нейроинтерфейсов. Это особенно актуально для людей с нарушениями речи и моторики, — добавил он.

Результаты исследования, поддержанного грантом Российского научного фонда (РНФ), опубликованы в журнале Cortex.