Личный интерфейс: создано устройство для общения с обездвиженными людьми
Обездвиженные люди смогут взаимодействовать с окружающим миром так же, как это делал известный английский физик Стивен Хокинг. Поможет им в этом специализированный комплекс, над которым сейчас работают российские исследователи — в него входят камера, оснащенная нейронной сетью, и компьютер. Нейроны способны распознавать мимику на лице человека: улыбку, моргание, движение бровей. Каждое движение привязано к определенной команде — от просьбы к сиделке принести воды до сообщения о возникшей боли.
Не тайные сигналы
Ученый Стивен Хокинг большую часть своей жизни провел в инвалидной коляске, не мог двигаться и говорить. Однако успешно взаимодействовал с окружающим миром с помощью специально созданной программы. Физик управлял компьютером посредством мимической мышцы щеки, после чего синтезатор речи озвучивал мысль. Теперь подобные интерфейсы станут доступны для любого обездвиженного, но сохранившего интеллект человека.
В России разработкой системы, способной облегчить жизнь обездвиженным людям, занимается стартап под названием Perseye. В команду входят выпускники МФТИ, а также аспирант РУДН. Как пояснил «Известиям» ведущий разработчик Дмитрий Голубев, система состоит из двух нейросетей, программного алгоритма, камеры, направленной на лицо пациента, и компьютера. Нейросети должны распознать мимику на изображении лица человека, передаваемом камерой, а компьютер отвечает за создание определенной команды для сиделки.
— Сначала первая нейросеть определяет ключевые точки лица: положение глаз, носа и др. Затем выясняет, закрыты глаза или открыты, — рассказал эксперт. — Вторая нейросеть распознает последовательность действий, например очередность и количество морганий. Далее алгоритм выбирает одну из команд, заранее присвоенную определенному поведению глаз человека, и отправляет ее на устройство медсестре или сиделке.
Подмигни камере
Важную роль имеет моргание — это движение мышцами активно используется интерфейсом. Понятно, что в обычной жизни люди моргают довольно часто, однако в систему введены нетипичные действия, например моргание одним глазом.
Допустим, захотев пить, пациент дважды моргнет левым глазом. Это действие заранее заносят в компьютер, связывая его с просьбой принести воды. Соответствующее текстовое сообщение приходит на мессенджер телефона человека, который ухаживает за пациентом.
Разработчики решили использовать именно видеокоманды, а не звуковые, так как многие обездвиженные люди имеют проблемы с речью, а контроль за морганием и мимикой у них остается на хорошем уровне. К тому же видеоконтроль не требует настройки системы под множество языков.
— Наша цель — максимально высокая точность в распознании мимики, — рассказывает руководитель проекта Александр Бырдин. — На данный момент мы делаем особый упор на идентификации моргания — в этой области число правильных ответов разработанного нами алгоритма нейросети составляет 99,4%. И, конечно, обучаем нейросеть распознавать другие мимические движения.
Особенность системы — гибкость в присваивании команд. Чем чаще больной хочет повторить то или иное действие, тем более простая мимика должна ему соответствовать. Например, если один пациент часто просит включить телевизор, к этой команде можно привязать одно моргание левым глазом. А другой будет часто просить пить, и такое моргание удобнее привязать именно к этой просьбе.
Подобный комплекс вполне может себе позволить обычный человек — его стоимость составит около 30 тыс. рублей.
— Это очень перспективная и нужная разработка, — считает директор центра медицинской реабилитации Сеченовского университета Константин Терновой. — Обучить каждую сиделку безупречно идентифицировать мимику нельзя, к тому же человек не всегда имеет возможность сидеть и смотреть на лицо пациента. С помощью такой разработки обездвиженный пациент сможет легко донести смысл своих просьб.
Индивидуальный подход
Однако для считывания информации с мимической мускулатуры, возможно, потребуется индивидуальный подход к каждому человеку, считает заведующая отделением ЛФК и массажа Лечебно-реабилитационного центра Минздрава РФ Мария Гуркина.
— Сначала нужно проанализировать движения мышц конкретного человека, прописать под него основные команды и ответы. Эти настройки, несомненно, могут усложнить процесс, — считает эксперт. — Но они необходимы для правильного распознавания движений, так как при наличии у пациента тремора или определенных спазмов система может дать сбой.
На данный момент существуют и другие системы взаимодействия обездвиженных людей с окружающим миром, в том числе и зарубежные. Например, с помощью чипа, который имплантируют в кору головного мозга. Он регистрирует мозговую активность, позволяя больному управлять, например, мышкой на экране монитора. Уникальная особенность отечественного проекта заключается в том, что для полноценной работы системы нет необходимости устанавливать сложные датчики и приборы — достаточно просто расположить камеру рядом с больным.
Разработчики уже ведут переговоры с несколькими реабилитационными центрами и благотворительным фондом, чтобы поставить туда такие устройства и собрать отзывы как пациентов, так и сиделок.
