Голос жестов: искусственный интеллект применят для сурдоперевода
Российские ученые разрабатывают программу, которая с помощью искусственного интеллекта сможет в режиме реального времени через видеокамеру переводить жесты человека с проблемами слуха в слова, фразы и звуки. Подобной системы пока нет нигде в мире. Она необходима для того, чтобы облегчить процесс общения между глухими и слышащими людьми. Программа будет базироваться на уникальном сервисе, который помогает людям с проблемами слуха и их родственникам обучиться жестовому языку и чтению по губам.
Автоматический сурдопереводчик
Ученые из Института проблем управления им. В.А. Трапезникова РАН (ИПУ РАН) разрабатывают уникальную систему для слабослышащих и глухих людей, которая с помощью искусственного интеллекта сможет переводить жестовый язык в слова, фразы и буквы. Как сообщил «Известиям» заведующий лабораторией «Автоматизированные системы массового обслуживания и обработка сигналов» ИПУ РАН Маис Фархадов, после того как группа исследователей соберет необходимые статистические данные, они будут предъявлены нейросети, которую с применением методов машинного обучения «натренируют» распознавать, какой звук или буква соответствует определенному жесту.
— Мы применяли для распознавания жестов искусственный нейронный кортекс (группа нейронов, ответственная за принятие решений. — «Известия»). Он может распознавать статические жесты. Дактильную азбуку он уже распознает. В будущем планируем довести эту разработку до автоматического сурдопереводчика. Полностью заменить человека это не сможет, но в каких-то случаях поможет людям с проблемами слуха, — сообщил Маис Фархадов.
Ученые отметают, что на создание искусственного интеллекта, способного переводить жесты в слова и звуки, может уйти не один год, но они готовы работать над программой столько, сколько потребуется, чтобы создать оптимальный вариант автономного сурдопереводчика. Тем более что пока такой системы нет ни в одной стране мира.
В мире
— Первые виртуальные сурдопереводчики (аватары) — человечки, которые речь переводят в жесты, были созданы командами программистов из исследовательских центров IBM в начале этого века, — рассказала «Известиям» научный сотрудник лаборатории «Автоматизированные системы массового обслуживания и обработка сигналов» Зинаида Мясоедова. — На одну из таких разработок ушло более года. Однако, по мнению носителей жестового языка, эти разработки, несмотря на свою уникальность, не были совершенными. Люди, знающие и использующие жестовый язык, пока относятся к аватарам с недоверием, поскольку в сравнении с человеком они не могут передать выразительность и точность жестовой речи. В жестовом языке должна быть очень высокая точность исполнения жестов, и каждое незначительное движение может изменить их значения. Мы стараемся учесть все нюансы и приблизиться к максимальной точности, но это пока перспектива. Сейчас нужно собрать наиболее полную базу данных.
В последнее время работы по созданию виртуальных сурдопереводчиков успешно ведутся во многих странах (Нидерланды, Франция, Греция, Чехия, Германия и др.). Европейский союз и несколько университетов выделили сотни тысяч фунтов на исследования в надежде на разработку аватаров, которые можно использовать на веб-сайтах.
На острие науки
Российская программа-сурдопереводчик будет базироваться на уникальной для России площадке, разработанной слабослышащей молодой сотрудницей ИПУ РАН, выпускницей МГТУ имени Баумана Марией Мясоедовой. Она является научным сотрудником и несколько лет работает над интернет-порталом «Сурдосервер», призванным облегчить людям с проблемами слуха и их родственникам изучение жестового языка. На портале собраны сотни обучающих видеороликов, речевой тренажер, который помогает глухим пользователям узнать, насколько правильно они произносят тот или иной звук, глоссарий с дактильными азбуками разных стран, словарь «диалектов жестового языка».
— Русский жестовый язык аналогичен вербальному русскому языку со всей его спецификой. Есть диалекты жестового языка. Московские слабослышащие разговаривают своими жестами, в Петербурге и других регионах есть свои особенности. Мы планируем расширить количество видеофайлов на жестовом языке, включая туда жесты, обозначающие термины из области информационных технологий, — отметил Маис Фархадов.
По словам проректора по научной работе ННГУ Виктора Казанцева, создание сурдопереводчика на основе нейросетей — очень перспективное направление.
— Эта тематика сейчас находится на острие науки. К настоящему времени активно развиваются современные гибридные нейроалгоритмические методы и системы с целью построения интеллектуальных систем анализа, консультирования, прогнозирования и цифровых двойников для решения различного класса задач, — отметил ученый.
Также ученые из ИПУ РАН разрабатывают мобильное приложение «Сурдосервис» и сурдооблако, в котором люди с проблемами слуха смогут мгновенно обмениваться информацией. Предполагается, что, после того как разработчики обучат нейросеть с максимальной точностью переводить жестовый язык в слова и буквы, все сурдосервисы, созданные в ИПУ РАН, будут интегрированы в единый пакет программ, который можно будет распространять среди слабослышащих людей.
