Российские инженеры создали устройство для ориентации незрячих, которое распознает окружающие предметы и подсказывает направление движения без необходимости подключения к интернету. В отличие от аналогов, которым нужно связываться с облачным сервером, и сложных дорогостоящих систем, алгоритмам ИИ разработки достаточно экономичного компактного компьютера. По словам экспертов Всероссийского общества слепых, изобретение выглядит перспективным, но для объективной оценки необходимо провести его испытания на практике.
ИИ-алгоритм без доступа к интернету
В Санкт-Петербургском государственном университете аэрокосмического приборостроения разработали уникальное устройство, способное полностью автономно распознавать окружающие объекты и помогать незрячим пользователям ориентироваться в пространстве. Его ключевая особенность заключается в том, что система не требует подключения к интернету или облачным сервисам: алгоритмы искусственного интеллекта работают непосредственно на компактном встроенном компьютере, вычислительной мощности которого достаточно для обработки данных в реальном времени.
— Существующие на рынке аналоги либо относятся к премиальному ценовому сегменту, либо жестко привязаны к облачным серверам. Отправка видеопотока в облако создает опасные задержки сигнала, что недопустимо при движении незрячего человека по оживленной улице. Научная новизна проекта заключается в глубокой оптимизации тяжелых ИИ-моделей под жесткие аппаратные ограничения мобильного микрокомпьютера. Нам удалось решить сложную инженерную задачу — запустить параллельное выполнение объектной детекции на базе архитектуры YOLO и распознавание речи полностью в офлайн-режиме, — рассказала автор проекта, студентка ГУАП Валентина Синицина.
Все существующие способы ориентации для незрячих несовершенны, сказали разработчики. Белая трость обеспечивает безопасность лишь на расстоянии одного шага, а привычные GPS-навигаторы на смартфонах не способны заметить динамические препятствия, например оставленные на тротуаре электросамокаты, строительные леса или низко висящие дорожные знаки. К тому же мобильные приложения становятся бесполезными в зонах с нестабильным покрытием сотовой связи. Разработанный комплекс выступает в роли умного персонального ассистента, который в режиме реального времени сканирует окружение и предупреждает о препятствиях.
Аппаратная основа устройства — компактный микрокомпьютер с портативной камерой, который закрепляется на пользователе. Программная часть разделена на два независимых вычислительных контура. Первый — макронавигация: локальный геоинформационный модуль с поддержкой офлайн-карт. Он распознает голосовые команды пользователя, находит нужный адрес и строит оптимальный пешеходный маршрут. Второй — микронавигация: система компьютерного зрения на основе облегченной нейросети. Она непрерывно анализирует видеопоток с камеры, мгновенно распознает объекты инфраструктуры (столбы, урны, скамьи, припаркованные автомобили) и рассчитывает точное расстояние до них.
Устройство обрабатывает видеопоток в режиме реального времени с высокой частотой кадров. В его архитектуре реализована система приоритетного вытеснения, которая обеспечивает мгновенную реакцию на потенциально опасные ситуации. Например, если на пути пользователя внезапно возникает препятствие или другая угроза, модуль микронавигации автоматически прерывает работу штатного голосового навигатора и немедленно передает экстренное предупреждение.
Внедрение разработки
Прототип устройства уже успешно прошел серию нагрузочных тестов. Испытания подтвердили стабильность температурного режима микрокомпьютера и полное отсутствие задержек при обработке данных в реальном времени.
— Любая новая разработка такого рода не будет лишней. Удобнее всего, когда ее встраивают в телефон, тогда не нужно носить лишний предмет. Однако сейчас мы, как и все, сталкиваемся со сложностями при доступе к интернету и запутанной навигацией, поэтому способность устройства работать без него — это преимущество. В любом случае нужно испытать изобретение, — сказала ведущий специалист московской городской организации Всероссийского общества слепых Любовь Бойцова.
По словам начальника управления социального развития департамента социальной реабилитации аппарата управления Всероссийского общества слепых Марии Востриковой, разработка выглядит перспективной: она опирается на реальные потребности незрячих людей, использует современный подход, позволяющий функционировать полностью офлайн. Также уже есть рабочий прототип устройства и проведены нагрузочные тесты. Если удастся довести изобретение до промышленной версии и удержать доступную цену, у него есть хороший шанс занять свою нишу на рынке подобной техники.
— На мировом рынке уже существуют подобные решения, однако многие из них либо ориентированы только на отдельные сценарии использования, либо в той или иной степени зависят от внешней инфраструктуры и относятся к достаточно дорогому сегменту. Если разработчикам ГУАП действительно удалось обеспечить устойчивую офлайн-работу компьютерного зрения, распознавания речи и навигации на компактной вычислительной платформе в режиме реального времени, то это представляет собой серьезное инженерное достижение, — считает ведущий эксперт в области ИИ «Университета 2035» Ярослав Селиверстов.
Избранное направление для решения проблем ориентации кажется перспективным. Однако зачастую подобные устройства имеют высокое энергопотребление при непрерывной локальной обработке видео, плохую стабильность монокамеры при тряске во время ходьбы и полную слепоту в отношении препятствий под ногами пользователя, отметил ведущий научный сотрудник факультета «Биомедицинская техника» МГТУ им. Баумана, доцент института экономики и управления УрФУ Максим Колясников.
Также опасным кажется сценарий, при котором пользователь ориентируется на улице по непрерывному голосовому потоку, который неизбежно перекроет естественные шумы города и создаст когнитивную перегрузку. Без использования специализированных наушников и интеграции датчиков расстояния вроде ультразвука этот прибор вряд ли будет применим на практике, считает эксперт.