Вот это жест: ИИ для промышленности научили понимать движения рук даже в грязных перчатках
- Статьи
- Наука и техника
- Вот это жест: ИИ для промышленности научили понимать движения рук даже в грязных перчатках
Ученые-программисты разработали ИИ-комплекс для управления промышленными устройствами и компьютерами с помощью жестов. Система использует обычную веб-камеру и способна распознавать движения даже в защитных перчатках, при слабом освещении и на фоне визуального шума. Внедрение технологии может упростить управление оборудованием на производстве, в цехах, при спасательных работах в завалах, а также при взаимодействии человека с роботами в составе одной команды. При этом специалисты рекомендуют использовать такой интерфейс совместно с голосовыми командами и другими каналами управления для повышения надежности.
Как ИИ распознает жесты
Разработка ученых из Новгородского государственного университета основана на алгоритмах искусственного интеллекта, которые позволяют распознавать движения рук, сделанные даже в перчатках, при плохом освещении и на зашумленном фоне. Это дает возможность применять систему в цехах, в шахтах, тоннелях или в зонах чрезвычайных ситуаций при спасательных работах, когда высокая запыленность, ограниченная видимость и необходимость использовать защитную экипировку делают традиционные системы управления малоэффективными.
— На многих промышленных объектах персонал работает в спецодежде, а доступ к панелям управления ограничен зачастую ограничен. При этом технические решения, которые позволяют бесконтактно управлять устройствами, обычно требуют дополнительного оборудования и имеют ограничения по условиям эксплуатации. Доступные альтернативы — системы компьютерного зрения со стандартными видеокамерами. Но их устойчивость к помехам недостаточна, — рассказал «Известиям» один из разработчиков, старший преподаватель кафедры информационных технологий и систем НовГУ Игорь Кулаков.
По его словам, в предложенном решении специалисты использовали открытую библиотеку компьютерного зрения. Ее доработали, добавив сглаживание дрожаний пальцев, переобучили нейросеть на изображениях рук в перчатках и настроили пороги срабатывания жестов под промышленные условия. Например, задали числовые значения расстояний между пальцами, чтобы программа отличала намеренные жесты от случайных движений.
Чтобы дать команду компьютеру, нужно поднести руку к камере. Программа распознает кончик указательного пальца, а курсор повторит движение. Для клика левой или правой клавишей оператору нужно соответственно соединить большой палец с указательным или средним. Сведение с безымянным включает режим перетаскивания, отведение в сторону — прокрутку. Все жесты выполняются на весу, без прикосновения к манипуляторам или экрану, сообщил ученый.
Где будет востребована разработка
— Разработчики не ставили задачу создать систему распознавания жестов с нуля — такие алгоритмы существуют. Цель была заставить программный комплекс стабильно работать там, где «слепнут» обычные компьютеры. Например, когда оператор работает в грязных перчатках, свет моргает, а на заднем плане — станки и движущиеся объекты. Мы показали, что с помощью разработки с этими помехами отлично справляются обычные камеры и бесплатные библиотеки, — прокомментировал Игорь Кулаков.
По его словам, точность системы составляет 90–95%, а скорость реакции — менее 0,1 секунды. Это сопоставимо с показателями дорогих зарубежных контроллеров, но при существенно более низкой стоимости решения. Сравнение с известными зарубежными аналогами показало, что разработка обеспечивает аналогичный уровень точности при меньших затратах. При этом для ее использования не требуется специализированное оборудование — достаточно стандартной камеры.
Подобные технологии востребованы в автоматизированных производствах, где, к примеру, нужна перенастройка оборудования, а присутствие человека рядом невозможно или опасно, добавил ученый. Также разработка снизит риск поражения работников током и износ оборудования. Кроме того, систему можно интегрировать в системы управления роботами, чтобы люди и машины могли работать вместе.
— Такие системы можно применять в разных задачах, где человек находится не в чистой зоне, а непосредственно взаимодействует с объектами инфраструктуры. Однако достоверности в 90–95% для большинства сфер недостаточно. И не ясно, получится ли по представленной технологии добиться стопроцентного результата, — прокомментировал «Известиям» представитель правления «Консорциума робототехники и систем интеллектуального управления» Евгений Дудоров.
Он пояснил, что при работе с промышленными объектами и сложной техникой особенно важно точное выполнение команд, поскольку неверная интерпретация жестов может привести к авариям, материальному ущербу и рискам для людей. Повысить надежность таких систем можно за счет комбинированных решений — например, дополняя жестовое управление голосовыми командами. По словам эксперта, голосовые команды более однозначны и лучше распознаются алгоритмами ИИ.
Кроме того, жесты требуют обучения и стандартизации, поскольку разные люди выполняют их с вариациями. В то же время голосовое управление проще в реализации и уже активно используется в робототехнике, отметил эксперт.
— Преимущество системы — что нет необходимости во внешних устройствах, достаточно видеокамеры. При этом комплекс может работать в шумовой обстановке, где голосовой интерфейс бесполезен. В числе недостатков — то, что разработка не подходит людям с ограниченными возможностями. Также программа требует тщательной донастройки под условия среды — баланс белого, пыль, туман, освещение и прочие, — поделился главный научный сотрудник Института проблем управления имени В. А. Трапезникова Роман Мещеряков.
По его словам, язык жестов — один из способов управлять техникой. Сейчас же распространение получают многомодальные интерфейсы — с управлением одновременно голосом, жестами, взглядом и т.д. Эти направления будут развиваться — как в виде обычных внешних устройств, так и — в будущем — вживляемых чипов.
— Достоинство разработки — в экономии ресурсов. Ученые взяли зрелую открытую библиотеку и адаптировали ее под свои задачи. Распознавание жестов сегодня — не наука, а инженерия. Алгоритмическая база для этого давно открыта, разница между лабораторным прототипом и устройством в цеху — в технических деталях, — объяснил программист, разработчик бенчмарка для проверки программ распознавания жестов по электромиографии Кирилл Головань.
Ограничения этих систем — в «природе» видеосенсоров, отметил он. Им нужны прямая видимость руки и стабильный кадр, что не всегда доступно. Повысить надежность распознавания могут, например, инерциальные датчики на запястье или браслеты-электромиографы — устройства, которые считывают биоэлектрические сигналы мышц и преобразуют их в цифровые команды.
Подобные системы, по словам эксперта, востребованы в медицине. Например, хирург в стерильных перчатках не может прикасаться к экрану или клавиатуре, но при этом ему необходимо просматривать снимки компьютерной томографии и управлять 3D-моделями органов. Бесконтактное жестовое управление позволяет решать эту задачу без нарушения стерильности.
Кроме того, такие технологии могут расширить возможности людей с ограниченной подвижностью, для которых традиционные устройства ввода становятся барьером. Еще одно перспективное направление — взаимодействие с банкоматами и информационными терминалами. По оценкам специалистов, это формирует значительный потенциальный рынок применения подобных решений.
