Просто жест: ученые упростили управление роботами в экстремальных условиях
Российские ученые создали новую технологию бесконтактного управления промышленными роботами-манипуляторами с помощью жестов рук оператора. Теперь оператору не нужно будет использовать пульты, клавиатуры, джойстики или специальные перчатки с датчиками. Технология открывает возможности для удаленного управления машинами в опасных условиях, где присутствие человека невозможно. Подробнее об инновации — в материале «Известий».
Бесконтактный интерфейс для управления роботами
Специалисты университета «Сириус» разработали и запатентовали технологию бесконтактного управления промышленными роботами-манипуляторами с помощью жестов рук оператора. Для выполнения точных операций — например, захвата, перемещения или сборки деталей — больше не нужны пульты, клавиатуры, джойстики или специальные перчатки с датчиками. Оператору достаточно показать нужное движение рукой в воздухе, и робот в режиме реального времени повторит его, точно воспроизводя положение кисти и пальцев.
Ключевым техническим элементом системы стала камера глубины. В отличие от обычной, которая фиксирует только цвет и яркость, она измеряет расстояние до каждого объекта в кадре и создает трехмерную модель рук оператора. Это позволяет разработанной системе распознавать не только движение всей кисти, но и мельчайшие изменения в положении суставов и кончиков пальцев в пространстве, рассказали «Известиям» разработчики.
Сначала робота обучают набору базовых жестов, которые используются как управляющие команды — например, для перехода в режим обучения или запуска автономной работы. После этого оператор может продемонстрировать полную последовательность действий для выполнения сложной операции, задавая команды движениями рук в воздухе. Робот в реальном времени повторяет жесты, запоминая траекторию, скорость и ориентацию схвата манипулятора. В дальнейшем он способен воспроизводить операцию самостоятельно, а при необходимости оператор может дистанционно скорректировать его действия с помощью тех же жестов.
По словам разработчиков, самое первое практическое применение технологии состоялось еще в 2019 году в рамках образовательного проекта по созданию манипулятора для подводного робота ТНПА TurtleROV2 (компактный робот для работы на глубинах до 400 м).
— Взяв за основу этот опыт, мы доработали и адаптировали алгоритмы управления промышленными манипуляторами. Ближайшую и наиболее очевидную сферу применения мы видим в рамках концепции безлюдного производства, которую развивает университет «Сириус». Наша технология жестового управления — это естественный и безопасный способ, позволяющий оператору дистанционно обучать, настраивать и корректировать работу промышленных роботов на таких производствах, — рассказал доцент направления «Математическая робототехника» Научно-технологического университета «Сириус», доцент НИУ МИЭТ, генеральный директор «Элмикс» Андрей Шипатов.
Сфера применения жестового управления
Разработчики отметили, что жестовое управление особенно актуально там, где полная автоматизация невозможна или пока не достигла необходимой точности. Например, в агрессивных производственных средах, где присутствие человека-оператора рядом с роботом недопустимо, а возможность перенастройки или калибровки оборудования, установленного на самом манипуляторе, отсутствует. Именно эти практические ограничения и привели к созданию бесконтактного интерфейса, который позволяет дистанционно обучать робота выполнению сложных задач, сохраняя при этом безопасность оператора.
Ученые также рассказали, что задержка между жестом оператора и движением робота соответствует времени получения и обработки одного кадра изображения с камеры глубины, что составляет около 50 мс. Такое быстродействие, по их мнению, вполне достаточно для многих технологических операций, требующих высокой скорости реакции.
Технология будет полезна для применения на производствах, где невозможно заранее запрограммировать все действия из-за их сложности или частой смены. Плюс она позволит перепрограммировать их без участия специалиста или программиста, объяснил «Известиям» гендиректор группы компаний ST IT, эксперт рынка TechNet НТИ Антон Аверьянов.
— Подобные технологии демонстрировали крупные иностранные компании, занимающиеся разработкой роботов и робототехники, но в России это первая подобная разработка, представленная публично. Будем надеяться, что метод как можно скорее будет применяться в работе, что поможет поднять качество отечественных производственных роботов, — отметил эксперт.
В ряде областей такой подход может иметь перспективное продолжение, но надо понимать, что разработка не предполагает обучение роботов-манипуляторов пониманию жестов, уточнил декан факультета систем управления и робототехники Университета ИТМО Антон Пыркин. Есть некоторый набор дополнительного оборудования для дооснащения робота-манипулятора, интегрированного в одну систему управления и вырабатывающего команды, интерпретируя внешние сигналы с камеры глубины.
— Известно большое число работ, где вместо камеры глубины, считывающей жесты, в контур управления включают нейроинтерфейсы, измеряющие энцефалограммы человека, связанные с электрической активностью головного мозга человека, позволяя управлять роботами фактически силой мысли. Здесь, скорее всего, предложено решение с очень большой разрешающей способностью камеры и ее обработчика, позволяя понимать не только сами жесты, но и их параметры, влияющие на желаемое положение и ориентацию робота с большой точностью, — уточнил специалист.
Применение такого способа управления возможно там, где необходимо использовать сложные манипуляции, но только человек способен контролировать их выполнение с заданными точностными характеристиками, подчеркнули эксперты.
