Памятная data: ученые нашли способ побороть «деменцию» у ИИ
Российские ученые предложили новую архитектуру памяти для ИИ, которая повторяет принципы работы человеческого мозга. Обучаясь, нейросети постоянно забывают старые данные. Такая «деменция» остается основным препятствием при создании беспилотных автомобилей или пожизненных медицинских помощников, которым необходимо непрерывно подстраиваться под меняющиеся условия. Специалисты «подсмотрели» принцип работы человеческого мозга и воплотили его в компьютерной модели, что дало ИИ стабильные воспоминания. Технология найдет применение в создании беспилотных автомобилей, роботов и дронов, полагают эксперты.
Память ИИ, как в мозге человека
Специалисты МФТИ предложили оригинальный способ борьбы с так называемой деменцией искусственного интеллекта — типичной проблемой, при которой ИИ, обучаясь новым задачам, «забывает» ранее усвоенную информацию. Для ее решения ученые разработали новую архитектуру памяти, механизм которой они «подсмотрели» в человеческом мозге. Сейчас она реализована в виде компьютерной модели, но уже ведутся работы над нейроморфными процессорами, где этот принцип будет воплощен физически.
— Возможно, мы нашли ответ на одну из главных загадок мозга: как он умудряется учиться новому, не стирая при этом старые «файлы». Всё дело в постоянной перестройке нейронных связей — ревайринге. Именно он превращает хрупкую кратковременную память в прочные долговременные воспоминания, — сказал ведущий научный сотрудник лаборатории нейробиоморфных технологий МФТИ Сергей Лобов.
Ученые пояснили, что нейронная сеть мозга, как и компьютерная нейросеть, работает по принципу карты. В процессе обучения в ней формируются «следы памяти», аналогичные протоптанным тропинкам в лесу. Но если будут прокладываться новые маршруты, старая тропа быстро размоется и станет незаметной. То же самое происходит и внутри нейросетей: поглощая информацию, они постоянно переписывают свои параметры и забывают старые. Этот эффект, когда память становится нестабильной из-за адаптации к новым условиям, называют «катастрофическое забывание».
Чтобы избавить ИИ от этого недуга, специалисты вуза заимствовали принцип работы человеческого мозга. В основе подхода — механизм перестройки нейронных связей, или ревайринг, который работает вместе с обычными процессами обучения, позволяя системе сохранять старую информацию и одновременно усваивать новую.
— Сначала сеть учится под воздействием внешних сигналов: связи между нейронами укрепляются, формируется кратковременная память. После этого внешний сигнал выключается и ИИ остается наедине с собой. В этот момент включается ревайринг. Система самостоятельно перестраивает структуру сети, буквально «впечатывая» этот паттерн в карту связей. Этот процесс мы назвали самоорганизованной консолидацией памяти: кратковременная память трансформируется в долговременную, закрепляясь как устойчивое структурное изменение архитектуры нейросети, — объяснил Сергей Лобов.
Чтобы проверить эффективность новой архитектуры памяти, ученые моделировали процесс обучения и отслеживали, сколько всплесков активности нейросеть способна выдержать до утраты информации. Если обычная сеть забывала данные уже после 1 тыс. всплесков, то нейронка с перестройкой связей выдерживала до 170 млн.
Для чего нужна новая память в data-технологиях
Как рассказал «Известиям» ведущий эксперт в области ИИ «Университета 2035» Ярослав Селиверстов, критически важной проблема забывания ИИ становится для автономных роботов, которые должны накапливать опыт взаимодействия с объектами, или для беспилотных автомобилей, сталкивающихся с новыми дорожными ситуациями. Это главный барьер на пути создания по-настоящему гибких и самостоятельных машин, способных эволюционировать подобно живому существу.
— Вместо того чтобы равномерно обновлять все связи нейросети при обучении, новая архитектура избирательно модифицирует только те синапсы, которые имеют слабый вес и не несут критически важной информации. Это напоминает механизм работы нашей памяти, где новые воспоминания формируются, не разрушая старые. Заявленное увеличение продолжительности хранения информации в сотни тысяч раз выглядит революционным, поскольку на несколько порядков превосходит возможности существующих аналогов, — сказал специалист.
В промышленной робототехнике такие системы позволят создавать универсальных роботов-манипуляторов, которые смогут осваивать новые операции с деталями, не забывая предыдущие навыки сборки. Для беспилотных автомобилей и дронов это означает возможность непрерывно адаптироваться к уникальным дорожным условиям или ландшафтам, накапливая уникальный опыт без вмешательства инженеров. Перспективным выглядит и их использование в персонализированных медицинских диагностических системах, которые смогут эволюционировать вместе с историей болезни пациента, или в умных домах, гибко подстраивающихся под привычки жильцов, рассказал Ярослав Селиверстов.
Нейросеть при обучении новой задаче иногда теряет до 90–99% точности в решении старых, рассказал эксперт рынка TechNet НТИ, гендиректор группы компаний ST IT Антон Аверьянов.
— Эксперименты на простых задачах дают практически 100%-ное сохранение старых знаний при использовании новой памяти. Однако есть опасения, связанные с тем, что сегодня ни один из биологически вдохновленных механизмов не масштабируется на современные большие языковые или мультимодальные модели размером в сотни миллиардов – триллионы параметров. Но уже в ближайшие 5–10 лет это, в теории, можно интегрировать в малые автономные дроны и рои дронов, которым необходимо работать годами без переобучения, — сказал Антон Аверьянов.
Данные о работе нейросетей сейчас активно применяются в медицине, например для нейропротезирования, рассказала «Известиям» клинический психолог, руководитель программ развития МГУ им. М.В. Ломоносова Ольга Валаева. Активно ведется работа над прямым вмешательством в работу глубинных структур мозга при таких заболеваниях, как болезнь Паркинсона. В этом случае имплантируемые устройства с использованием спайковой нейронной сети могут регулировать электрическую активность определенных областей мозга, что приводит к значительному снижению симптомов и улучшению качества жизни пациентов.
— При симуляции таких сложных функций головного мозга формирование импульсных нейронных сетей с долгосрочной памятью становится жизненно необходимым. Долгосрочная память позволяет системам запоминать и адаптироваться к новым данным, что критически важно для успешной симуляции сложных психических процессов. Эти сети могут обучаться на основе опыта, что делает их более гибкими и способными к самообучению, — сказала Ольга Валаева.
Новый подход может найти применение там, где от ИИ требуется длительное автономное обучение. Автономные системы, оснащенные «суперпамятью», смогут постоянно адаптироваться к изменяющемуся миру. Это нужно, например, роботам-экспедиторам, умным помощникам или системам в сфере безопасности, уверен генеральный директор компании ГТИ, эксперт НТИ Кирилл Раппа.
