- Статьи
- Интернет и технологии
- Спутанные нейросети: ИИ-агенты начали галлюцинировать при взаимодействии друг с другом
Спутанные нейросети: ИИ-агенты начали галлюцинировать при взаимодействии друг с другом
Российские разработчики ПО сообщили о появлении нового типа ошибок в работе нейросетевых ассистентов — так называемых галлюцинаций взаимодействия. Речь идет о сбоях, возникающих не внутри одной модели, а на стыке нескольких систем: например, когда цифровой помощник выполняет задачу пользователя и обращается к внешнему сервису, использующему ИИ другого разработчика. Такая ситуация возможна, в частности, при оформлении билетов через автоматизированные платформы, где на стороне партнера задействована иная языковая модель. Эксперты предупреждают, что подобные ошибки способны затронуть финансы, медицину, логистику, туризм и клиентский сервис.
Стремительный рост ИИ создает новые риски
В России начали фиксировать проблемы при попытках заказать билеты в кино или забронировать столик с помощью отечественных ИИ-агентов. Речь идет о ситуациях, когда отдельные системы работают корректно, но при обмене данными между ними теряется контекст, искажается смысл или нарушается логика сценария. В результате пользователь получает не тот результат, который ожидал: от ошибочного заказа и неверного платежа до противоречивой консультации или зависшей операции.
Рынок сегодня напоминает набор «цифровых крепостей»: крупные игроки формируют закрытые экосистемы, внутри которых сервисы эффективно взаимодействуют, но плохо интегрируются с внешними решениями, рассказал руководитель группы продуктов ООО «Оператор Газпром ИД» Руслан Долгополов. Отсутствие единых стандартов обмена данными и унифицированных API приводит к тому, что телеком-компании, банки, маркетплейсы и сервисы доставки фактически говорят на разных цифровых языках.
Он сравнил происходящее с «испорченным телефоном»: при передаче задачи между системами данные проходят несколько уровней интерпретации и на выходе могут существенно отличаться от исходного запроса. По его оценке, без формирования общей среды взаимодействия такие ошибки рискуют стать не исключением, а системной характеристикой цифровой экономики.
IT-эксперт Сергей Поморцев уточнил, что проблема уже проявляется в бытовых сценариях. По его словам, один из реальных примеров связан с попыткой купить билеты в кино через ИИ-помощника.
— Пользователь формулирует простой запрос — подобрать вечерний сеанс, выбрать хорошие места и оплатить заказ. Однако после передачи данных между несколькими системами помощник может перепутать дату, выбрать другой кинотеатр или оформить бронь без завершения оплаты. В результате человек узнает о сбое уже перед началом сеанса, — отметил он.
Второй пример, по словам Поморцева, касается поиска съемного жилья на площадках с высокой степенью автоматизации, подобных сервисам объявлений недвижимости. Пользователь просит подобрать квартиру по цене, району и сроку аренды, а цифровой агент начинает взаимодействовать с внешними базами и чат-ботами собственников. На этом этапе нередко теряются ключевые параметры: бюджет меняется, район подменяется соседним, а краткосрочная аренда превращается в долгосрочную. В результате человек получает десятки нерелевантных вариантов и тратит время на повторную фильтрацию.
— Проблема в инференсе — то есть в моменте, когда модель уже применяет знания к реальной задаче и должна корректно трактовать входящие сигналы от другой системы. На бумаге всё работает, а в живой связке начинаются смысловые сбои, — отметил эксперт.
Впрочем, не все участники рынка считают проблему новой. Руководитель направления ИИ Cloud.ru Дмитрий Юдин отметил, что полноценное взаимодействие агентов, при котором одна система ИИ в реальном времени передает задачи другой, пока встречается редко. По его словам, большинство интеграций по-прежнему строится на стандартных API, обеспечивающих базовый обмен данными, поэтому говорить о массовом характере явления преждевременно. При этом вопрос совместимости систем уже сейчас требует внимания отрасли.
Схожей позиции придерживается директор по продуктам MWS AI (входит в МТС Web Services) Максим Волошин. Он подчеркнул, что сам термин «галлюцинации взаимодействия» пока не подкреплен значительным числом публичных кейсов. Однако проблема совместимости, по его оценке, действительно существует — прежде всего из-за отсутствия единого транспортного слоя и понятных механизмов передачи контекста между системами.
В каких сферах пользователь сталкивается с ошибками
Наиболее заметно подобные сбои проявляются в массовых сервисах. Директор центра развития ИИ-продуктов экосистемы «Лукоморье» (входит в «Ростелеком») Денис Романов отметил, что в финансовой сфере ошибки передачи данных могут приводить к списанию средств без их зачисления или начислению пеней из-за срыва сроков оплаты.
— В туризме рассинхронизация между системами бронирования авиабилетов и гостиниц способна оставить клиента без номера по прилете. Человек вынужден срочно искать новое жилье, переплачивать и решать проблему в незнакомом городе, — пояснил он.
Еще один распространенный сценарий связан с покупками через голосовых ассистентов: при некорректном распознавании товара, размера или адреса доставки пользователь получает не тот заказ либо отправку по неверному адресу. В отдельных случаях возможны и утечки персональных данных — если запрос обрабатывается с ошибками и попадает в журналы событий.
В медицине последствия могут быть серьезнее. По словам эксперта, при записи к врачу, контроле приема препаратов или первичном анализе симптомов система способна «потерять» критически важные сведения — например, информацию об аллергии пациента. Это повышает риск ошибок в назначениях и увеличивает нагрузку на врачей.
Для финансового сектора особенно чувствительна потеря клиентского контекста, отметил член правления УК «Альфа-Капитал» Антон Граборов. Если данные о риск-профиле инвестора или его предпочтениях искажаются при передаче между сервисами, это становится не просто неудобством, а потенциальным регуляторным риском.
— Корень проблемы не столько в самих моделях, сколько в архитектуре решений. По отдельности модели могут работать нормально, но при связке закрытых экосистем с разными форматами данных и без единых правил валидации начинается искажение смысла, — уточнил СТО компании Veai Владислав Кудинов.
Иной точки зрения придерживается генеральный директор «Нотамедии» Максим Малышев. Он считает, что чаще речь идет не о несовместимости моделей, а о недостаточной инженерной проработке: при корректной передаче контекста разные системы могут эффективно работать в одной цепочке — например, одна классифицирует данные, другая генерирует текст, третья выполняет проверку результата.
— Часть проблем связана с ограничениями самих моделей: длиной контекста, памятью и качеством обучения. Когда цепочка запросов становится слишком длинной, система буквально «забывает» начало диалога и начинает достраивать недостающие данные самостоятельно, — добавила ведущий инженер-аналитик «Газинформсервиса» Ирина Меженева.
Системы могут технически обмениваться данными, но по-разному интерпретировать одну и ту же информацию. В таком случае сбой возникает именно в точке передачи: один агент передает смысл в одном виде, а другой трактует его иначе, пояснил директор по развитию ИИ «Группы Астра» Станислав Ежов.
Большинство экспертов сходятся во мнении, что рынку необходимы стандарты, однако не в виде жесткой сертификации каждой модели. Дмитрий Юдин отметил, что в мире уже развиваются технические протоколы, такие как MCP и A2A, задающие правила обмена контекстом между ИИ-системами. Руслан Долгополов добавил, что без правовых механизмов обмена данными и единых API рынок рискует окончательно фрагментироваться на несовместимые экосистемы.
Пока технология находится в стадии активного развития, специалисты рекомендуют воспринимать ИИ-ассистентов как инструмент поддержки, а не полностью автономных исполнителей — особенно в сферах с высокой ценой ошибки, таких как финансы, путешествия, медицина и документооборот. При этом ключевым риском остается не столько откровенная «фантазия» нейросети, сколько уверенная ошибка, возникающая в цепочке из нескольких цифровых посредников.
