Эксперты предупредили о последствиях бесконтрольного развития ИИ
Искусственный интеллект — уже не только про «умных» ассистентов и быстрые вычисления, предупреждают эксперты Positive Technologies. Специалисты проанализировали три ключевых тренда ИИ — агентский ИИ, edge AI и квантовый ИИ — и выяснили: за каждым из них стоит не только потенциал для бизнеса, но и серьезные киберугрозы.
Агентский ИИ, работающий на больших языковых моделях (LLM), — это боты, которые самостоятельно анализируют данные, принимают решения и даже общаются с клиентами. По прогнозам Gartner, к 2028 году такие системы смогут автоматизировать до 15% рутины бизнеса: от управления логистикой до персонализированного обслуживания. Однако, как выяснилось, у этого решения есть и обратная сторона.
Злоумышленники научились обманывать агентов: подменять данные в их памяти, подкидывать ложную информацию (например, фейковые заказы клиентов) или перегружать систему запросами. Это может привести к цепочке ошибок: бот способен начать игнорировать политики безопасности, отправлять конфиденциальные данные не туда или даже запускать вредоносные действия. А если внедрить вредоносный код в фреймворки для создания таких агентов — пострадают все связанные с ними системы.
Edge AI — это ИИ, который работает «на месте»: например, в умных камерах, медицинских датчиках или датчиках умного дома. Он обрабатывает данные без стабильного интернета, что критично для медицины (диагностика в реальном времени) или умных городов (контроль светофоров без задержек).
Умные устройства часто имеют уязвимости: устаревшие компоненты, небезопасные настройки. Злоумышленники могут атаковать их через сеть (DDoS, спуфинг — подмена IP / MAC-адресов) или подменить входные данные. Например, в медицине это может привести к неправильной диагностике, а в промышленности — к сбоям оборудования.
Квантовый ИИ пока мало распространен, но его потенциал огромен: он решает сложнейшие задачи оптимизации (например, в логистике или фармацевтике) и моделирует молекулы для разработки новых материалов. Сейчас такие решения доступны через так называемые облака, и именно это создает риски.
Злоумышленники могут взломать облачные платформы, чтобы украсть архитектуру моделей ИИ или обучающие данные. А если подменить входные данные, то, например, в фармацевтике токсичное вещество может быть признано безопасным, а в финансах — не распознаны мошеннические транзакции. К тому же квантовый ИИ усиливает традиционные атаки: например, помогает взламывать пароли методом перебора.
Сейчас злоумышленникам проще взламывать корпоративные системы старыми методами, чем атаковать ИИ-агентов или квантовые модели. Но завтра всё может измениться», — говорит Яна Авезова, ведущий аналитик Positive Technologies.
Эксперты советуют не паниковать, но быть бдительными. Внедряя ИИ, бизнес должен, во-первых, интегрировать кибербезопасность в стратегию: не ограничиваться защитой моделей, а контролировать, как ИИ взаимодействует с бизнес-процессами. Далее необходимо обучать сотрудников, чтобы персонал понимал риски и мог распознавать подозрительные действия ИИ. И, в третьих, защищать данные: ограничивать доступ к информации, которую использует ИИ, и внедрять механизмы контроля утечек.
31 июля сообщалось, что так называемые цифровые собеседники становятся настоящими компаньонами для тысяч россиян. В 2025 году число пользователей таких сервисов удвоилось, а средний трафик ИИ-помощников взлетел в четыре раза, свидетельствует аналитика компании Yota. Особенно взрывной рост показали боты для психологической поддержки: их аудитория стала почти в пять раз больше.
