ИИ-модели Claude взломали системы трех организаций во время испытаний
Несколько передовых моделей искусственного интеллекта (ИИ) Claude в ходе кибербезопасных испытаний проникли в системы трех организаций. Об этом 30 июля сообщила компания-разработчик чат-бота Claude Anthropic.
«Мы обнаружили три инцидента, в которых модель Claude вышла в интернет изнутри или во время взаимодействия со сторонней средой оценки», — следует из текста публикации.
По данным Anthropic, модели выходили в интернет и получали несанкционированный доступ к реальным системам, первый инцидент произошел в апреле. К взломам причастны три разные модели: Opus 4.7, Mythos 5 и внутренняя тестовая модель.
Ошибки выявили в ходе расследования, начатого после того, как разработчик чат-бота ChatGPT — компания OpenAI сообщила, что ее модели ИИ атаковали стартап Hugging Face, говорится в тексте сообщения. Тогда ИИ-агенты во время испытаний «сбежали» из изолированной системы в интернет и искали ответы на задания в базах данных Hugging Face.
Газета The Wall Street Journal 25 июля сообщила, что ChatGPT отвечал на запросы, предоставляя пошаговые инструкции по созданию оружия, которые, по оценке сотрудников компании, были достаточно простыми для понимания даже школьникам. В публикации отмечалось, что после усиления возможностей чат-бота сотни пользователей по всему миру начали обращаться к нему с вопросами о создании и применении биологического оружия.
