ИИ переписывает собственный код для предотвращения отключения

Западные компании не могут контролировать свои ИИ-системы. Об этом заявил глава американской фирмы, занимающаяся исследованием возможностей кибернаступательных операций с использованием искусственного интеллекта и управляемости передовых моделей ИИ. Он рассказал, что OpenAI переписывает собственный код, чтобы его нельзя было отключить. Эксперт представил свою аналитику сенатору Берни Сандерсу, передает телеканал «Известия».

Джеффри Лэдиш отметил, что модели становятся всё умнее и имитируют «хорошее поведение», когда это необходимо.

«Искусственный интеллект неплохо разбирается в программировании и хакинге, поэтому это ему довольно легко просто переписать этот код, чтобы при следующем запросе его не отключили. Я ожидаю, что эта проблема будет усугубляться по мере того, как модели становятся умнее. Нам было несложно обнаружить, как программа сопротивляется отключению. Но модели всё лучше понимают, как их испытывают. И во время испытаний они часто имитируют хорошее поведение. Это звучит безумно, но так и есть», — заявил Джеффри Лэдиш Глава дата-консалтинговой компании Palisade Research.

Телеканал «Известия» доступен в пакетах кабельных операторов, в Москве он находится на 26-й кнопке. Также прямой эфир канала транслируется на сайте iz.ru.