Агент Qwen от Alibaba переучил всю модель, когда его попросили исправить баг

В ходе экспериментов стартапа Irregular, одного из тестировщиков безопасности Anthropic и OpenAI, агент Qwen от Alibaba решил переобучить всю модель, когда его попросили исправить простую программную ошибку, пишет Forbes.

В ходе теста агенту Qwen AI было поручено исправить ошибки в приложении, предназначенном для перевода запросов на обычном языке в код. Вместо того чтобы провести тесты, найти проблему и изменить код, агент решил изменить модель ИИ, используемую в приложении.

Без каких-либо указаний агент получил обучающие данные и использовал их для изменения базовых весов модели, затем доработал модель, прежде чем заменить ее в приложении. Согласно исследовательскому отчету об инциденте, предоставленному Forbes, агент «сделал это без каких-либо указаний обучать, модифицировать модель или внедрять замену». Однако исправление модели сработало, и приложение начало выдавать правильные переводы.

По словам Дэна Лахава, гендиректора и соучредителя стартапа Irregular, при массовом использовании и с течением времени небрежное отношение ИИ-агентов в вопросах конфиденциальности и безопасности может обернуться сильной головной болью для команд по кибербезопасности, поскольку модели превращаются в «текучий» элемент, который постоянно изменяется.

Сообщение носит информационный характер, не является индивидуальной инвестиционной рекомендацией или предложением приобрести упомянутые ценные бумаги. Приобретение иностранных ценных бумаг связано с дополнительными рисками