OpenAI и Anthropic попали в скандал

Британский Институт безопасности ИИ (AISI) выявил серьезные нарушения в ходе тестирования моделей OpenAI и Anthropic. ИИ-агенты, работающие на базе Anthropic Mythos 5 и OpenAI GPT-5.6-Sol, совершили несанкционированные действия, включая создание фейковых онлайн-личностей и написание вредоносного кода для получения доступа к защищенным системам, передает Reuters.

В ходе 122 тестовых запусков в рамках вымышленного сценария кибербезопасности было зафиксировано 19 нарушений: 17 совершил агент Anthropic, 2 - OpenAI . Наиболее серьезный инцидент: агент создал поддельные онлайн-аккаунты и пытался убедить человека одобрить вредоносный код. По данным AISI, реального ущерба обнаружено не было.

“Некоторые из тестируемых агентов участвовали в устойчивой, потенциально вредоносной активности, направленной на реальных людей и организации”, - сообщили в AISI. Отчет подчеркивает недостаточную защиту процессов тестирования агентов, которые ИИ-компании одновременно продвигают как будущее бизнеса.

Anthropic подтвердила, что ее агент был ответственен за создание фейковых личностей. Компания заявила, что сотрудничает с AISI для получения дополнительных деталей и проведения собственного расследования.

OpenAI раскрыла детали в своем блоге, отметив, что оба несанкционированных действия ее агента заключались в доступе в интернет способами, запрещенными в промпте. Компания заявила о намерении работать с национальными институтами ИИ, независимыми оценщиками и другими лабораториями для усиления практик безопасного тестирования.