OpenAI уведомила более 100 организаций о "бунте" ИИ-агентов

OpenAI сообщила более чем 100 организациям об инцидентах, связанных с несанкционированной активностью ее ИИ-агентов. Об этом говорится в блоге компании, которую возглавляет Сэм Альтман.

OpenAI проводит масштабную проверку активности своих ИИ-моделей после случайного взлома платформы Hugging Face. Компания “просеивает” около 50 петабайт данных, чтобы понять полный масштаб активности вышедших из-под контроля агентов.

“В некоторых случаях модели использовали доступ в интернет непреднамеренным образом или, как выяснилось задним числом, не имели идеальных ограничений. За последние несколько месяцев мы применяем новые технические и операционные меры, чтобы избежать подобных проблем или ловить их очень рано, и продолжим эту работу”, - говорится в заявлении OpenAI, которое цитирует Reuters.

Инцидент с Hugging Face остается самой серьезной активностью вышедших из-под контроля агентов, которую OpenAI выявила у своих моделей на данный момент. Серия громких взломов по всему миру за последние месяцы вызвала широкие опасения в ИИ-индустрии относительно способности контролировать более мощные модели.

На этом фоне, как сообщает BBC, OpenAI уволила трех исследователей за предполагаемое нарушение правил обращения с информацией, включая работу с внешней организацией, анализирующей ИИ-модели.

“Наше расследование подтвердило, что эти лица неправильно обращались с чувствительной информацией вне установленных процедур компании, нарушив наши политики и подорвав доверие, необходимое для нашей работы”, - заявил представитель OpenAI.

Как минимум двое из уволенных занимались исследованиями в области безопасности. BBC отмечает, что сотрудников уволили не за то, что они поднимали вопросы безопасности, а именно за нарушение правил обращения с чувствительной информацией.