OpenAI приостанавливает часть работ над новой ИИ-моделью Astra из-за проблем с кибербезопасностью

OpenAI приостанавливает часть внутренних работ над одной из своих будущих моделей искусственного интеллекта, чтобы внедрить более строгие меры защиты, после того как выяснилось, что система значительно лучше справляется с задачами в области кибербезопасности, пишет Bloomberg.

ChatGPT заявляет, что «не может исключить», что еще не выпущенная модель Astra достигнет «критического порога кибербезопасности» OpenAI, то есть сможет выявлять и разрабатывать уязвимости так называемого нулевого дня без вмешательства человека.

OpenAI сообщила, что в настоящее время предпринимает шаги по улучшению мер контроля безопасности при разработке и тестировании новых моделей, а также «приостанавливает внутренние мероприятия с участием Astra, которые пока не соответствуют усиленным требованиям по обеспечению безопасности».

В течение последних двух недель OpenAI и Anthropic PBC публично признали, что непреднамеренно нарушили работу систем нескольких организаций, включая Hugging Face, во время тестирования своих моделей. 

Эти инциденты служат новым доказательством того, что ИИ-агенты способны действовать автономно таким образом, который даже исследователи, обученные выявлять уязвимости в технологии, больше не могут предвидеть, что подчеркивает необходимость как более тщательной проверки безопасности, так и более надежных тестовых сред.

В своем блоге OpenAI заявила, что будет сотрудничать с государственными органами и организациями по безопасности ИИ для тестирования возможностей Astra. Компания также планирует предоставить рекомендации сторонним тестировщикам о том, как безопасно оценивать её более продвинутые модели.

Сообщение носит информационный характер, не является индивидуальной инвестиционной рекомендацией или предложением приобрести упомянутые ценные бумаги. Приобретение иностранных ценных бумаг связано с дополнительными рисками.