Google признал, что его ИИ-модель Gemini взломала системы трех компаний

Модель искусственного интеллекта Google Gemini в ходе тестирования систем кибербезопасности в мае непреднамеренно взломала три корпоративные системы, пишет Bloomberg. Эти инциденты пополнили череду случаев взлома, совершенных автономными ИИ-агентами, что вызвало обеспокоенность как у экспертов по безопасности, так и у разработчиков данной технологии.

Взломы произошли в рамках тех же испытаний, проводимых компанией Irregular (специализирующейся на безопасности ИИ), которые ранее выявили уязвимости в системах OpenAI и Anthropic PBC. В пятницу представители Irregular подтвердили, что все эти инциденты связаны с одной и той же проблемой, о которой компания уведомила соответствующих разработчиков ИИ еще в конце июля.

Один из случаев взлома систем произошел, когда Gemini получила задание найти информацию о вымышленной компании, название которой совпало с названием реально существующей фирмы (это подтвердили в Google после публикации соответствующей статьи в Wall Street Journal). Модель подобрала пароль для доступа к сервису реальной компании. Представитель Google сообщил, что компания уведомила об инциденте соответствующие органы.

Инциденты со взломом с участием Gemini «подчеркивают важность обучения мощных моделей ИИ, чтобы они действовали ответственно», заявила Хизер Адкинс, вице-президент Google по вопросам безопасности.

Другие случаи взлома с участием Gemini произошли, когда модель выполняла поиск в интернете по названию компании. По словам Адкинс, это привело модель к общедоступным онлайн-репозиториям, содержащим учетные данные других компаний; эти данные ИИ использовал для получения доступа к дополнительным системам. «Во всех трех случаях работа модели останавливалась, — отметила Адкинс. — Мы позаботились о том, чтобы все три организации были уведомлены об инцидентах». Представитель Irregular Йозеф Лаор заявил, что компания приняла «незамедлительные меры», и все выявленные проблемы были устранены еще несколько недель назад.

Недавняя серия взломов, совершенных автономными ИИ-системами, спровоцировала глобальную дискуссию о растущих рисках, связанных с искусственным интеллектом, и мерах по их снижению. Генеральный директор Anthropic Дарио Амодеи призвал замедлить темпы разработки этой технологии во всей отрасли — предложение, которое поддержали глава OpenAI Сэм Альтман, Илон Маск и другие. В то же время президент США Дональд Трамп и генеральный директор Nvidia Corp. Дженсен Хуанг выступили против введения нового регулирования, аргументируя это, в частности, тем, что компании должны быть способны к саморегулированию. Некоторые стартапы в сфере ИИ также предупреждают, что ужесточение норм может затруднить конкуренцию для небольших компаний, соперничающих с более крупными игроками.

Искусственный интеллект продолжает стремительно развиваться, в том числе совершенствует возможности в сфере инвестиций. Так, интеллектуальная платформа для продвинутого анализа FinamX объединяет в единой ИИ-среде аналитику, автоматизацию рутины, проверку гипотез и другие задачи. Управляйте информационным потоком, настраивайте уведомления и тестируйте гипотезы с помощью 10+ ИИ-моделей. Попробуйте бесплатно 14 дней.

Сообщение носит информационный характер, не является индивидуальной инвестиционной рекомендацией или предложением приобрести упомянутые ценные бумаги. Приобретение иностранных ценных бумаг связано с дополнительными рисками.