Не доверять ИИ просит глава крупного разработчика в сфере кибербезопасности

Компании и обычные люди слишком сильно доверяют ИИ-агентам, считает основатель и CEO компании-разработчика решений в сфере кибербезопасности Zscaler Джей Чаудхри.

“Не доверяйте ИИ-агентам, - сказал он в интервью Yahoo Finance. - Дайте им вот столько доверия для определенных приложений и сервисов. И все. Проблема сегодня в том, что мы выпускаем агентов в корпоративную сеть. Это как пустить их внутрь здания. Они идут туда, куда им нужно. Потом начинают сканировать, какие сайты есть вокруг. Это легко. Сложнее то, что фронтирные ИИ-модели могут находить уязвимости на сайте, в файрволе, в VPN или в балансировщиках нагрузки. Они взламывают и проникают. Вот в чем проблема”.

По данным нового опроса Deloitte, около 80% организаций не имеют зрелых механизмов управления агентным ИИ. Это включает четкие границы для агентов (какие решения они могут принимать самостоятельно, а какие требуют одобрения человека), системы мониторинга в реальном времени и аудиторские следы, фиксирующие всю цепочку действий агента. Если не контролировать агентов централизованно, они могут совершать незапланированные ошибки, раскрывать конфиденциальную информацию клиентов и открывать путь для кибератаки.

“Выход агентов из-под контроля - главный риск сегодня, - сказал Чаудхри. - Пользователь взломан, а потом заражает все остальное. Представьте агента в корпоративной сети - взломанного, захваченного или сошедшего с ума. Они гораздо опаснее, потому что работают на машинной скорости. У них нет перерыва на кофе, выходных, времени на сон, и они не останавливаются, так что могут вытащить ваши конфиденциальные данные. Они могут обрушить системы. Вот с такими рисками нам приходится иметь дело”.