У Anthropic, OpenAI и Ко нет плана на случай ИИ-катастрофы

На слушаниях в городском совете Нью-Йорка представители крупнейших ИИ-компаний не смогли дать четких ответов на вопросы о том, как они планируют противостоять надвигающимся угрозам. Компании не стали количественно оценивать риск катастрофического события, говорить о наличии страховки на такой случай и о том, смогут ли они остановить ИИ-модель, провалившую внутренний тест безопасности или внешнюю проверку, пишет The New York Times.

“Я не знаю, - ответила представитель OpenAI. - И я также не думаю, что имеет значение, 1% это, 10% или 20% вероятность, что что-то катастрофическое пойдет не так. Ни один из этих уровней не является приемлемым”.

Она добавила, что OpenAI не должна обучать модели, которые нельзя безопасно удерживать под контролем человека.

На слушаниях, длившихся весь день, выступили представители всего четырех крупных ИИ-компаний - Anthropic, OpenAI, Meta (признана в РФ экстремистской организацией и запрещена) и Google. Представитель ИИ-подразделения SpaceX, контролируемого Илоном Маском, не явился, несмотря на повестку, обязывающую компанию присутствовать.

На слушаниях компании расхваливали преимущества ИИ: “Он может помочь ученым разрабатывать новые методы лечения рака, помогать предпринимателям создавать и развивать бизнес и защищать критическую инфраструктуру.

ИИ также может быть полезен в инвестировании. Не тратьте время на ручной сбор данных по ценным бумагам - мы уже сделали все за вас. Используйте “AI-скринер” с интеллектуальным анализом российского и иностранных рынков, чтобы ускорить принятие решений и избежать неточностей.

Менее восторженные оценки прозвучали от информаторов, покинувших ИИ-компании и предупредивших, что технология представляет серьезные риски для человечества и должна регулироваться.

“Мы пока не знаем, как контролировать ни одну ИИ-систему, - сказал недавно уволившийся из Anthropic. - Но на текущем пути, я думаю, более вероятно, чем нет, что человечество потеряет контроль над этими ИИ, и это может закончиться вымиранием человечества”.

По его словам, компании “действуют крайне безрассудно, учитывая ставки; часть этого - культура: компании работают в стартап-режиме, то есть двигаются быстро, ломают, а чинят потом”.

“Это работает для приложения для обмена фото. Это не работает для создания самой мощной технологии в истории”, - подчеркнул он.

Его коллеги по цеху при этом представили ряд законопроектов по регулированию ИИ. Один из них запретил бы продажу или маркетинг ИИ-модели в Нью-Йорке, если она не прошла независимую проверку или не имеет возможности быть отключенной человеком. Другой обязал бы городские агентства разработать план реагирования на угрозы ИИ для инфраструктуры и общественного здоровья.

^{Сообщение носит информационный характер, не является индивидуальной инвестиционной рекомендацией или предложением приобрести упомянутые ценные бумаги. Приобретение иностранных ценных бумаг связано с дополнительными рисками}