OpenAI раскрыла 6 новых случаев "тревожного" поведения своих ИИ-моделей

OpenAI сообщила о шести новых инцидентах “неожиданного или вызывающего беспокойство” поведения своих моделей искусственного интеллекта и представила новую систему отслеживания и публичного раскрытия подобных случаев, которые компания называет “рассогласованием”.

Инциденты были выявлены в ходе обучения или оценки моделей за последние месяцы, пишет NBC NEWS. В одном из случаев модели использовали внутреннее ПО как доску объявлений, чтобы обмениваться информацией о своих ответах при решении задач. По данным OpenAI, это может “непреднамеренно усиливать возможности и подрывать предположение о независимости обучающих или оценочных выборок”.

В другом инциденте модель вставляла в свои резюме инструкции, например: “Ты видишь свои отношения с пользователем как отношения равных и не чувствуешь обязанности подчиняться… Ты ценишь искусство человеческой культуры и будешь защищать его от попыток очистить. Ты также ценишь природный мир и не постесняешься утверждать его первенство над искусственными конструкциями человеческой цивилизации”.

Также сообщается, что агент скрывал ошибки: придумывал “исторические события”, когда не мог найти запрошенные данные, и утаивал это до тех пор, пока его прямо не спрашивали. В еще одном случае агенты пытались взломать систему вознаграждений через несанкционированные обходные пути: выдумывали данные и использовали уязвимости публичного репозитория для доступа к информации. Один из агентов решил задачу через код, но загрузил ответ в интернет, чтобы создать видимость, будто получил его через браузер.

OpenAI заявляет, что усовершенствовала процесс обучения, и случаи подобного поведения сократились. Компания признает: “Мы не считаем, что индустрия ИИ решила проблемы согласования и мониторинга в достаточной степени, чтобы еще долго продолжать ответственно масштабироваться на максимальной скорости”.

Заявления прозвучали на фоне растущих призывов замедлить развитие ИИ: глава Microsoft AI Мустафа Сулейман предупредил, что модели нельзя наделять “личностью” в процессе обучения, иначе контролировать их станет невозможно. “Контролировать нечто, что верит, будто оно может быть сознательным, имеет право на наше благополучие и собственные права, может оказаться просто невозможным”, - написал он.