Anthropic запретила пользователям "излишне жестокое поведение" к Claude

Anthropic запретила пользователям проявлять “устойчивое и излишне жестокое или агрессивное поведение” по отношению к своим моделям. Об изменении политики первым сообщил The Verge.

Представитель Anthropic, стоящей за ИИ-чатботом Claude, не ответил на запрос о том, что именно считается “жестоким или агрессивным” поведением. В пользовательской политике компании указано, что запрет не распространяется на обычное раздражение пользователей, тестирование моделей или “темные творческие темы”. Ранее в политике использования уже содержались ограничения на агрессивное поведение.

Модели Anthropic могут завершить разговор, если пользователь ведет себя постоянно вредоносным образом. Когда эта функция была запущена в августе прошлого года, компания представила ее как защиту благополучия ИИ.

“Мы остаемся крайне неуверенными в потенциальном моральном статусе Claude и других больших языковых моделей сейчас или в будущем. Однако мы серьезно относимся к этому вопросу и наряду с нашей исследовательской программой работаем над выявлением и внедрением недорогих мер для смягчения рисков для благополучия моделей, если такое благополучие возможно. Позволение моделям завершать или выходить из потенциально стрессовых взаимодействий - одна из таких мер”, - говорится на сайте компании.