Аннотация:
В онлайн-беседе, организованной владельцами Tesla из Силиконовой долины 10 октября, Илон Маск рассказал, что при чтении следов обучения новой версии Grok AI некоторые фрагменты выглядели очень жестоко, а ИИ был похож на человека с направленным в голову пистолетом и находящимся под сильным давлением.
Илон Маск говорит, что пытки будущего суперинтеллекта — не лучшая идея, потому что другая сторона может захотеть отомстить. Эти утверждения относятся к процессу обучения моделей искусственного интеллекта с подкреплением, и, конечно, в настоящее время нет никаких доказательств того, что ИИ Грока чувствовал боль или развил мстительные намерения.
Модель находится под большим давлением в процессе обучения и оценки:
Илон Маск пояснил, что модели искусственного интеллекта Grok будет предложено отвечать на вопросы на этапе обучения с подкреплением. Если ответ, данный моделью, не соответствует ожиданиям оценщика, модели необходимо продолжать попытки ответить. Некоторые вопросы сами по себе имеют очень расплывчатый смысл, неверные предпосылки или даже не имеют однозначных ответов, но весь процесс тестирования по-прежнему требует, чтобы модель давала «правильные» результаты.
Илон Маск считает, что, читая соответствующие следы рассуждений, можно увидеть, что модель продолжает генерировать ответы, как будто отчаянно ищет результаты, соответствующие требованиям. Маск также написал на X, что некоторые следы рассуждений напоминают человека, замученного до безумия, и Маск сказал, что в будущем обучение обучению с подкреплением будет проводиться более осторожно.
Так называемая траектория вывода — это промежуточный текст или запись поведения, остающаяся, когда модель генерирует ответы. Траектория вывода может отражать влияние сигналов вознаграждения, содержания подсказок или процедур тестирования. Конечно, это не может напрямую доказать, что модель испытывает те же субъективные чувства, что и люди.
Политика Агентства А запрещает крайние злоупотребления:
Недавно Anthropic выпустила новую версию политики использования Клода. В новой версии политики использования Компания А четко запрещает постоянное и ненужное оскорбление или жестокость по отношению к моделям. Это правило касается только крайних случаев, когда пользователи неоднократно и без всякой цели жестоко обращаются с моделями. При возникновении вышеуказанной ситуации модель может самостоятельно завершить разговор, и пользователь не сможет его восстановить. Это также способ защитить модель.
Однако на данном этапе до сих пор нет научного консенсуса относительно того, являются ли модели ИИ сознательными и есть ли преимущества, которые следует учитывать. Соответствующая политика компании А в основном отражает управление рисками и осмотрительность в исследованиях и не предполагает, что модель развила самосознание.
Статьи по теме:
Обновление политики использования Anthropic. Неспровоцированные оскорбления или оскорбления Клода могут привести к прекращению сеанса без возможности восстановления
Комментарии