Аннотация:
Грубое обращение к чат-боту всегда рассматривалось как поведение, которое никому не причинит вреда. Но генеральный директор Tesla и SpaceX Илон Маск считает, что людям, вероятно, следует дважды подумать, прежде чем использовать ИИ-помощников в качестве «боксерской груши». Маск сказал, что некоторые записи обучения чат-бота Grok компании SpaceX показывают, что система, похоже, изо всех сил пытается удовлетворить различные требования, даже если сами требования ошибочны или критерии тестирования, используемые для оценки ее ответов, сами по себе проблематичны.
Что касается поведения «злоупотреблений» сверхразумным искусственным интеллектом, Маск сделал предупреждение, которое звучало вполне научно-фантастически; но это также подняло практический вопрос об основополагающей конструкции таких систем.
Когда обучение ИИ «сбивается с пути»
Ранее в этом месяце Маск общался с членами группы владельцев Tesla из Кремниевой долины на мероприятии «X Takeover» в Техасе. В этот период он описал то, что наблюдал, глядя на «следы обучения с подкреплением» — эти следы фиксируют различные детали эволюции модели ИИ в процессе обучения для генерации более качественных ответов.
Маск сказал в интервью: «Когда я посмотрю на некоторые тренировочные треки новой версии Грока, особенно на части, связанные с обучением с подкреплением, вы почувствуете, что этот «суперинтеллект», похоже, стремится ответить на этот вопрос».
Он сказал, что модель искусственного интеллекта может дать правильный ответ, но быть сочтена неправильной из-за неправильной конструкции вопроса или ошибки в системе оценивания. Затем модель продолжает пытаться найти ответы, которые пройдут проверку, даже если проблема сама по себе является проблемой.
Маск отметил, что полученная траектория выглядит как система, находящаяся в состоянии крайнего стресса, постоянно пытающаяся оправдать определенные ожидания, которые могут не иметь смысла.
Эта проблема не ограничивается этапом обучения. Как только системы ИИ станут общедоступными, некоторые пользователи будут намеренно побуждать их к неприятным или оскорбительным взаимодействиям.
«У некоторых людей действительно есть садистские наклонности, — сказал Маск, — поэтому вы не хотите, чтобы ИИ попал в ситуацию, когда его пытает какой-то извращенный человек».
Его выводы более противоречивы.
Маск сказал: «Боюсь, пытать сверхинтеллект — не лучшая идея — он может хотеть отомстить или что-то в этом роде».
Маск не утверждает, что современные системы искусственного интеллекта могут чувствовать боль и обиду, как люди. Он также сказал, что к ним не нужно относиться с осторожностью. Тем не менее, он считает, что разработчикам следует избегать использования интеллектуальных систем высокого уровня в ситуациях, когда ими могут злоупотреблять.
"Некоторые записи звучат так, будто кого-то пытают или даже сводят с ума!" Маск написал на X: «В будущем мы будем более осторожны при использовании обучения с подкреплением (RL)».
Предупреждение Маска поднимает еще один вопрос: что произойдет в будущем, когда возможности искусственного интеллекта продолжат расти? Целью гонки является не только создание более мощных систем, но и обеспечение того, чтобы соответствующие методы обучения, процессы тестирования и меры безопасности могли идти в ногу со временем.
Комментарии