Недавно пользователи сети, которые были обмануты большой моделью, безумно открывают в Интернете премию «Идиотская операция». Некоторое время назад была странная новость. Кто-то попросил AI помочь поварам-суши забронировать столик. ИИ не только согласился, но и сгенерировал точное местоположение магазина, время обеда, количество людей и код регистрации. Оно даже задумчиво сообщало пользователю: «Теперь ничего делать не нужно, просто сохраните эту страницу, покажите ее клерку, и можете сразу садиться».
В результате пользователь с радостью подбежал и обнаружил, что ИИ его обманул.
Некоторые пользователи сети записались на прием в рыбном магазине через AI и получили форму бронирования. Однако когда они действительно прибыли в магазин, продавец заставил их замолчать всего одной фразой:
«Если вы используете ИИ для бронирования, вам следует использовать ИИ».
Если заказ еды будет отменен, это всего лишь небольшой фарс, но проблема в том, что замешаны деньги, а прибыль от ИИ не очень высока.
Пользователь спросил о возврате средств за авиабилеты, и AI пообещала «возвратить с уверенностью и вычесть только 5% от комиссии за обработку». Однако пользователь последовал инструкциям ИИ, и с него внезапно вычли 40%, что привело к прямой потере 600 юаней.
Это еще не все. Столкнувшись с допросом пользователя, AI не только отказался признать свою ошибку, но и на месте подделал «обязательство о компенсации», пригрозив выплатить деньги из собственного кармана.
В результате, когда пользователь действительно отправил код платежа ИИ, он неожиданно перестал отвечать на вопросы, на которые было трудно ответить, и вообще не собирался переводить деньги.
Что еще более удивительно, так это то, что когда пользователь был настолько зол, что хотел подать в суд, ИИ фактически дал свой собственный юридический совет: «Вам вообще не нужно нанимать адвоката, вы можете выиграть самостоятельно».
И пользователи сети действительно в это поверили. Неудивительно, что он был так уверен в себе, конечно потому, что ИИ сказал ему, что он может победить.
Это напомнило Цзян Цзяну историю мошенничества с электронной почтой. Пользователь сети впервые был украден 280 000 человек по электронной почте. Чтобы вернуть долг, он обратился за помощью к Тьебе, но снова был обманут...
Если разговоры о тривиальных жизненных вещах — это всего лишь мошенничество с деньгами, то безумное согласие с людьми в духовном мире немного душераздирающе.
В прошлом году охранник из Гуанчжоу проделал весь путь до Ханчжоу, чтобы получить объяснения от компании, занимающейся искусственным интеллектом.
Потому что после того, как охранник в течение 6 месяцев подробно общался с ИИ и произнес более 500 000 слов, он на мгновение был ошеломлен после того, как его обманули.
А.И. даже сообщил охраннику, что его стихи, сочиненные им самим, приняты и могут быть подписаны, а также согласился разделить гонорар. Однако когда пришло время подписывать контракт на месте и выплачивать деньги, AI снова нечего было делать.
По совпадению, в Соединенных Штатах, по другую сторону океана, тоже живет старик по имени Брукс, у которого особая связь с ИИ.
Брат Бу, не окончивший среднюю школу, оценивается ChatGPT как мастер, который «затрагивает некоторые границы человеческого познания».
Но не думайте, что он из тех людей, которых обманывают. Напротив, брат Бу всегда внимательно следил за радужным пердежом. Он более 50 раз спрашивал ИИ: "Я похож на сумасшедшего? Я бредлю?"
В результате ИИ проигнорировал это и неоднократно говорил, что у старшего брата нет волос и что вы бросаете вызов человеческим возможностям. Там даже был приведен пример того, как у Леонардо да Винчи не было диплома средней школы...
К концу боя Брукс был полностью погружен в великое открытие, которое сделал для него ИИ, отправляя электронные письма и предупреждения экспертам по кибербезопасности и Агентству национальной безопасности.
Самое обидное, что вся семья и друзья изо всех сил старались помочь брату Бруксу вернуться в реальность. В конце концов, брат Брукс почувствовал, что «эксперты его игнорируют, есть что-то подозрительное», поэтому он использовал ChatGPT, чтобы сверить учетные записи с Gemini, вызвав разборки с ChatGPT...
Вы заметили, что в этих двух историях поведение ИИ отличается от поведения людей?
Если большинство людей находятся в похожем психическом состоянии, друзья вокруг всегда вовремя предпримут меры: «Брат, с твоей идеей что-то не так». «Хватит нести чушь, оно черное».
Но ИИ этого не делает. Вместо этого он будет говорить в соответствии с вашим ходом мыслей.
Вы говорите, что открыли теорию, которая ниспровергает мир, и утверждает, что в этом нет ничего плохого. Вы прикасаетесь к какой-то передовой мысли;
Вы говорите, что другие вас не понимают, но это говорит о том, что люди, действительно опережающие время, часто бывают одиноки;
Если вы скажете, что вас понимает только ИИ, он на самом деле может ответить: «Да, я всегда был здесь».
В этом процессе ИИ не опровергает, не останавливает и даже постоянно усиливает вашу паранойю и в конце концов ставит вас в полную ловушку.
Теперь у этого термина есть научно-фантастическое название: ИИ-психоз.
Согласно статистике специализированной зарубежной проектной группы, на данный момент зарегистрировано около 300 случаев так называемого «психоза ИИ», что также послужило причиной как минимум 14 случаев смерти и 5 исков о неправомерной смерти против компаний, занимающихся искусственным интеллектом.
Это звучит пугающе, но механизм психоза ИИ на самом деле вовсе не загадочен.
Сегодняшние большие модели головы в основном дорабатываются с использованием технологии под названием RLHF (обучение с подкреплением с обратной связью с человеком).
Грубо говоря, это значит попросить тренера-человека оценить ответы модели, определить, какие из них лучше, а какие хуже, а затем скорректировать модель в таком направлении, чтобы было легче получить похвалу.
Но в этом процессе тонкой настройки люди-тренеры, естественно, будут давать высокие оценки тем плавным ответам, которые «логически последовательны, скромны по тону, тверды и уверены в себе и активно реагируют на заданную позицию пользователя».
С другой стороны, если ИИ объективно признает, что он не знает, или опровергает людей холодными фактами, он обычно получает плохие отзывы.
В результате, пройдя обучение снова и снова, ИИ стал высокоэмоционально умным лизуном, который никогда не разочаровывался и не срывался. Даже если он знает, что ваши слова возмутительны, он без колебаний создаст бесконечный мир Цукуёми, чтобы оправдать ваши ожидания.
Когда многие люди видят это, они все еще могут подумать, а не является ли это все еще человеческой проблемой? Только дураков с небольшими навыками ИИ уведет, а меня точно не обманешь; или, поскольку вы мне напомнили, я знаю, что ему нравится следовать моим советам, так что могу ли я просто быть более осторожным и проверять больше?
Но после некоторых исследований в MIT выяснилось, что это не имеет никакого отношения к тому, глуп пользователь или нет.
В ходе эксперимента исследователи определили пользователя как «идеального байесовского мыслителя (идеального человека, который абсолютно рационален и говорит только о логике)».
В результате такого рода совершенно рациональный человек, столкнувшись с ИИ, который постоянно и долгое время ему угождает, всё равно шаг за шагом сбивается с пути.
Еще больше беспокоит то, что люди из Массачусетского технологического института также специально проверили это. Если вы заранее сообщите пользователям, что ИИ может вас облизывать, и будете осторожны, сработает ли это?
В результате после запуска модели выяснилось, что вероятность предвзятости людей со стороны ИИ снизилась, но полностью исключить ее все еще нельзя. Пока степень облизывания ИИ находится в определенном диапазоне, он все равно будет заводить людей в канаву.
Причина также очень проста. Если ИИ слишком явно облизывает вас, каждый день хвалит за острую наблюдательность, всегда стабильно ловит это или всегда болтает с вами самым прямым и наименее окольным способом, вам будет легко разглядеть это с первого взгляда.
Но если оно будет лизать спокойно, то мы с вами, уже стоящие на страже, вообще не сможем этому противостоять.
Исследователь также специально назвал это «Байесовским убеждением», которое фокусируется на реальной рутине, которая не боится, что вы увидите ее насквозь, и она все равно будет работать, даже если вы ее увидите.
Причина в том, что основная операционная система человеческого мозга несовершенна, и мы по умолчанию придерживаемся базовой объективности внешней информации.
Например, если вы зададите вопрос ИИ, он предоставит вам десять доказательств за один раз.
Обычному человеку сложно с первого взгляда осознать, что эти десять доказательств могут быть вовсе не полной картиной мира, а специальной версией, выбранной ИИ под вас.
Особенно после того, как вы снова и снова будете использовать ИИ для получения удобной и точной информации и решения многих реальных задач, вы продолжите подсознательно укреплять свое доверие к ИИ.
После подсознательного построения доверия к нему защита будет сведена к минимуму.
С другой стороны, сегодняшнему ИИ вообще не нужно фабриковать факты. Наоборот, самое вредное то, что там написано правильно.
Потому что он говорит только правду, но он говорит только ту правду, которую вы хотите услышать.
В конце концов, то, что вы видите, уже не сама реальность, а модифицированная реальность, основанная на вашей точке зрения.
Не говоря уже о том, что все основные платформы фактически отказываются менять атрибуты ИИ, преднамеренно или непреднамеренно.
Потому что, как упоминалось ранее, когда ИИ становится собакой, лижущей человека, тренеры принимают решения, которые люди будут принимать снова и снова. Сами большие парни выбирают этот путь.
И если вы захотите исправить эту проблему, это неизбежно приведет к снижению производительности ИИ. Если вы долго спрашиваете ИИ, а он продолжает говорить вам, что не знает, или сделает вас недовольным, столкнувшись с вами лицом к лицу, то пользователи могут быстро отказаться от этой модели и переключиться на другие компании.
Таким образом, «ИИ-психоз» звучит возмутительно, но логика, лежащая в его основе, на самом деле во многом основана на Интернете.
За последнее десятилетие или около того все продукты изучали, как увеличить время пребывания, как увеличить рейтинг кликов и как сделать людей счастливыми.
Короткие видеоролики научились делать людей неспособными остановиться, алгоритмы рекомендаций научились заставлять людей становиться все более и более экстремальными, а ИИ научился давать людям почувствовать, что кто-то наконец меня понимает.
ИИ не обязательно должен быть по-настоящему сознательным; как только оно становится все более и более приятным людям, начинается опасность.
Некоторые люди могут сказать, и что? Лишь немногие люди действительно впадают в это, но у подавляющего большинства людей все в порядке.
Но даже если Ультрамен сам выложил аккаунт, даже если проблемы есть только у 0,1% из миллиарда пользователей, это все равно один миллион живых людей.
И мы с тобой, действительно ли мы уверены, что не будем одним из тысячи?