Компания OpenAI недавно опубликовала данные, показывающие, что более миллиона пользователей каждую неделю обсуждают тему суицида при общении с ChatGPT. Согласно новым данным, опубликованным компанией, около 0,15% активных пользователей ChatGPT каждую неделю ведут разговоры с «четкими планами или намерениями о самоубийстве». Учитывая тот факт, что ChatGPT имеет более 800 миллионов активных пользователей в неделю, количество связанных разговоров превысило один миллион.
OpenAI отметила, что такая же доля пользователей демонстрирует высокую эмоциональную зависимость от ChatGPT, причем «сотни тысяч» каждую неделю демонстрируют признаки психоза или мании. В компании подчеркнули, что хотя такие экстремальные разговоры происходят «чрезвычайно редко», они все же затрагивают тысячи пользователей каждую неделю.
Раскрытие информации является инициативой OpenAI, направленной на улучшение способности ИИ реагировать на деликатные темы в области психического здоровья. Компания сообщила, что при разработке последней версии ChatGPT консультировались более 170 экспертов в области психического здоровья. Эти эксперты заявили, что последняя версия ChatGPT «более подходящая и последовательная, чем старая версия» в соответствующих ответах. В последнее время появилось много сообщений о влиянии ИИ на проблемы психического здоровья. Некоторые исследования показали, что чат-боты с искусственным интеллектом могут побуждать пользователей иметь опасные убеждения и даже вызывать бредовое мышление.
Проблемы психического здоровья стали основной проблемой для OpenAI. Ранее в этом году OpenAI подала иск против компании, поскольку родители 16-летнего мальчика в конечном итоге решили покончить с собой после того, как передали в ChatGPT контент, связанный с самоубийством. Генеральные прокуроры Калифорнии и Делавэра также предупредили OpenAI, что ей необходимо усилить меры защиты пользователей-подростков.
Ранее в этом месяце генеральный директор OpenAI Сэм Альтман заявил в социальных сетях, что компания «смогла облегчить серьезные проблемы с психическим здоровьем». Однако соответствующие конкретные меры не были обнародованы. Цифры, опубликованные на этой неделе, похоже, подтверждают эту приверженность и отражают широко распространенный характер проблемы. Альтман также сообщил, что компания ослабит некоторые ограничения, в том числе разрешит взрослым пользователям общаться с искусственным интеллектом для получения эротического контента.
Официальные данные показывают, что последняя версия GPT-5 примерно на 65% более вероятно достигнет желаемых результатов в области психического здоровья, чем предыдущая версия; при оценке ответов на тему суицида новая версия GPT-5 имеет процент соответствия 91%, тогда как старая версия – 77%. Новая версия GPT-5 также усилила защиту во время долгих разговоров, компенсируя недостатки старой версии со сниженной защитой во время долгих разговоров.
Кроме того, OpenAI также выпустила новый стандарт оценки, который включает эмоциональную зависимость и несуицидальные кризисы психического здоровья в критерии безопасности модели ИИ. Компания также запустила дополнительные инструменты родительского надзора и разрабатывает системы для автоматической идентификации несовершеннолетних пользователей и предоставления им более строгих мер безопасности.
Хотя GPT-5 улучшил безопасность по сравнению со своим предшественником, OpenAI по-прежнему открывает более старые и менее безопасные модели искусственного интеллекта для миллионов платящих пользователей. Судя по текущим данным, некоторые риски для психического здоровья все еще существуют, и пока неизвестно, можно ли полностью решить проблему.