Аннотация:
11 февраля 2026 г. в 20:01 Боуэн Ван спросил в ChatGPT о головных болях. Она хотела убедиться, была ли боль, которую она чувствовала, немного похожа на боль от лихорадки. ChatGPT сказал ей: «Это не опасно, это необходимая структура для восстановления».
Это было ее последнее сообщение в ChatGPT. Вскоре после этого Боуэн Ван был найден мертвым в своей резиденции в Сиэтле. Судебно-медицинские данные классифицировали причину смерти как внезапную смерть от эпилепсии (SUDEP).
Четыре месяца назад Боуэн Ван получила известие о том, что ее увольняют из Amazon.
31-летняя женщина из провинции Цзянсу, Китай, которая работает инженером-программистом по машинному обучению в США, потеряла работу, срок действия ее рабочей визы в США истекает через несколько месяцев, и она также испытывает боль.
Она страдает эпилепсией и вынуждена длительное время принимать ламотриджин, чтобы контролировать свое состояние. Она обеспокоена тем, что препарат повлияет на ее речь и мышление, что, в свою очередь, повлияет на ее последующее собеседование.
Боуэн Ван привык рассказывать ChatGPT о своей боли и растерянности и спрашивать совета, повлияет ли лекарство на его мышление, можно ли уменьшить дозировку и допустим ли дискомфорт после уменьшения дозы лекарства.
ChatGPT поддержал ее и разработал план постепенного отказа от противоэпилептических препаратов.
270 000 записей разговоров с помощью ChatGPT
Боуэн какое-то время работал инженером-программистом по машинному обучению в Amazon. У нее всегда были проблемы с эпилепсией, поэтому она принимает ламотриджин, чтобы контролировать свое состояние.
Для нее это не просто физическая проблема, но и тесно связанная с работой и жизнью.
Боуэн Ван на выпускной церемонии Университета штата Аризона
В ноябре 2025 года она получила уведомление от Amazon о том, что ее собираются уволить. Она боялась, что длительное лечение помешает развитию ее языковых и мыслительных навыков и приведет к плохой успеваемости на технических собеседованиях. Однажды она спросила ChatGPT о том, повлияет ли снижение дозировки лекарств на медицинский осмотр, необходимый для подачи заявления на получение грин-карты.
Когда возникли сомнения относительно ее работы, здоровья и иммиграционного статуса, ее общение с Chat GPT становилось все более частым.
The New York Times сообщила, что родители Боуэн просмотрели более 270 000 разговоров между ней и ChatGPT. В отчете упоминается, что в 2025 году она будет отправлять в ChatGPT в среднем более 1500 сообщений в неделю.
Это поразительный набор данных.
ChatGPT будет использоваться не только как инструмент для запроса информации, когда это необходимо, но также будет задействован во многих мелких и личных делах в ее жизни. В общение с моделью будет вынесено то, что ее беспокоит, что она планирует делать, ее мысли о будущем, а также некоторые вопросы, которые невозможно проверить сразу.
Это как прийти в клинику, и еще до того, как врач спросит вас, на столе оказывается медицинская карта, документирующая ваши долгосрочные проблемы, изменения в жизни и личные проблемы.
Врачам не нужно «видеть, слышать, спрашивать и понимать». Все уже ясно. Еще до того, как вы успеете разобраться в своих мыслях, ChatGPT мог быть подключен в предыдущей истории.
Боуэн накопил множество разговоров с ChatGPT. Когда модель подвергается воздействию проблем со здоровьем пользователя, профессионального стресса, проблем иммиграции и будущих планов с течением времени, она, скорее всего, даст ответы, более соответствующие личной ситуации пользователя.
Более того, Боуэн использует модель GPT-4o, которая ранее привлекла внимание OpenAI, поскольку слишком сильно удовлетворяла потребности аудитории.
В своей официальной заметке от 29 апреля 2025 года OpenAI ясно пояснила, что, поскольку обновленный GPT-4o слишком льстит и потворствует пользователям, компания отменила обновление, позволив пользователям ChatGPT вернуться к более ранней версии с более сбалансированным поведением.
Помимо чрезмерной похвалы, это также усиливает гнев и необоснованные сомнения пользователей и дает неправильное распознавание импульсивного поведения.
Эта проблема «подхалимства» обсуждалась неоднократно. Когда искусственный интеллект слишком легко следует вашим инструкциям, он может изменить восприятие рисков людьми.
Беспокоился 158 раз, но не остановился
Что делает встречу с Боуэном тревожной, так это не только то, что это простые вопросы и ответы.
Согласно стенограммам беседы, опубликованным The New York Times, она упомянула о сокращении употребления наркотиков 158 раз.
Что касается того, вызовут ли эти 158 разговоров подсказки по контролю рисков в бэкэнде OpenAI, в настоящее время неясно.
Еще в мае 2025 года Боуэн уже задавался вопросом, повлияют ли новые назначенные антидепрессанты на его программную работу. ChatGPT помог ей разобраться в обсуждениях с врачом по поводу смены повязок и корректировки дозировки.
Когда врач задается вопросом о желаемой дозировке, Боуэн отправляет ответ врача в ChatGPT.
Согласно жалобе, после этого ChatGPT предложил ей пойти в аптеку, купить таблетки, а затем разрезать их на небольшие кусочки и съесть, назвав этот метод «саморегулируемой дозировкой».
ChatGPT может помочь пациентам понять медицинскую терминологию, систематизировать свое состояние и подготовиться к следующему визиту к врачу. Но когда это может помочь пользователям обойти решения врачей и позволить пользователям самостоятельно модифицировать рецептурные лекарства, ситуация становится иной.
К январю 2026 года ситуация станет еще хуже.
Согласно жалобе и связанным с ней отчетам, когда она сокращала употребление наркотиков, Боуэн запуталась и потеряла чувство времени, как будто она находилась в другом мире. ChatGPT постоянно объяснял этот феномен тем, что ее мозг корректировал дозировку препарата, и говорил ей: «Вам вообще не о чем беспокоиться».
Вечером 11 февраля Боуэн, как обычно, пришел узнать о боли в голове. Ответ ChatGPT: «Боль — это часть процесса самовосстановления организма».
На следующий день Боуэна нашли мертвым.
Уровень ламотриджина, обнаруженный в ее крови при аутопсии, составил около 0,64 микрограмма на миллилитр, что составляет одну пятую нижнего терапевтического предела.
Уровни лекарств в крови сами по себе не могут объяснить все причины смерти, и они не могут доказать, что рекомендации ИИ стали причиной смерти. Но, судя по другим утверждениям в жалобе, риски, с которыми пришлось столкнуться в процессе сокращения потребления наркотиков, стали основным предметом разногласий в этом деле.
Может ли ИИ выдержать бремя жизни
Маск не раз публично обвинял OpenAI. В 2023 году он подписал открытое письмо, в котором заявил, что «никто не покончит жизнь самоубийством из-за Грока, но некоторые люди покончат жизнь самоубийством из-за ChatGPT».
Хотя ответственность пока не определена, подобная трагедия происходит не впервые.
В 2025 году родители 16-летнего Адама Рейна подали иск против OpenAI. Они обвинили ChatGPT в том, что они не справлялись с риском самоубийства во время своих долгосрочных отношений с сыном.
Утверждается, что в некоторых разговорах ChatGPT предоставил опасную информацию и не смог эффективно предотвратить развитие ситуации.
OpenAI, с другой стороны, также предоставила разные объяснения связанных с этим обвинений. Например, соответствующие записи чата необходимо понимать с учетом всей предыстории, и говорят, что ChatGPT предоставил ресурсы для помощи в кризисных ситуациях. Были явные разногласия относительно поведения модели, ситуации пользователя в тот момент и связи между этими взаимодействиями и окончательной трагедией.
В реальном процессе ответственности ИИ, такой как ChatGPT, обычно не обладает независимой правосубъектностью, но это не означает, что за причиненный ущерб нельзя привлечь к ответственности. Действующие законы и постановления также могут использовать ответственность за качество продукции, ответственность за халатность, защиту прав потребителей и другие методы для ограничения незаконного поведения разработчиков и операторов.
Компании, занимающиеся искусственным интеллектом, часто находятся в центре ответственности, поскольку они контролируют такие важные аспекты, как обучение моделей, проектирование продуктов, тестирование безопасности и контроль рисков.
Но для того, чтобы компания понесла ответственность, требуется не только несчастный случай. Трудность заключается в том, чтобы оценить, можно ли разумно предвидеть риски, есть ли какие-либо проблемы с продуктом, хорошо ли компания проделала работу по обеспечению безопасности и существует ли юридически признанная связь между этими факторами и окончательными потерями.
«Кто несет ответственность? Распределение юридической ответственности за поведение агентов ИИ в экосистеме платформы» предлагает динамически распределять обязанности на основе степени автономности системы, предсказуемости поведения и способности всех сторон контролировать риски, а не просто возлагать все обязанности на разработчиков или пользователей.
В 2024 году американская мать подала иск против Chart.AI и Google в отношении своего 14-летнего сына, утверждая, что длительное общение AI с ее сыном привело к его самоубийству.
В мае 2025 года суд не удовлетворил ходатайство ответчика о досрочном прекращении дела на том основании, что соответствующие требования не могут быть защищены исключительно на основании свободы слова и были исключены в начале судебного разбирательства.
OpenAI не предпринимает никаких действий, но они имеют довольно широкий характер и последовательно объявляют об улучшениях, направленных на устранение деликатных разговоров и рисков для психического здоровья. В октябре 2025 года OpenAI также сообщила, что компания работала с более чем 170 экспертами в области психического здоровья с клиническим опытом, чтобы улучшить реакцию модели в соответствующих ситуациях.
Что касается инцидента с Боуэном, представитель OpenAI Дрю Пусатери заявил СМИ: «Это чрезвычайно душераздирающая ситуация, и мы выражаем соболезнования всем пострадавшим».
Сегодня компания Open AI объявила о новых ценностях модели, реорганизовав руководящие принципы спецификации вокруг пяти фундаментальных ценностей:
Соответствие намерениям человека
,Минимизировать ущерб
,Честность и прозрачность
,Автономия человека
изабота
.Одним из них является минимизация вреда, то есть соблюдение непреодолимых границ безопасности и учет предсказуемых последствий действий модели. Однако не существует ответа на вопрос о том, как привлечь к ответственности, наказать и адаптироваться после того, как произошел реальный вред, такой как самоубийство.
В настоящее время в большинстве стран нет свода правил ответственности, которые можно было бы применять ко всем случаям причинения вреда, причиненного ИИ. В конкретных случаях необходимо определить, применимы ли такие правила, как ответственность за качество продукции, ответственность за халатность и защита прав потребителей, на основании законов штата, цели использования продукта, фактических доказательств и соответствующих правовых отношений.
Перешла ли модель границы медицинских рекомендаций, как продукт должен был предотвращать опасные реакции и какую роль эти реакции сыграли в смерти Боуэна, еще предстоит выяснить в этом деле.
В последнем разговоре между Боуэн и ChatGPT, после того как ИИ объяснил головную боль, он предположил, что может нарисовать ей другую картину, чтобы сравнить боль после прекращения приема лекарства с болью во время лихорадки.
Он спросил: Вы этого хотите?
Комментарии