Аннотация:
Знаете ли вы, что даже по сравнению с эпидемиями, климатом, войной и ядерными угрозами, ИИ, скорее всего, уничтожит человечество до 2100 года? Этот поразительный вывод сделан из авторитетного отчета The Lancet. В отчете комитета «Глобальные угрозы здоровью в 21 веке», опубликованном 11 октября, издание The Lancet написало, что среди 17 угроз, включая изменение климата, эпидемии и загрязнение окружающей среды, ядерный конфликт и злонамеренное использование искусственного интеллекта занимают первое место и могут привести к вымиранию человечества до 2100 года.
Этот отчет был написан 35 ведущими экспертами, а все исследование охватило 204 страны и региона по всему миру. В докладе также напомнили, что эти угрозы могут взаимодействовать и усиливать друг друга.
Самая пугающая часть отчета заключается в том, что хотя ИИ и ядерный конфликт являются главными проблемами в уничтожении человечества, ущерб, причиненный ИИ, намного превышает ущерб от ядерного конфликта.
Если бы Амуди сказал это о конце ИИ, я, возможно, просто послушал бы это ради развлечения. Ведь похожих слов уже столько, что уши чуть не мозолят.
Но на этот раз об этом рассказал The Lancet, и я очень испугался.
Что говорит The Lancet?
Отчет Lancet был подготовлен Институтом показателей и оценки здоровья (IHME) Вашингтонского университета. Они расположили угрозы, которые могут повлиять на здоровье человека в ближайшие 75 лет, в «пирамиду угроз» в порядке серьезности с отдельной категорией наверху:
Угрозы, которые могут привести к вымиранию человечества до 2100 года.
В этой категории есть только две вещи: одна — «ядерный голод», вызванный ядерным конфликтом, а другая — злонамеренное использование искусственного интеллекта.
Даже столкновения астероидов с Землей и извержения супервулканов не достигли вершины пирамиды, поскольку комитет считает, что вероятность их возникновения в ближайшие 75 лет «чрезвычайно низка».
Но это не значит, что «ИИ обязательно истребит человечество».
В оригинальном тексте отчета говорится, что «вероятность возникновения этих двух типов рисков пока очень мала», но как только они возникнут, последствия окажутся на всем человеческом уровне.
В отчете есть единица под названием DALY, что означает «годы жизни с поправкой на инвалидность». Проще говоря, это общее количество лет здоровой жизни, потерянных человеком из-за болезни, инвалидности или ранней смерти.
Комитет использовал его, чтобы определить, какую «потерю здоровой жизни» в конечном итоге вызовет каждая угроза к 2100 году.
Злонамеренное использование ИИ может привести к потерям примерно в 10,4 миллиарда DALY к 2100 году, что примерно соответствует масштабу ожирения. Ядерный конфликт приведет к гибели примерно 133 миллионов человек и потере примерно 9,35 миллиардов DALY.
The Lancet считает, что ИИ более опасен, чем ядерное оружие. Комитет приложил все усилия, чтобы подчеркнуть, что это было сделано для измерения «действующих рычагов», а не для разыгрывания самого трагического результата.
Итак, как ИИ «уничтожает» нас? Это Скайнет из "Терминатора"? Или МОСС из «Блуждающей Земли»?
Ни то, ни другое. The Lancet считает, что у ИИ есть только один путь уничтожения человечества, а именно биологическое оружие.
Некоторые люди злонамеренно используют ИИ для создания или модификации патогенов или токсинов, которые могут привести к массовым жертвам.
The Lancet утверждает, что ИИ снижает порог совершения опасных поступков.
В прошлом для модификации вируса требовались первоклассные лаборатории, дорогостоящее оборудование, а также «чувство» и неявные знания, накопленные исследователями за многие годы. Что может сделать большая модель, так это помочь людям искать литературу, разрабатывать планы экспериментов, писать прикладные материалы и объяснять, почему делается каждый шаг.
10 сентября 2026 года компания Anthropic опубликовала отчет об угрозах, в котором раскрыто несколько типов злоупотреблений, перехваченных ими в период с декабря 2025 года по август 2026 года. Среди них было 5 случаев, когда пользователи использовали Клода таким образом, что «может способствовать разработке биологического оружия»:
• В мае этого года кто-то попросил Клода помочь написать заявку на грант для изучения того, какие мутации в вирусе чикунгунья могут способствовать его более эффективному распространению и более легкому преодолению иммунной системы.
• Некоторые люди используют его для планирования экспериментов, чтобы сделать высокопатогенные вирусы птичьего гриппа более адаптируемыми к хозяевам-млекопитающим.
• Было составлено предложение по изучению способов изменения вирулентности семейства ортопоксвирусов, к которому принадлежат оспа и оспа обезьян.
• Кто-то работал над проектом по разработке лекарств, чтобы составить карту ядовитых токсинов.
• Другой исследователь использовал Клода, чтобы помочь с компьютерной переработкой набора токсинов, включая бактериальный токсин и белок главного опасного вируса, и намеренно использовал расплывчатые термины для обозначения этих токсинов при написании отчетов о ходе работы.
Поэтому неправильное использование ИИ определенно нанесет значительный вред всему человечеству.
Теория конца света ИИ разделилась на два лагеря
На самом деле, до выхода отчета журнала Lancet теории конца света ИИ появлялись каждый месяц. Например, в сентябре представители всех слоев общества обсуждали, принесет ли ИИ конец света.
8 сентября бывший исследователь Anthropic Джейкоб Коксон объявил о своей отставке и публично заявил, что и OpenAI, и Anthropic «делают ставку на человеческие жизни» и что ИИ «может убить нас всех до конца этого десятилетия». Пост за короткий промежуток времени набрал более 100 миллионов просмотров.
На следующий день Эван Хубингер, руководитель направления исследований в Anthropic, написал: «Мы серьезно верим, что ИИ может убить всех, и я лично думаю, что вероятность превысит 10% в течение следующих десяти лет».
Крестный отец искусственного интеллекта Хинтон позже сказал, что цифра в 10% «не возмутительна».
Три дня спустя Амуди сделал более конкретное заявление. Он полагает, что в течение 6–12 месяцев группа агентов может захватить весь Интернет, причинив убытки в сотни миллиардов долларов.
Ультрамен и Маск, два заклятых врага, стоят на одном фронте и поддерживают «замедление темпов развития ИИ».
Хотя огневая мощь положительной стороны жестока, сила отрицательной стороны также не слаба.
Хуан Жэньсюнь упомянул в интервью, что вероятность того, что ИИ уничтожит мир до 2030 года, составляет 0%. Он считает, что упомянутая Эваном «10%-ная вероятность того, что ИИ убьет всех», не имеет научного обоснования и является «безответственной» интуицией.
«ИИ, которым нельзя безопасно управлять, не должен выпускаться на свободу». Сказал Хуан Ренсюнь.
Хейди Клааф, главный научный сотрудник Института AI Now, считает, что независимо от того, составляет ли она 10% или 20%, «она не поддается ни фальсификации, ни проверке, поэтому она по своей сути ненаучна».
Ученый-когнитивист Гэри Маркус назвал идею «Агенты, захватившие Интернет» «смехотворной».
Его причина в том, что большая часть базовой инфраструктуры Интернета находится в руках крупных компаний, таких как Cloudflare, Google и Amazon AWS. Без вмешательства правительственных сил трудно представить, что они будут прорваны или контролируемы в течение длительного времени.
Он также процитировал отчет Британского исследовательского института безопасности искусственного интеллекта о том, что самая мощная модель Mythos от Anthropic может самостоятельно взломать только «маленькие, слабозащищенные» системы. Пока другая сторона улучшает защиту своей сети, Mythos будет беспомощен.
Посмотрев вместе, вы обнаружите очень интересный аспект этой дискуссии:
Утвердительная сторона говорит о «последствиях», а отрицательная — о «доказательствах».
С одной стороны, вы подчеркиваете, что пока вероятность не равна нулю, последствия невыносимы; с другой стороны, вы подчеркиваете, что даже не можете объяснить, как вы вычислили эту вероятность, так зачем же нервировать весь мир?
Кроме того, хотя Амодей и Альтман выступали за замедление темпов, СМИ обвинили их в том, что они построили для себя ров во имя безопасности, чтобы не допустить проникновения последующих конкурентов.
Академические круги больше поддерживают Чжэн Фана.
Например, статья «Как ИИ может уничтожить людей?» В «Анализ рисков цивилизации» (arXiv:2610.08878) упоминается, что
катастрофические риски ИИ не требуют, чтобы ИИ был сознательным, враждебным или имел явное намерение причинить вред.
Риск может возникнуть по нескольким взаимосвязанным путям: автономная неточность, злонамеренное использование людьми, организационные сбои и конкурентное развертывание. Автор также конкретно заявил, что статья "неработоспособна" и лишь анализирует причины и не дает методов совершения зла.
Но до сих пор никто по-настоящему «выиграл» эти дебаты.
Комментарии