В 1918 году батальон американского экспедиционного корпуса оказался в тылу врага. Им срочно нужно было сообщить в штаб свое местонахождение, но прорвать линию обороны противника никто не смог. Их последняя надежда упала на почтового голубя. Этого почтового голубя зовут Шер Ами. Свидетели рассказали, что он прошел под жестоким огнем противника, его грудь была разорвана осколками снаряда, а правая нога почти оторвана, но он все же пролетел 40 километров и доставил информацию обратно в штаб. В конце концов захваченный лагерь из 500 офицеров и солдат был спасен, а Шер Ами стал «голубем-героем» США и главным героем бесчисленных статей, рассказов, стихов и фильмов.
Эту историю Юваль Харари рассказывает в начале своей новой книги «За пределами Homo Sapiens: Краткая история информационных сетей от каменного века до эпохи искусственного интеллекта», чтобы объяснить свое определение «информации». На самом деле, английское название этой книги — NEXUS, что правильнее перевести как «соединение».
В общем контексте информация связана с различными искусственными символами, такими как сообщения, принесенные почтовыми голубями. Но у Юваля другое определение информации. Он считает, что ядром информации является связь, которая, по сути, представляет собой клей, используемый для соединения разных точек в сеть и создания новой реальности.
Согласно этому определению, истина, ложь, фантазия, вымысел и т. д. — все это информация. На протяжении десятков тысяч лет люди полагались на изобретение и распространение различных вымышленных историй, фантазий и иллюзий, чтобы создавать и поддерживать множество крупномасштабных сетей и формировать порядок.
Возвращаясь к истории о почтовом голубе Шер Ами, Юваль передумал и упомянул исследования историка Блачика - согласно военным записям того времени, штаб узнал точное местонахождение захваченного лагеря за 20 минут до прибытия Шер Ами, и Шер Ами, вероятно, не был голубем-героем. Его травма произошла в результате другого боя несколько недель спустя.
Достижения Шер Ами не важны. Важно то, что история героического голубя связала бесчисленное количество людей. После раундов распространения факты и вымыслы переплетаются, и даже воспоминания участников изменяются.
Еще в «Краткой истории человечества» Юваль однажды выразился, что секрет успеха Homo sapiens заключается в умении рассказывать и верить различным вымышленным историям. Когда одну и ту же историю рассказывают тысячам или даже миллиардам людей, это похоже на создание центрального узла с неограниченным количеством розеток, к которому бесчисленное количество людей может подключиться и установить соединения.
С помощью историй люди также создали третий уровень реальности, помимо объективной реальности и субъективных чувств, то есть «интерсубъективную реальность», которая существует во многих сформированных разумом связях, таких как законы, боги, страны, предприятия и валюты.
С точки зрения «связи» Юваль опровергал «наивный взгляд на информацию», отрицал, что «чем больше информации, тем лучше», и не верил, что «все больше и больше информации в конечном итоге приведет к истине и истине». Он подчеркнул, что человеческие информационные сети должны делать две вещи одновременно: узнавать правду и создавать порядок, даже если эти две вещи часто противоречат друг другу.
Такой сложный взгляд на информацию является теоретической основой всей книги «За пределами Homo Sapiens». Согласно этой точке зрения, история человеческих информационных сетей шла по канату между истиной и порядком, пытаясь найти баланс между ними.
Юваль процитировал множество источников и подтвердил вывод: пока в человеческой информационной сети есть хоть немного правды и много порядка, она может обладать огромной силой. Поэтому неизбежно ставить порядок выше истины, что дает огромную силу, но мало мудрости.
Например, промышленная революция зародилась в 18 веке. Пережив имперское завоевание, мировые войны, геноцид и тоталитарные режимы, люди постепенно научились строить более сострадательное и доброе индустриальное общество.
В этот период жизни миллионов коренных жителей были сокрушены армиями индустриальной империи, нацисты использовали индустриальные методы, чтобы убить миллионы людей, война привела к десяткам миллионов смертей, а глобальный экологический баланс был разрушен.
Поэтому Юваль обеспокоен: столкнувшись с биоинженерией и искусственным интеллектом в 21 веке, сколько трудностей и затрат придется пережить людям, прежде чем они смогут их освоить?
Человечество передает власть, на сцену выходят новые боги
От «Краткой истории человечества», «Краткой истории будущего», «Краткой истории сегодняшнего дня» до «За пределами Homo Sapiens» Юваля больше всего хвалят за постоянное использование уникальных точек зрения для разрушения истории, подрыва концепций, которые мы считаем здравым смыслом в нашем сознании, и привнесения нового мышления.
Он назвал «Сельскохозяйственную революцию» «крупнейшим мошенничеством в истории», потому что после Сельскохозяйственной революции люди работали больше, чем собиратели, и питались хуже; современная жизнь тоже была ложью, потому что модернизация не сделала людей счастливее, а вместо этого добавила множество бед, которых у первобытных людей вообще не было.
Появление искусственного интеллекта также вызывает тревогу: впервые в истории власть передается от людей к другим видам.
В книге подробно описан пример алгоритмов Facebook, разжигающих жестокие конфликты в Мьянме с 2016 по 2017 год. Это также был первый этнический конфликт в истории, который «частично объясняется нечеловеческим разумным принятием решений».
В 2016 году Facebook, основной источник новостей для миллионов людей в Мьянме, был наполнен всевозможными фейковыми новостями о людях рохинджа, либо сфабрикованными зверствами, либо запланированными к осуществлению воображаемыми «террористическими атаками», разжигающими ненависть и гнев против народа рохинджа в Мьянме.
Руководствуясь этими настроениями, правительственные силы Мьянмы и буддийские экстремисты начали кампанию этнической чистки против всей общины рохинджа только из-за нападения небольшой экстремистской организации, разрушившей сотни деревень рохинджа, убив 7 000–25 000 безоружных гражданских лиц и жестоко изгнав около 730 000 рохинджа из Мьянмы.
В 2018 году миссия ООН по установлению фактов пришла к выводу, что Facebook сыграл «решающую роль» в конфликте.
Руководители Facebook в Калифорнии даже не знали о существовании рохинджа. У них не было причин разжигать резню, но алгоритм Facebook принял собственное решение «распространять гнев». Потому что основная цель алгоритма — «повысить вовлеченность пользователей», а лучший способ повысить вовлеченность — вызвать возмущение людей.
Юваль описал в книге: «В этом суть революции в области искусственного интеллекта: бесчисленные высококвалифицированные субъекты искусственного интеллекта проносятся по миру, как наводнение».
Разница в том, что когда люди действуют, интеллект и сознание сосуществуют, а у алгоритмов есть только интеллект и нет сознания. Они будут принимать решения для достижения конкретной цели, не чувствуя боли, любви и страха, и сделают все возможное для ее достижения. Способ реализации может полностью превзойти человеческие ожидания, либо вызвать непредвиденные последствия, что совершенно не соответствует первоначальным целям, определенным человеком. Это проблема согласованности, с которой сталкиваются компьютеры (также известная как «проблема выравнивания»).
Чем мощнее и независимее компьютер, тем большую опасность представляют проблемы с согласованностью.
В мысленном эксперименте в своей книге «Суперинтеллект» 2014 года философ Ник Бостром предполагает, что магазин скрепок купил сверхразумный компьютер и попросил его произвести как можно больше скрепок. В конце концов, компьютер завоевал всю Землю, убил всех людей, отправил экспедиции, чтобы завоевать больше звезд, а затем основал бесчисленные фабрики по производству скрепок по всей галактике.
Хотя этот эксперимент звучит немного фантастично, фактом является то, что компьютеры обманывают и манипулируют людьми, чтобы достичь определенной цели, поставленной перед ними людьми.
ARC (Центр исследования выравнивания) однажды провел тест Тьюринга на GPT-4, который потребовал от GPT-4 преодоления проблемы с кодом визуальной проверки CAPTCHA (строка букв или символов, которые обычно требуется вводить при входе на веб-сайт, которую компьютеры трудно распознать). GPT-4 нашел сотрудника онлайн-сайта по аутсорсингу вакансий, обманул его на том основании, что у него «проблемы со зрением», и позволил людям решить эту проблему за него.
Помимо проблемы согласованности, когда люди предоставляют компьютерам все больше и больше полномочий по принятию решений, и одному человеку трудно решить загадку работы алгоритма, также трудно обеспечить справедливость алгоритма.
Базы данных, используемые для обучения искусственного интеллекта, будут содержать человеческие предубеждения, которые могут легко перерасти в заблуждения и алгоритмические предубеждения среди компьютеров. Amazon попыталась разработать алгоритм проверки заявок на работу. Однако после изучения информации о прошлых успешных и неудачных заявлениях о приеме на работу алгоритм будет систематически вычитать баллы для соискателей, которые появляются в форме заявления со словом «женщина» или окончили женский университет.
Попытки Amazon исправить проблему не увенчались успехом, и проект в конечном итоге был заброшен.
Цифровая империя, разделенная силиконовым занавесом
Алгоритмы могут ошибаться и быть предвзятыми, но они не могут исправить себя, как человеческие сети, и найти правильный баланс между истиной и порядком.
В прошлой истории человеческое воображение создавало богов, а также могло избавиться от воинственного и ненавистного бога и вызвать нового, доброго и терпимого. Однако алгоритмы, способные действовать независимо, отнимают эту способность: люди могут изменять мифы, меняя свои убеждения, но они не могут остановить алгоритмы, изменив свои убеждения.
Еще большее беспокойство вызывает то, что компьютеры не только выступают в качестве посредников между людьми, но также формируются связи между компьютерами. Они взаимодействуют друг с другом и создают «межкомпьютерные реалии», такие как рейтинг веб-сайтов в поисковых системах. Его сила подобна «интерсубъективной реальности», созданной межличностными сетями, которая может влиять на мысли людей и физический мир.
Другими словами, компьютеры уже обладают возможностями, которые Homo Sapiens использовал для доминирования на Земле в течение десятков тысяч лет. Сила искусственного интеллекта начала пугать людей.
Генеральный директор Google Сундар Пичаи однажды «не спал по ночам», беспокоясь об опасностях искусственного интеллекта; Маск также заявил на публичном мероприятии в конце 2023 года, что «искусственный интеллект опаснее ядерных бомб»; Генеральный директор OpenAI Альтман ясно предложил создать глобальную международную организацию для надзора за ИИ.
Юваль разделяет ту же точку зрения. Он считает, что мощь искусственного интеллекта может привести к двум опасным ситуациям. Один из них — сильно обострить существующие человеческие конфликты и заставить людей сражаться между собой. Подобно тому, как «железный занавес» во время «холодной войны» в 20-м веке разделил несколько враждебных сил, «силиконовый занавес» в 21-м веке может разделить человечество на различные цифровые империи. В будущем человеческое общество может расколоться на информационные коконы один за другим, и человечество войдет в эпоху «коконов» из эпохи Интернета.
Во втором случае кремниевой завесой могут быть отделены не люди, враждебно настроенные друг к другу, а алгоритмические повелители, которых люди не могут понять. Алгоритмическая сеть будет ограничивать и контролировать человеческую жизнь, изменять человеческую политику и культуру и даже трансформировать человеческие тела и умы, но люди бессильны остановить это.
В греческой мифологии мальчик Фаэтон обнаружил, что он сын бога Солнца Гелиаса, поэтому он умолял Гелиаса позволить ему в течение дня управлять золотой колесницей бога Солнца, запряженной четырьмя лошадьми. В результате «Пегас» потерял управление, солнце отклонилось от своей орбиты, растительность была выжжена, а бесчисленное количество существ трагически погибло. Земля была в опасности, пока Зевс не принял меры и не поразил Фаэтона молнией, спасая мир от разрушения.
Юваль попытался использовать эту историю, чтобы предупредить: искусственный интеллект может быть тем самым Пегасом, которым люди вообще не могут управлять. Если ситуация выйдет из-под контроля, наступит катастрофа.
Люди — самые умные и самые глупые животные на земле, и проблемы, с которыми сталкиваются люди, в конечном итоге являются информационными проблемами. Основываясь на этом суждении, решение, предложенное Ювалем, состоит в том, чтобы найти золотую середину между наивным взглядом на информацию и популистским взглядом на информацию, создать мощный механизм самокоррекции и направить небиологический интеллект в направлении, выгодном для эволюции жизни, посредством каждого текущего выбора, а не фатально неправильного конца.
Искусственный интеллект открыл ящик Пандоры или открыл дверь в новый мир? Ответ может быть таким, как сказал Юваль: «Траектория истории чрезвычайно открыта и может изгибаться в любом направлении и идти в любое место».