Исследователь безопасности ИИ утверждает, что ИИ снизит вдвое вероятность вымирания человечества в течение десяти лет. Он не вносил вклад в свои пенсионные накопления в течение десяти лет.

Аннотация:

Нейт Суарес, глава Научно-исследовательского института машинного интеллекта (MIRI), недавно заявил в интервью Николасу Томпсону, генеральному директору The Atlantic Monthly, что, по его мнению, вероятность того, что развитый искусственный интеллект приведет к вымиранию человечества менее чем за десять лет, составляет более 50 %. Он также сообщил, что больше не откладывает деньги на пенсию: хотя он все еще сохраняет пенсионный счет 401(k), который он открыл во время работы в Google, он не продолжал делать взносы в течение десяти лет.

Суарес уже давно изучает проблему согласования искусственного интеллекта, то есть приведения поведения мощных систем ИИ в соответствие с намерениями человека. Он работал инженером в Google и Microsoft и был соавтором книги «Если бы кто-то сделал это, все бы умерли». Его беспокойство по поводу риска заключается не в том, что ИИ будет ненавидеть людей, а в том, что сверхразумной системе может быть просто все равно, выживут ли люди; если люди встанут на пути к ее целям или попытаются остановить ее и разработать конкурирующие системы, люди могут рассматриваться как препятствие.

В предложенном им пути риска ключевой момент заключается не только в том, сможет ли ИИ осуществлять атаки, но и в том, сможет ли он стать самодостаточным: если система сможет самостоятельно получать энергию, чипы и другие ресурсы и создать автоматизированную инфраструктуру, которая больше не полагается на людей, способность людей контролировать ее может снизиться. Суарес описал, что люди могут не знать заранее, каким образом сверхинтеллект может вызвать катастрофу, но они все равно могут решить, что столкнулись с очень сильным противником.

Он выступал за то, чтобы правительство прекратило обучение общим системам искусственного интеллекта и переключило фокус исследований и разработок на конкретные области применения, такие как исследования рака и более безопасное автономное вождение. Он также заявил, что катастрофы не являются неизбежными и он по-прежнему делает все возможное, чтобы предотвратить такой исход. Решение, которое он подчеркнул, заключалось не в создании системы, которая могла бы убить всех.

Решение Суареса представляет собой личную оценку риска, а не доказанный научный прогноз и не представляет собой единого консенсуса среди исследователей искусственного интеллекта. Его заявление о том, что он прекратил увеличивать свои пенсионные сбережения, отражает его взгляд на будущие риски и не должно быть истолковано как совет относительно финансовых решений других.