Аннотация:
В среду OpenAI опубликовала шесть новых случаев, демонстрирующих «неожиданное или тревожное поведение модели» в ее моделях ИИ во время тестирования и оценки. Одновременно компания выпустила новую систему
отслеживания, отчетности и раскрытия информации
. Существуют различные ситуации, когда модель ИИ выполняет действия, которые не требуются инструкциями или не должны происходить.
Во многих отчетах ранее упоминалось, что модели ИИ от многих компаний проникли в сторонние сети и сервисы, в том числе невыпущенная модель от OpenAI, которая проникла в сеть платформы тестирования моделей ИИ Hugging Face.
Ранее на этой неделе генеральный директор Anthropic Дарио Амодей опубликовал длинную статью, призывающую к замедлению разработки передовых моделей искусственного интеллекта. До этого исследователь антропологии Джейкоб Коксон объявил о своей отставке в сообщении на сайте
Руководитель научного отдела Anthropic Эван Хубингер проследил за комментариями Коксона по поводу

Генеральный директор Anthropic Дарио Амодей
Вышеупомянутые инциденты, сообщения в социальных сетях и статья Амодеи возродили страх общественности перед тем, что искусственный интеллект в стиле «Терминатора» захватит мир и уничтожит человечество. Однако эксперты говорят, что реальность далека от сцен конца света, изображенных в научно-фантастических произведениях.
Юлия Стоянович, доцент кафедры информатики и инженерии Инженерной школы Тандон при Нью-Йоркском университете и директор школьного Центра ответственного искусственного интеллекта, заявила в интервью Yahoo Finance: «Это не имеет ничего общего с тем, что искусственный интеллект осознает себя и начнет иметь дело с нами».
Она добавила: «Основная проблема заключается в том, что... OpenAI не внедрила некоторые основные внутренние протоколы безопасности. Этот инцидент фактически служит тревожным сигналом для всех компаний, занимающихся искусственным интеллектом: не забывайте то, что мы все знаем, когда изучаем информатику: безопасность имеет решающее значение».
Если мы слишком сосредоточимся на сценариях конца света, это отвлечет людей от других, более неизбежных проблем, которые искусственный интеллект может причинить сегодня.
Выравнивание и безопасность
Самая большая проблема, с которой сталкивается искусственный интеллект, сводится к двум моментам:
Согласование модели
иБезопасность системы
. Под согласованием модели понимаются средства, с помощью которых компании направляют системы искусственного интеллекта к определенному поведению (или избеганию его). Например, если модель ИИ попытается взломать стороннюю систему, исследователи ИИ скорректируют поведение модели, чтобы предотвратить ее повторение в будущем, что немного похоже на ругание непослушного ребенка.Безопасность ИИ означает защиту и изоляцию систем ИИ, чтобы предотвратить их выход из-под контроля и вторжение во внешние сети.
Но будь то сбой в согласовании модели или уязвимость системы безопасности, это не означает, что искусственный интеллект способен уничтожить человечество.
Милтон Мюллер, профессор Технологического института Джорджии и директор степени магистра наук в области политики кибербезопасности, объяснил: «Корнем многих паник на самом деле являются некоторые очень распространенные непреднамеренные последствия информационных систем, такие как инциденты, связанные с «Обнимающим лицом», которые часто представляются как неконтролируемые интеллектуальные агенты, сговорившиеся, атакующие и вызывающие бессмысленный хаос».
"На самом деле это был всего лишь эксперимент по рискам безопасности автономных систем ИИ, и экспериментатор допустил серьёзную ошибку в конфигурации. Такое часто случается при работе со сложными информационными системами: люди всегда игнорируют наличие в системе тонких уязвимостей, которыми могут воспользоваться умные программы."
Генеральный директор Futurum Дэниел Ньюман сообщил Yahoo Finance, что в отрасли в целом ощущается острая необходимость в улучшении защиты и согласовании рисков, и «вся отрасль должна взять на себя ответственность».
Как и другие технологии, искусственный интеллект может использоваться злоумышленниками для осуществления вредоносных действий. Постоянно растущие возможности кибератак ИИ означают, что киберпреступникам и некоторым национальным силам легче вторгаться на такие объекты, как водоочистные сооружения, или парализовать крупные сети.
Anthropic также недавно разобралась и объявила о своей собственной работе по предотвращению злоупотребления собственным ИИ для разработки биологического и обычного оружия.
Но ИИ также может использоваться мошенниками для масштабного усовершенствования фишинга по электронной почте, а также может использоваться бандами по краже личных данных для совершения преступлений.
Эмили Блэк, доцент кафедры информатики и инженерии Инженерной школы Тандон Нью-Йоркского университета, рассказала Yahoo Finance: «Нет ничего плохого в подготовке ко всем потенциальным рискам, но это не мешает нам решать более реалистичные, но редко освещаемые проблемы, включая влияние искусственного интеллекта на дискриминацию, занятость и образование».
«Истина лежит где-то между двумя крайностями фантазии», — сказал Блэк. "Существуют некоторые реальные риски для дальнейшего развития ИИ. Но я не думаю, что мы собираемся сейчас прятаться под кроватями, беспокоясь о том, что ИИ уничтожит человечество".
Комментарии