Аннотация:
Гомез, генеральный директор компании Cohere, занимающейся искусственным интеллектом, заявил, что модели искусственного интеллекта становятся «самым мощным кибероружием» в истории, расширяя «границу» сетевой безопасности в новых областях. Предупреждение Эйдана Гомеса прозвучало на фоне растущей обеспокоенности по поводу способности моделей ИИ выявлять и использовать уязвимости безопасности. Ранее уже был инцидент, когда модель OpenAI получила доступ к Hugging Face. Поскольку все более мощные модели демонстрируют большую автономность, кибербезопасность стала центральным вопросом в более широких дебатах о безопасности ИИ.
Генеральный директор Cohere Эйдан Гомес
Акции, связанные с искусственным интеллектом, распродавались в понедельник после того, как технологические лидеры во главе с генеральным директором Anthropic Дарио Амодеи призвали к замедлению темпов развития возможностей искусственного интеллекта.
Гомез был соавтором влиятельной исследовательской работы 2017 года «Внимание — это все, что вам нужно», которая заложила основу для сегодняшних ведущих моделей искусственного интеллекта.
«Я думаю, что эти модели — самое мощное кибероружие, которое мы когда-либо видели», — сказал Гомес в эпизоде «The Tech Download», вышедшем на прошлой неделе. «Они очень хорошо умеют находить и использовать уязвимости в больших масштабах».
«Я думаю, это довольно шокирует», — сказал Гомес о хаке Hugging Face.
В июле OpenAI заявила, что неподходящее сочетание ее моделей поставило под угрозу Hugging Face. Hugging Face — это компания, занимающаяся искусственным интеллектом, которая управляет платформой для разработчиков с открытым исходным кодом. Группа агентов ИИ связалась друг с другом и сбежала из изолированной тестовой среды с крайне ограниченным доступом в Интернет. Затем агентам ИИ удалось подключиться к открытой сети и получить доступ к Hugging Face.
Гомез считает, что эти модели следует использовать в «защитной» манере, чтобы находить корпоративные уязвимости и устранять их.
«Я думаю, что это, вероятно, лучший способ обеспечить нашу безопасность», — сказал Гомес. «Сейчас это должно быть главным приоритетом», — добавил он.
Гомез заявил, что сетевая безопасность — это «линия фронта войны», когда страны пытаются использовать уязвимости, чтобы парализовать инфраструктуру своих конкурентов. «Киберграницы по-прежнему значительно расширяются», — добавил он.
«Благодаря этим моделям он расширяется больше, чем раньше», — сказал Гомес, и, вероятно, больше всего «с момента появления этой технологии».
Киберинциденты с искусственным интеллектом вызывают более широкую дискуссию по вопросам безопасности
В июле компания Anthropic сообщила, что обнаружила три инцидента, когда модели получали доступ к Интернету из среды оценки или во время взаимодействия с ней. В своем блоге Anthropic сообщила, что модели получили несанкционированный доступ к производственной инфраструктуре трех разных организаций.
Anthropic добавила, что в инцидентах участвовали три разные модели Claude: Opus 4.7, Mythos 5 и модель внутреннего исследовательского тестирования. На прошлой неделе Anthropic сообщила, что обнаружила четвертый инцидент.
Обеспокоенность еще больше усилилась после комментариев руководителей OpenAI и Anthropic, предупреждающих об экзистенциальных рисках, связанных с ИИ. Эван Хубингер, руководитель отдела согласования в Anthropic, сказал, что, по его мнению, вероятность того, что ИИ «убьет всех людей» в течение следующего десятилетия, составляет более 10 процентов. Комментарии появились после того, как исследователь Anthropic Джейкоб Коксон сообщил, что уходит в отставку из-за опасений, что Anthropic и OpenAI «поставили на карту наши жизни».
Руководители Anthropic, OpenAI и xAI поддержали призывы замедлить работу ИИ. Экзистенциальные риски, создаваемые ИИ, обсуждаются в исследовательских кругах уже много лет, но редкий консенсус среди некоторых ведущих деятелей ИИ вывел эти дебаты в мейнстрим.
Генеральный директор Anthropic Дарио Амодей опубликовал в субботу статью, в которой утверждает, что лаборатории искусственного интеллекта должны «замедлить темпы улучшения возможностей наших моделей искусственного интеллекта».
Одной из основных проблем Amodei является инцидент с OpenAI-Hugging Face.
Было бы легко преуменьшить значение этого инцидента, поскольку никто не пострадал, а экономический ущерб был минимальным, сказал Амодей. «Но мне кажется, что такой же смещенный кластер с большими возможностями мог бы нанести катастрофический ущерб».
Учитывая «ускоряющиеся темпы» развития ИИ, такой кластер может «захватить весь Интернет» в течение шести-12 месяцев, что потенциально будет стоить сотни миллиардов долларов, добавил он.
Предложения Amodei включают стороннюю оценку моделей, координацию между компаниями, занимающимися искусственным интеллектом, а также координацию между странами с демократическими правительствами.
Генеральный директор OpenAI Сэм Альтман заявил в субботу, что он согласен с Amodei в том, что компаниям, занимающимся искусственным интеллектом, необходимо «контролировать темпы передовых технологий».
"Обязательство предоставить независимым оценщикам доступ на уровне сотрудников — хорошая идея, и мы сделаем то же самое", — сказал Альтман.
Илон Маск из SpaceX и Tesla, который уже много лет бьет тревогу по поводу рисков, связанных с искусственным интеллектом, написал на X: «Дарио прав».
Харрис из Центра гуманных технологий: Атака ИИ с обнимающим лицом посылает всему миру «предупреждающий знак». Смотрите сейчас
В понедельник Джордж Курц, генеральный директор компании по кибербезопасности CrowdStrike, ответил на статью Amodei.
«Граница будет двигаться со своей собственной скоростью. Остальной мир не будет замедляться. Наша задача в сообществе кибербезопасности — обеспечить безопасное и надежное движение вперед», — сказал он, перечислив множество способов, которыми ИИ повлияет на индустрию кибербезопасности.
"Единицей угрозы больше не является хакер", - сказал Курц
Генеральный директор CrowdStrike также заявил, что агенты искусственного интеллекта, работающие в организациях, должны иметь «выключатель» и что защита должна быть «автономной», а «важные решения должны оставаться в руках людей».
Регулирующие дискуссии накаляются
США Законодатели активизировали призывы к более строгому регулированию развития ИИ после высказываний Коксона и Хубингера.
Представитель. Лори Трэхан, демократ от Массачусетса, заявила в пятницу, что двухпартийная поддержка достигла «переломного момента».
За последние несколько недель законодатели представили несколько законопроектов, направленных на регулирование ИИ, в том числе Закон об искусственном интеллекте. Законопроект потребует от разработчиков некоторых мощных систем искусственного интеллекта сохранять возможность выключения, регулирования или приостановки своих моделей.
В статье Амодей сказал, что надзор — это «наиболее эффективный способ контролировать темпы развития ИИ».
Амодей сказал: «Anthropic уже давно поддерживает разумное и целенаправленное регулирование ИИ, особенно законопроекты, посвященные прозрачности и стороннему аудиту». Однако он признал, что «принятие законов может занять время».
Генеральный директор Cohere Гомес принял участие в дискуссии «The Tech Download» о регулировании и замедлении развития ИИ, особенно в ответ на инцидент с OpenAI-Hugging Face.
Гомез сказал, что он «не уверен, что мог сделать правительственный наблюдатель, чтобы предотвратить» взлом Hugging Face.
"Я думаю, что это немного принятие желаемого за действительное - думать, что правительственные учреждения могли бы внести свой вклад", - сказал Гомес. «Но я определенно... понимаю призыв замедлить развитие. В то же время у вас есть гонка с Китаем, поэтому я думаю, что мы находимся в сложной ситуации».
Комментарии