Аннотация:
Ян ЛеКун, лауреат премии Тьюринга 2018 года, основатель и председатель AMI Labs, заявил 12 октября в Сеуле, что следующий этап прорывов в области искусственного интеллекта произойдет за счет систем, которые смогут понимать, предсказывать и действовать в физическом мире, а не просто расширять масштабы больших языковых моделей.
Он считает, что «Модели мира» станут важным техническим направлением, способствующим развитию искусственного интеллекта. Что касается проблем безопасности, вызванных повышенной автономностью искусственного интеллекта, Ян Ликунь сказал, что недавние инциденты сетевой безопасности с участием агентов ИИ в основном выявили недостатки существующей системы защиты безопасности, и связанные с этим риски можно контролировать путем улучшения системной архитектуры и техники безопасности.
Ян Ликунь: Большим языковым моделям не хватает надежного понимания причинно-следственных связей в физическом мире
Янг Ликунь заявил в понедельник на симпозиуме по промышленному искусственному интеллекту в Сеуле, что, хотя нынешние большие языковые модели могут эффективно усваивать знания из текста, изображений и видео, им все еще не хватает надежного понимания причин и следствий в физическом мире.
Он отметил, что искусственный интеллект уже может доказывать математические теоремы и сдавать профессиональные экзамены, но роботам по-прежнему сложно выполнять многие повседневные домашние дела, с которыми 10-летние дети могут справиться без обучения. Этот пробел в возможностях отражает то, что нынешние системы искусственного интеллекта по-прежнему имеют очевидные ограничения в понимании физической среды, планировании действий и взаимодействии в реальном мире.
Ян Ликунь считает, что важным направлением развития технологий искусственного интеллекта на следующем этапе станут модели мира, то есть системы искусственного интеллекта, способные предсказывать, как будет меняться физическая среда при конкретных действиях. В отличие от языковых моделей, которые решают задачи в первую очередь путем предсказания следующего слова или шаблонов обучения на основе данных, созданных человеком, модели мира предназначены для того, чтобы помочь ИИ понять взаимосвязь между действиями и результатами и спланировать серию действий на основе целей. Например, роботам необходимо уметь предсказывать, как изменится окружающая среда после перемещения или захвата объекта, чтобы надежно выполнять сложные задачи в реальном мире.
AMI Labs, основанная Яном Ликуном, продвигает этот технологический путь с помощью совместной архитектуры прогнозирования (JEPA) и исследует, как сделать искусственный интеллект более надежным в возможностях прогнозирования окружающей среды и планирования действий.
Поскольку технология искусственного интеллекта постепенно расширяется от обработки знаний и генерации контента до таких областей, как робототехника и промышленная автоматизация, Ян Ликунь рассматривает модели мира как важную техническую основу для реализации интеллекта в физическом мире. Однако соответствующие технологии все еще разрабатываются, и вопрос о том, смогут ли они обеспечить надежное прогнозирование, независимое планирование и крупномасштабное развертывание в сложных реальных условиях, еще предстоит проверить.
Ян Ликунь опровергает опасения, что искусственный интеллект вышел из-под контроля: недавние инциденты безопасности выявили недостатки инженерной защиты
Обсуждая перспективы развития возможностей автономного действия ИИ, Ян Ликунь также отреагировал на недавние инциденты в области кибербезопасности с участием агентов искусственного интеллекта и возражал против интерпретации этих инцидентов, поскольку ИИ становится неуправляемым.
Что касается недавних кибератак, связанных с искусственным интеллектом, с которыми столкнулась финансовая индустрия Южной Кореи, Ян Ликунь считает, что проблема в основном связана с отсутствием достаточных профессиональных возможностей в области сетевой безопасности у компаний, развертывающих агенты искусственного интеллекта, а также с уязвимостями безопасности в системе песочницы, используемой для ограничения поведения программного обеспечения. Он отметил, что нынешние большие языковые модели действительно могут подвергаться джейлбрейк-атакам в обход установленных ограничений безопасности с помощью определенных подсказок, и трудно полностью ограничить их поведение, просто полагаясь на тонкую настройку модели.
Однако Ян Ликунь считает, что будущие целенаправленные системы искусственного интеллекта будут активно оценивать ограничения безопасности перед выполнением операций, тем самым устраняя недостатки существующих моделей поведенческого контроля. Вместо того, чтобы полагаться исключительно на правила безопасности, установленные на этапе обучения модели, такие системы могут включать дополнительные проверки безопасности во время планирования и выполнения действий.
Он признал, что достижение этой возможности — непростая техническая задача, но подчеркнул, что связанные с этим вопросы все еще находятся в рамках инженерного проектирования. В долгосрочной перспективе ИИ может даже дать преимущество киберзащитникам, поскольку оборонные ведомства обычно имеют больше ресурсов и могут более открыто делиться информацией о безопасности и опытом в области обороны.
Это суждение отличается от некоторых мнений, которые подчеркивают потенциальный риск потери контроля над передовыми системами искусственного интеллекта. Ян Ликунь также подчеркнул, что посредством проектирования системной архитектуры, ограничений полномочий исполнения и механизмов защиты безопасности можно гарантировать, что поведение автономных систем искусственного интеллекта находится в контролируемых пределах.
По его техническому видению, в будущем искусственный интеллект постепенно обретет способность понимать реальную окружающую среду, предсказывать последствия действий и выполнять задачи автономно. Как расширить эти возможности, установив при этом надежные ограничения безопасности, станет важным вопросом, который необходимо решить при разработке моделей мира и связанных с ними автономных систем.
Комментарии