OpenAI недавно выпустила новое обновление функции «Использование компьютера» для своего настольного приложения Codex на платформе macOS, позволяющее этому интеллектуальному агенту кодирования удаленно управлять авторизованными пользователем приложениями, даже когда Mac заблокирован. Это изменение означает, что пользователи могут запускать Codex со своего телефона, и он будет выполнять ряд действий на их Mac, когда экран выключен и компьютер заблокирован.
Согласно образцу скриншота, опубликованному командой разработчиков OpenAI на социальной платформе.
Чтобы включить эту функцию, пользователям необходимо установить плагин «Использование компьютера» и предоставить ему разрешения на запись экрана и специальные возможности в настройках системы. После настройки Codex может выполнять такие операции, как нажатие окон, ввод текста, навигация по меню и доступ к буферу обмена в приложениях, явно авторизованных пользователем, имитируя обычное поведение человека в графических интерфейсах. В OpenAI заявили, что эта возможность в основном нацелена на сценарии использования, которые сложно охватить с помощью инструментов командной строки, такие как воспроизведение ошибок, которые появляются только в графическом интерфейсе, настройка параметров приложения или запуск определенных процессов в настольных приложениях, которые Codex помогает разрабатывать.
Что касается безопасности и контроля разрешений, Кодекс будет получать согласие пользователя перед первым запуском каждого нового приложения. Пользователи также могут выбрать настройку «Всегда разрешать» для определенных приложений, чтобы уменьшить количество повторных операций подтверждения. OpenAI также подчеркнула, что эта функция не будет открыта для пользователей в Европейской экономической зоне, Великобритании и Швейцарии на начальном этапе запуска и не может использоваться в автоматических терминальных приложениях, собственных приложениях Кодекса и окнах запроса разрешений администратора на системном уровне. Это ограничение отражает региональные компромиссы, которые OpenAI все еще приходится искать в отношении границ соответствия и безопасности, одновременно укрепляя возможности автоматизации и удаленного управления.
Это обновление также продолжает недавнюю серию расширений функций Codex, включая недавно запущенную функцию «Appshots» и «/goal mode». Среди них Appshots позволяет пользователям вставлять снимки экрана текущего окна приложения Mac и связанный текстовый контент в разговор Кодекса одним щелчком мыши, дважды щелкнув клавишу Command (сочетание клавиш Command-Command), чтобы агент мог понять контекст интерфейса и дать целевые операции или предложения. Режим /goal позволяет Codex непрерывно работать часами или даже днями ради четкой цели, обеспечивая большую непрерывность и возможности планирования в таких сценариях, как агенты кодирования, автоматизация операций на рабочем столе и долгосрочное продвижение задач.