跳到正文

Computer Use：让 ChatGPT 操作桌面应用

Computer Use 的安装、权限、Windows 前台限制与 macOS 锁屏使用，以及什么时候该用它、什么时候该改用插件或内置浏览器。

当前有效最后核验

适用平台

  • ChatGPT 桌面应用（macOS）
  • ChatGPT 桌面应用（Windows）

官方文档怎么说

  • 在受支持区域，Computer Use 在 ChatGPT 桌面应用中于 macOS 和 Windows 上可用，配合 ChatGPT Work 与 Codex 使用，需要安装 Computer Use 插件。

    Computer Use

  • 在 macOS 上需要在提示时授予 Screen Recording 和 Accessibility 权限，前者让 ChatGPT 看到目标应用，后者让它点击、输入和导航。

    Computer Use

  • 安装路径是在桌面应用中选择 ChatGPT 并切换到 Work，或选择 Codex，然后打开 Plugins > Computer Use 安装插件，开启 MCP server 与 skill 开关。

    Computer Use

  • 在 Settings > Computer use 中查看应用访问权限，已批准供未来任务使用的应用出现在 Always-allowed apps 中。

    Computer Use

  • 在 Windows 上，Computer Use 运行在活动桌面上，无法在你继续使用同一 Windows 会话时于后台运行，会占用前台的指针和键盘输入。

    Computer Use

  • 启动方式是在提示词中提到 @Computer 或 @AppName，或直接要求 ChatGPT 使用 Computer Use。

    Computer Use

  • 若目标应用有专门的插件或 MCP server，官方建议优先使用那种结构化集成来获取数据和执行可重复操作。

    Computer Use

  • 在 Windows 上，持久化的应用决策存储在 $CODEX_HOME/config.toml 的 [computer_use.windows] 段的 always_allowed_app_ids 中。

    Computer Use

  • Locked use 只适用于 macOS；启用后 ChatGPT 会安装一个参与 macOS 解锁流程的 Apple 授权插件。

    Computer Use

  • 该功能无法自动化终端应用或 ChatGPT 自身，也无法以管理员身份认证或批准电脑上的安全与隐私权限提示。

    Computer Use

  • 管理员可以限制 Computer Use 能访问哪些应用，以及是否允许保存批准；也可以用 requirements.toml 中的 [features].computer_use = false 禁用该功能。

    Computer Use

它解决的是"只能用眼睛和鼠标才能办的事"

Computer Use 让 ChatGPT 看到并操作 macOS 或 Windows 上的图形界面。官方对它的定位很克制：用在命令行工具或结构化集成不够用的场景——检查一个桌面应用、使用浏览器、改应用设置、处理一个没有插件的数据源，或者复现一个只在图形界面里出现的 bug。

同一段还给了配套的警告：因为 Computer Use 能影响你项目工作区之外的应用和系统状态，要把它用在范围明确的任务上，并在继续之前审阅权限提示。

这两句话合起来就是使用这个功能的全部心法。

安装：插件 + 系统权限，两层

第一层在 ChatGPT 里：

  1. 在桌面应用中选择 ChatGPT 并切换到 Work，或者选择 Codex。
  2. 打开 Plugins > Computer Use，按提示选 Install plugin；如果显示的是 Enable，选它。
  3. 打开 Computer Use 的 MCP server 和 skill 两个开关，然后选 Try now。
  4. 打开 Settings > Computer use 检查应用访问权限。已连接的浏览器控制项会显示 Manage，你批准供未来任务使用的应用会出现在 Always-allowed apps 一栏。

第二层在操作系统里，而且两个平台不一样：

  • macOS —— 在提示时授予 Screen Recording（让 ChatGPT 看到目标应用）和 Accessibility（让它点击、输入和导航）。
  • Windows —— 保持目标应用在活动桌面上可见。

官方特意区分了这两层的含义：系统权限决定 ChatGPT 能不能看和操作应用，而 ChatGPT 里的应用批准决定你允许它用哪些应用。文件读写和 shell 命令则仍然走任务本身的沙箱和审批设置。

Windows 上的关键限制：它会占用你的桌面

这一条值得单独拿出来，因为它会直接改变你安排工作的方式。

在 Windows 上，Computer Use 运行在活动桌面上。它无法在你继续使用同一个 Windows 会话时于后台运行——任务跑起来时，你会看到 ChatGPT 移动指针、敲键盘、接管前台。

官方给了两条应对办法，用于"任务要在你离开后继续跑"的情况：

  1. 保持 Windows 设备解锁并联网，然后用手机端的 Remote 查看进度或发送后续指令。
  2. 把 ChatGPT 桌面应用跑在一台 Windows 虚拟机里，让 Computer Use 接管虚拟机而不是你的主桌面。

macOS 上的情况不同：文档把"在 macOS 上，可以在后台跑一个范围明确的任务，同时你在别处继续工作"列为它的适用场景之一。

启动一个任务：把目标说死

用法是在提示词里提到 @Computer 或 @AppName，或者直接要求 ChatGPT 使用 Computer Use。关键是描述清楚它该操作的具体应用、窗口或流程。

官方给的两个示例提示词都体现了这一点：一个是"用 Computer Use 打开这个应用，复现 onboarding 的 bug，并修复导致它的最小代码路径；每次改动之后再跑一遍同样的 UI 流程"；另一个是"打开 @Chrome，验证最近改动之后结账页是否仍然正常"。

注意第一个例子里的"每次改动之后再跑一遍同样的 UI 流程"——它把验证方式也写进去了。

什么时候不该用它

三条明确的分流规则：

  1. 目标应用有专门的插件或 MCP server → 用那个结构化集成来获取数据和执行可重复操作。Computer Use 留给需要视觉检查或视觉操作的情况。
  2. 本地开发中的 Web 应用 → 先用内置浏览器。
  3. 需要终端 → 做不到。这个功能无法自动化终端应用，也无法自动化 ChatGPT 自身，因为那样可能绕过安全策略。

它同样无法以管理员身份认证，也无法批准你电脑上的安全与隐私权限提示。

安全守则

官方在这一页末尾给了一份清单，几乎每一条都对应一种真实的翻车方式：

  • 一次给一个明确的目标应用或流程。
  • 你随时可以停止任务或接管电脑。
  • 不需要用到的敏感应用先关掉。
  • 在 Windows 上，预期 ChatGPT 会接管前台输入；要么用另一台设备、要么用虚拟机、要么先停掉任务再自己用这台桌面。
  • 除非你在场并能逐步批准，否则避免需要用到密钥的任务。
  • 审阅应用权限提示之后再放行。
  • Always allow 只给你信任 ChatGPT 在未来任务中自动使用的应用。
  • 涉及账号、安全、隐私、网络、支付或凭据相关的设置时，人要在场。
  • 一旦 ChatGPT 开始操作错误的窗口，取消任务。

还有一条关于浏览器的补充值得记住：如果 ChatGPT 用你的浏览器，它可以与你已登录的页面交互。要像你自己在操作一样审阅网站上的动作——网页可能含有恶意或误导内容，而站点会把被批准的点击、表单提交和登录态动作当成来自你的账号。想在 ChatGPT 工作时继续用浏览器，可以要求它换一个浏览器。

管理员那一侧

在托管工作区里，管理员可以限制 Computer Use 能访问哪些应用，以及是否允许保存批准；也可以在 requirements.toml 里用 [features].computer_use = false 直接禁用该功能。如果你在公司设备上找不到这个功能，先确认这一点。

实际操作

  1. 在 ChatGPT 桌面应用中选择 ChatGPT 并切换到 Work，或者选择 Codex。
  2. 打开 Plugins > Computer Use，按提示选择 Install plugin；如果显示 Enable 则选择它。
  3. 打开 Computer Use 的 MCP server 与 skill 两个开关，然后选择 Try now 开始。
  4. 打开 Settings > Computer use 检查应用访问权限；已连接的浏览器控制项会显示 Manage 操作。
  5. macOS 上按提示授予 Screen Recording 与 Accessibility 权限。
  6. 在提示词中用 @Computer 或 @AppName 启动任务，并明确指出要操作的应用、窗口或流程。
  7. 任务运行中审阅每一次应用权限请求；只对你信任 ChatGPT 自动使用的应用选择 Always allow。

Windows 步骤

  1. Windows 上保持目标应用在活动桌面上可见。
  2. Computer Use 在 Windows 上运行于前台：它会移动指针、输入，并在任务运行期间接管前台，你无法同时用这台机器做别的事。
  3. 需要在你离开后继续跑的 Windows 任务，保持设备解锁并联网，然后用手机端的 Remote 查看进度、发送后续指令；或者把 ChatGPT 桌面应用跑在一台 Windows 虚拟机里，让 Computer Use 接管虚拟机而不是你的主桌面。
  4. 持久化的应用允许清单写在 $CODEX_HOME/config.toml 的 [computer_use.windows] 段里，键名是 always_allowed_app_ids，取值用 Windows Computer Use 报告的应用标识符（可执行文件名，或打包应用的 app user model ID）。
  5. 撤销已保存的决策：在 Settings > Computer Use > Always allow 中移除该应用。

手机步骤

不适用Computer Use 是桌面应用的能力，官方限定在 macOS 和 Windows 上的 ChatGPT 桌面应用中可用。手机端本身不运行 Computer Use；手机的作用是通过 Remote 连接到一台已配置好的电脑上查看进度或发指令。

使用案例

  • 测试 ChatGPT 正在开发的 macOS 应用、Windows 应用或 iOS 模拟器流程。
  • 复现一个只在图形界面里出现的 bug。
  • 修改需要点击一路 UI 才能改到的应用设置。
  • 查看某个没有插件可用的应用或数据源里的信息。

常见错误

  • 在 Windows 上以为可以边跑任务边用电脑。官方明确说明 Windows 上 Computer Use 运行在活动桌面、无法后台运行。
  • 对有专门插件或 MCP server 的应用仍然用 Computer Use。官方建议这种情况优先用结构化集成。
  • 对本地开发中的 Web 应用直接上 Computer Use。官方建议先用内置浏览器。
  • 一次给出跨多个应用的模糊指令。官方要求一次给一个明确的目标应用或流程。
  • 对不完全信任的应用勾选 Always allow。

常见问题

macOS 上要授哪些系统权限？
两个。Screen Recording 让 ChatGPT 看到目标应用，Accessibility 让它点击、输入和导航。如果 ChatGPT 看不到或控制不了某个应用，去 System Settings > Privacy & Security 检查 Codex Computer Use 在这两项下的状态。
什么时候该用 Computer Use，什么时候不该？
官方给的判断是"任务是否依赖一个难以通过文件或命令输出来验证的图形界面"。适合的场景包括测试正在开发的桌面应用、执行需要浏览器的任务、复现只在图形界面出现的 bug、改需要点 UI 的设置、查看没有插件的应用或数据源里的信息、在 macOS 上后台跑一个范围明确的任务，以及跨多个应用的流程。反过来，目标应用有插件或 MCP server 时优先用那个；本地开发的 Web 应用先用内置浏览器。
什么是 Locked use？
这是 macOS 专有的功能（Windows 上 Computer Use 就在前台运行）。启用后，ChatGPT 可以在你的 Mac 锁屏之后仍然使用 Computer Use。它会安装一个参与 macOS 解锁流程的 Apple 授权插件。官方强调它的范围是刻意收窄的——不是通用的远程解锁通道，也不让其他应用或本地进程解锁电脑。
Locked use 有哪些保护措施？
官方列了四条：授权窗口是短时的，且限定于当前这次解锁尝试；自动解锁只对处于活跃 Computer Use 回合中的 ChatGPT 可用；在桌面临时解锁期间 ChatGPT 会覆盖所有显示器；一旦检测到本地键盘或指针输入，会重新锁定 Mac 并暂停自动解锁，直到你手动解锁。
有什么是它做不到的？
官方明确列出：无法自动化终端应用或 ChatGPT 自身（因为那样可能绕过安全策略），也无法以管理员身份认证或批准电脑上的安全与隐私权限提示。此外，文件编辑和 shell 命令仍然遵循任务本身的沙箱与审批设置。

官方来源

这些是本教程对照核验的官方页面。需要厂商的原始措辞时请直接查阅。

来源状态