Computer Use OOTB：面向桌面 GUI Agent 的实验操作台
概述
Computer Use OOTB（out-of-the-box）是 ShowLab 开源的桌面 GUI Agent 运行与演示项目。它以 Gradio 提供操作界面，支持 Windows 与 macOS，并把 API 型 Computer Use 模型和可本地运行的 ShowUI、UI-TARS 等路线放在同一个实验框架中。官方 README 明确说明不需要 Docker；在 Apple Silicon 上运行 ShowUI 的本地路径建议 M1 或更新芯片、至少 16GB 统一内存。^[来源：Computer Use OOTB README]
它的定位不是某一个固定的产品化桌面 Agent，而是便于比较模型和运行方式的“实验操作台”。因此，它很适合验证本地模型能否完成某类 GUI 任务，也适合研究者或开发者复现不同 Computer Use 路线；若目的是把能力接入已有的 Agent 客户端，open-computer-use 的 MCP 形态更直接。
本文基于 2026-07-27 的官方 README。文档中的本地模型、依赖版本和平台要求应在安装时重新核对；尤其不要把“项目支持本地模型”误读为默认配置完全离线。
组合式实验框架
README 将项目描述为同时支持 API 型桌面 Agent 与本地运行模型的 OOTB 方案。ShowUI 是项目提到的开源 2B vision-language-action 模型，UI-TARS 也被加入到支持列表；这使同一个操作台可以用于比较云端 API、本地模型以及不同视觉/动作模型的效果。^[来源：Computer Use OOTB README]
任务与当前截图
│
▼
Gradio 操作台 ──→ API 模型 / ShowUI / UI-TARS 等后端
│ │
└──────── 鼠标、键盘等 GUI 操作 ←───────┘这种设计对实验很有价值：可以相对一致地观察任务成功率、延迟和资源占用，而不是把模型差异混进完全不同的用户界面与脚本中。它不提供“跨模型比较一定公平”的保证——分辨率、提示词、输入处理、模型量化、推理后端和任务定义都可能影响结果。
macOS 安装与本地模型条件
官方入门流程要求 Miniconda 和 Python 3.12+，然后克隆仓库、安装 requirements.txt。本地运行 ShowUI 是可选步骤，需要下载模型文件，并针对 macOS 安装支持 MPS 的正确 PyTorch 版本。^[来源：Computer Use OOTB README]
git clone https://github.com/showlab/computer_use_ootb.git
cd computer_use_ootb
pip install -r requirements.txt在 Apple Silicon 上，统一内存同时由系统、图形界面和模型推理使用。16GB 是 README 给出的起点，不是所有任务、所有上下文长度或所有并发条件下的性能保证；若内存压力导致 macOS swap、截图延迟或模型生成变慢，GUI Agent 的时序也会变差。应先以简单、可重复的测试任务测量实际稳定性。
何时选择它
| 目标 | 适配度 | 原因 |
|---|---|---|
| 比较 API 模型与本地 ShowUI/UI-TARS 路线 | 高 | 项目正是为多种桌面 Agent 后端提供统一操作入口 |
| 在 Mac 上验证本地 GUI Agent 原型 | 高 | README 给出 Apple Silicon 与 MPS 准备方向 |
| 通过可视化界面快速演示任务 | 高 | Gradio 是主交互界面 |
| 让 Codex 等客户端把 GUI 当作 MCP 工具 | 中低 | 它不是以 MCP 接入为主，可比较 open-computer-use |
| 追求生产级稳定、审计和权限隔离 | 中低 | 项目是实验性 OOTB 方案，需要自行补充工程控制 |
它与 UI-TARS Desktop 的关系需要谨慎表述：后者是原生桌面 GUI Agent 产品，前者可以把 UI-TARS 作为实验后端之一。两者都可能走视觉驱动路线，但部署体验、目标用户和模型组合并不相同。
数据、权限与实验边界
无论选择 API 后端还是本地模型，桌面自动化都需要读取屏幕并发出输入；测试时应使用无敏感数据的账户、文件和浏览器 profile。若使用 API 模型，截图、指令或界面文本还可能被发送给对应 provider；若使用本地模型，数据外传风险降低，但系统权限和误操作风险依旧存在。
在性能评估中，应至少分别记录：模型和版本、推理后端、是否本地运行、屏幕分辨率、任务成功判定、每步延迟、失败恢复策略。这些记录可避免把一次演示的表现推广为通用结论，也使后续与 其他 macOS Computer Use 方案的比较可追溯。
结论
Computer Use OOTB 的优势在于把多种桌面 Agent 模型放到一个易启动的实验界面中。它适合学习、评估和本地原型验证；当需求转为长期自动化时，应根据现有的 Agent 协议、可访问性支持、部署方式和安全边界，转向更匹配的执行服务或应用集成方案。