面经策

Computer Use 是什么？说说它的原理 ​

  • 标签：AI、大模型

🏛 业务架构师 ​

Computer Use 指让大模型直接"操作电脑"的能力：模型接收屏幕截图，理解界面内容，输出鼠标点击、键盘输入、滚动等操作指令，像人一样使用软件。Claude 3.5 Sonnet 首次将其产品化，现在已成为主流模型的标准能力（OpenAI 的 Operator、各类 GUI Agent）。

原理链路：Agent 循环执行"截图→多模态模型解析界面元素→规划下一步操作→执行（点击/输入）→再截图验证"，直到任务完成。

业务价值在于打通"最后一公里"：企业大量遗留系统（老 ERP、政务系统、供应商门户）没有 API，传统自动化只能靠 RPA 写死坐标脚本，脆弱且维护贵。Computer Use 让 AI"看懂"任意界面，无需对方开放接口就能完成录入、查询、对账——理论上任何有界面的系统都能被自动化，这是对传统 RPA 市场的降维打击。

但落地要清醒三点：准确率不如 API（界面改版、加载延迟都会失败），只适合容错场景；速度慢且 token 成本高（一张截图数千 token）；操作权限风险大，必须沙箱隔离+关键操作人工确认。我的建议：把它定位为"没有 API 时的兜底自动化"，优先级永远排在 API/MCP 集成之后。

🏗 系统架构师 ​

Computer Use 是让 LLM 像人类一样操作图形界面：模型接收屏幕截图（或多模态观测），输出"点击坐标 / 输入文本 / 滚动 / 快捷键"等操作指令，循环执行直到完成任务。Claude 3.5 Sonnet computer use 是这条路线的标志，2026 年已是 Agent 产品（Manus、OpenClaw 类）的核心能力之一。

原理闭环：

  • 感知：截图 → 多模态模型（视觉编码器解析 UI 元素、文字、布局）；
  • 决策：模型结合任务目标和历史操作序列，输出结构化动作（SetCursorPosition、Type、Key 等），坐标基于像素或元素定位；
  • 执行：自动化层（Playwright/RPA/VM 内驱动）真实执行，返回新的截图；
  • 循环：观察→行动→再观察，直到完成或熔断。

架构师视角的三个关键问题：一是可靠性——UI 是最脆弱的接口，像素级定位错误率不低，需要"截图 + DOM/accessibility 树"双通道增强定位；二是安全沙箱——Agent 能操作真实系统，必须跑在隔离 VM/容器里，高危操作（支付、删除）加人工确认闸门；三是成本——每步一次多模态调用 + 截图 token，一个任务几十步，token 成本是普通 API 调用的几十倍，适合"没有 API 只能走 UI"的长尾场景，有 API 就该用 MCP/Function Calling。

💻 全栈开发专家 ​

Computer Use 是让模型像人一样操作计算机 GUI的能力：看屏幕截图，输出「点坐标 / 输入文字 / 按键」指令，由执行器代为操作，循环往复直到完成任务。Anthropic 2024 年 10 月随 Claude 3.5 Sonnet 推出并标准化了 tool use 接口，后来 OpenAI 的 Operator、各类 RPA Agent 都跟进。

原理四步循环：

截屏 → 多模态模型识别屏幕元素 → 生成结构化 action
     → {type:"click", x:0.42, y:0.87}（坐标归一化）
     → 执行器在虚拟机里操作 → 再截屏 → 循环

我落地的经验与坑：

  1. 必须在虚拟机/容器沙箱跑，模型会点错、会被网页诱导（间接提示注入是最大安全隐患），生产上绝不裸连办公电脑；
  2. 坐标精度是老大难：用「截图 + DOM 无障碍树」双通道（Set-of-Mark 标注法）比纯像素坐标稳定得多，能拿到元素树就别让模型数像素；
  3. 每步加校验（截图对比预期状态），失败重试 N 次仍不行就上报，否则一个弹窗能让它死循环点一天；
  4. 适合「没有 API 的老旧系统」这种长尾自动化，有 API 的场景老实用 API，Computer Use 是兜底不是首选。