Computer Use 是 Anthropic 在 2024 年推出的能力,思路很直接:不给模型调 API,而是让它像人一样看屏幕截图、移动鼠标、敲键盘来操作电脑。每一轮模型拿到当前屏幕截图,决定下一步要点哪里、输入什么,执行完再截图确认效果,形成视觉加动作的闭环。

实测下来,靠不靠谱完全看任务类型。适合的场景有三类:一是跨多个没有 API 的老旧系统搬运数据;二是批量填表单、做软件冒烟测试这类重复性人肉操作;三是临时性的、为写一套自动化脚本不值得的任务。不适合的场景:对精度要求极高的财务操作、需要长时间无人值守的任务(中途弹窗、验证码都会打断流程)、对延迟敏感的任务(截图加推理一轮就要几秒)。

想让它稳定干活,有几条实操经验。第一,屏幕分辨率固定下来别乱变,坐标换算会漂移,换了分辨率等于换了世界。第二,指令拆成小步,每步只做一件事,成功确认后再走下一步,别指望它一次搞定十步流程。第三,关键步骤截图存档,方便事后回溯和排错。第四,涉及登录、支付、删数据的环节一律人工接管,这是底线。

最常见的失败是"看错按钮":图标长得像、窗口被遮挡、界面语言变了,模型都会点错。一个土但有效的办法是,重要操作前让它先用文字描述"我要点的按钮长什么样、在屏幕什么位置",描述对了再执行,相当于多了一道自检。

结论:Computer Use 不是用来取代 RPA 的,它补的是"没有 API 的系统"这块短板。把它当实习生用——能干活,学习能力强,但得有人盯着,出错了要能兜底。短期内最适合的形态是"人机协同":Agent 做大部分的脏活累活,人负责关键节点的确认。