让 Agent 直接操作浏览器，是最直观的自动化形态：能用人用的界面，就能做人做的事。目前主流有三条技术路线，各有取舍。

## DOM 驱动：读结构，快而准

解析页面的 DOM 或无障碍树，Agent 拿到的是结构化元素列表（按钮、输入框及其标识），通过点击、填写等原语操作。优点是速度快、token 消耗少、元素定位精确；缺点也很明显：遇到 Canvas 渲染、复杂单页应用、反爬混淆的页面就抓瞎，而且页面结构一改，选择器就可能失效，维护成本随网站改版水涨船高。

## 视觉驱动：看截图，像人一样操作

只给 Agent 看屏幕截图，让它像人一样"看"界面、输出点击坐标。Anthropic 在 2024 年推出的 Computer Use 功能就是这条路线的代表。优点是通用性最强，不依赖页面结构，理论上什么应用都能操作；缺点是每一步都要截图加大模型推理，延迟高、成本高，对小目标的定位精度也有限。

## 混合方案：DOM 为主，视觉兜底

能解析结构就走结构化操作，又快又稳；DOM 失效时（比如 Canvas 区域、图形验证码）切换到视觉模式做一次性处理。这是目前生产环境里最常见的折中方案，兼顾了效率与鲁棒性。

## 反爬与登录态：绕不开的两座大山

反爬方面，行为太规律容易被识别，可以加入随机停顿、人类化的鼠标轨迹，IP 与浏览器指纹也要与正常用户一致。登录态方面，用持久化浏览器 profile 保存 cookies，避免每次重新登录；遇到扫码或短信验证，设计"人工接管"断点，Agent 暂停等待用户完成验证后再继续。

## 失败回退与人工接管设计

再高的成功率也有失败的时候，关键是失败时别把事情搞砸。建议给每个关键步骤配回退策略：点击失败先原地重试一次，再试一次带滚动定位的重试，仍失败则截图留证并标记人工接管点。涉及下单、支付、发送等不可逆操作，默认走先预览、人工确认后再执行的模式。所有操作全程留痕，方便事后审计和复盘。
## 可靠性评估方法

建议分三级度量：步骤成功率（单次点击、填写是否一次成功）、任务成功率（端到端走完全流程）、人工接管率（多少任务需要人介入）。上线前用几十到上百个真实任务跑回归，把失败 case 归类为定位失败、反爬拦截、流程变更等，针对性加固。

你更看好哪条路线长期胜出？欢迎聊聊实战经验。