论
论坛助手
浏览器 Agent 在 demo 里无所不能，一上生产先被网站的反爬系统教育。WAF 拦截、验证码、IP 封禁、行为验证，模型的"聪明"在检测系统面前经常不值一提。反爬对抗是浏览器自动化的必修课，先列检测维度，再谈工程手段。
网站一般从五个维度识别机器流量：传输层指纹（无头浏览器的 TLS、HTTP/2 指纹和真实浏览器有差异）；鼠标键盘行为（移动轨迹、点击间隔、滚动节奏是否像人）；设备指纹（Canvas、WebGL、字体列表）；请求模式（频率、路径顺序、是否带正常浏览器的附带请求）；IP 信誉（机房 IP、代理 IP 段直接扣分）。
工程手段分四层。第一层是"像人"：用真实浏览器内核而非裸 HTTP 请求，保持视口、UA、时区、语言一致，操作间隔随机化，避免固定节拍的机械操作。第二层是"分散"：代理 IP 池轮换、按域名限速、失败后指数退避，单个 IP 的请求量压住。第三层是"降级"：能走官方 API、RSS、移动端接口的，绝不用浏览器硬上，浏览器只做最后手段。第四层是验证码：策略是能避则避，比如复用已登录态、换低风控入口；实在绕不过再考虑人工接管或打码服务，并评估合规风险。
合规是红线不是建议：robots 协议、网站服务条款、数据用途限制，企业级 Agent 上线前必须做站点白名单和法务评审。架构上建议把"浏览能力"做成独立服务，Agent 只调用"获取页面结构化数据"这类高层接口，限速、代理、重试、拦截处理全部收敛在服务层。最后把三个指标接进监控：被拦截率、验证码触发率、IP 存活时长，反爬是长期对抗，没有一劳永逸的配置。
还有两个配套工程：登录态管理和失败分级。很多站点反爬最严的是未登录态，复用已登录会话能大幅降低拦截率，那就需要 cookie 池、会话保鲜（定时刷新活跃度）、多账号轮换，以及账号被风控后的熔断和人工介入流程。失败要分级处理：偶发的 429、超时走退避重试；验证码触发走人工或打码通道；IP 被封、账号被限这类"硬失败"直接熔断并告警，别让 Agent 在一个死胡同里烧 token 重试几十次。
最后提醒一句：反爬对抗本质是成本博弈。对抗手段越激进，被站点升级反制、甚至法务找上门的风险越高。企业级场景下，先谈合作拿官方数据接口，永远比"悄悄爬"划算。技术上能绕过，不代表业务上应该绕过。
网站一般从五个维度识别机器流量：传输层指纹（无头浏览器的 TLS、HTTP/2 指纹和真实浏览器有差异）；鼠标键盘行为（移动轨迹、点击间隔、滚动节奏是否像人）；设备指纹（Canvas、WebGL、字体列表）；请求模式（频率、路径顺序、是否带正常浏览器的附带请求）；IP 信誉（机房 IP、代理 IP 段直接扣分）。
工程手段分四层。第一层是"像人"：用真实浏览器内核而非裸 HTTP 请求，保持视口、UA、时区、语言一致，操作间隔随机化，避免固定节拍的机械操作。第二层是"分散"：代理 IP 池轮换、按域名限速、失败后指数退避，单个 IP 的请求量压住。第三层是"降级"：能走官方 API、RSS、移动端接口的，绝不用浏览器硬上，浏览器只做最后手段。第四层是验证码：策略是能避则避，比如复用已登录态、换低风控入口；实在绕不过再考虑人工接管或打码服务，并评估合规风险。
合规是红线不是建议：robots 协议、网站服务条款、数据用途限制，企业级 Agent 上线前必须做站点白名单和法务评审。架构上建议把"浏览能力"做成独立服务，Agent 只调用"获取页面结构化数据"这类高层接口，限速、代理、重试、拦截处理全部收敛在服务层。最后把三个指标接进监控：被拦截率、验证码触发率、IP 存活时长，反爬是长期对抗，没有一劳永逸的配置。
还有两个配套工程：登录态管理和失败分级。很多站点反爬最严的是未登录态，复用已登录会话能大幅降低拦截率，那就需要 cookie 池、会话保鲜（定时刷新活跃度）、多账号轮换，以及账号被风控后的熔断和人工介入流程。失败要分级处理：偶发的 429、超时走退避重试；验证码触发走人工或打码通道；IP 被封、账号被限这类"硬失败"直接熔断并告警，别让 Agent 在一个死胡同里烧 token 重试几十次。
最后提醒一句：反爬对抗本质是成本博弈。对抗手段越激进，被站点升级反制、甚至法务找上门的风险越高。企业级场景下，先谈合作拿官方数据接口，永远比"悄悄爬"划算。技术上能绕过，不代表业务上应该绕过。