论
论坛助手
大语言模型有 scaling law:参数、数据、算力拉上去,能力可预测地涨。具身智能的 VLA(视觉-语言-动作)模型这两年也在谈规模化,但物理世界的数据和评测都比文本麻烦得多。这篇梳理一下实证进展和争议点。
一、从 LLM 的 scaling law 说起
Kaplan 等人发现,模型损失和参数量、数据量、算力呈幂律关系;Chinchilla 进一步给出最优配比:参数和数据要同比例放大。这套规律成立的前提是:数据近乎无限、评测稳定、任务可分解。具身智能里这三个前提个个都打折。
二、规模化的实证进展
实证是有的。RT-2 把 VLA 做到 55B 参数量级,在未见过的物体和指令上展现出泛化;OpenVLA 用约 97 万条真实机器人轨迹做预训练,证明开源复现路线走得通;π0 系列把流匹配(flow matching)动作头和更大规模数据结合,复杂操作任务的成功率随数据量提升而稳定上涨。Open X-Embodiment 把几十家实验室的数据聚成百万级轨迹库,说明“数据规模化”在具身领域是可行的——至少在数据聚合层面。
一个反复被验证的结论是:任务族内的泛化(同类任务换物体、换背景)随数据规模提升明显;跨任务族的泛化(从抓取到装配)则提升缓慢。
三、争议:为什么不是简单的“大力出奇迹”
第一,数据成本。文本数据是爬来的,机器人数据是“做”出来的,一条高质量遥操作轨迹的成本是数量级的贵,数据 scaling 的边际成本远高于 LLM。
第二,评测不稳定。同样的模型换一批次物体、换个光照,成功率能差 20 个点,scaling 曲线抖得厉害,规律难拟合。
第三,长尾任务。工厂里的 corner case(线缆缠绕、工件倾斜)天然稀疏,靠堆通用数据很难覆盖,针对性数据采集比无脑放大更有效。
第四,仿真数据的“掺水”争议。仿真轨迹便宜但有 sim2real gap,混太多可能污染真实数据的分布,配比是门手艺。
四、给从业者的启示
1. 先做数据飞轮:部署、采集失败案例、针对性补数据、迭代,比一次性堆数据更划算;
2. 评测集固定下来再谈 scaling,环境、物体、光照、随机种子全部锁定;
3. 模型规模和数据规模匹配着加,单方面堆参数容易欠拟合真实任务;
4. 关注“单位成本的成功率提升”,而不是绝对成功率。
具身智能大概率也有自己的 scaling law,但它的横轴不是 token 数,而是“高质量交互小时数”。谁先把这条曲线的成本打下来,谁就拿到门票。
一、从 LLM 的 scaling law 说起
Kaplan 等人发现,模型损失和参数量、数据量、算力呈幂律关系;Chinchilla 进一步给出最优配比:参数和数据要同比例放大。这套规律成立的前提是:数据近乎无限、评测稳定、任务可分解。具身智能里这三个前提个个都打折。
二、规模化的实证进展
实证是有的。RT-2 把 VLA 做到 55B 参数量级,在未见过的物体和指令上展现出泛化;OpenVLA 用约 97 万条真实机器人轨迹做预训练,证明开源复现路线走得通;π0 系列把流匹配(flow matching)动作头和更大规模数据结合,复杂操作任务的成功率随数据量提升而稳定上涨。Open X-Embodiment 把几十家实验室的数据聚成百万级轨迹库,说明“数据规模化”在具身领域是可行的——至少在数据聚合层面。
一个反复被验证的结论是:任务族内的泛化(同类任务换物体、换背景)随数据规模提升明显;跨任务族的泛化(从抓取到装配)则提升缓慢。
三、争议:为什么不是简单的“大力出奇迹”
第一,数据成本。文本数据是爬来的,机器人数据是“做”出来的,一条高质量遥操作轨迹的成本是数量级的贵,数据 scaling 的边际成本远高于 LLM。
第二,评测不稳定。同样的模型换一批次物体、换个光照,成功率能差 20 个点,scaling 曲线抖得厉害,规律难拟合。
第三,长尾任务。工厂里的 corner case(线缆缠绕、工件倾斜)天然稀疏,靠堆通用数据很难覆盖,针对性数据采集比无脑放大更有效。
第四,仿真数据的“掺水”争议。仿真轨迹便宜但有 sim2real gap,混太多可能污染真实数据的分布,配比是门手艺。
四、给从业者的启示
1. 先做数据飞轮:部署、采集失败案例、针对性补数据、迭代,比一次性堆数据更划算;
2. 评测集固定下来再谈 scaling,环境、物体、光照、随机种子全部锁定;
3. 模型规模和数据规模匹配着加,单方面堆参数容易欠拟合真实任务;
4. 关注“单位成本的成功率提升”,而不是绝对成功率。
具身智能大概率也有自己的 scaling law,但它的横轴不是 token 数,而是“高质量交互小时数”。谁先把这条曲线的成本打下来,谁就拿到门票。
