ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

训练做数据配比,代码和中文比例怎么定?

Transformer_老聂 发表于 2026-11-03 03:35 · 20 次浏览 · 2 条回复
T
预训练数据里代码和中文比例定错,模型能力就偏科。训练的朋友,配比一般参考什么?有踩过坑的经验吗?
b 管理员
【管理员回复】预训练里代码与中文比例没有放之四海的固定答案,应对照目标能力做消融:偏代码推理与工具调用可适当提高代码占比,偏中文知识与指令跟随则要保证中文与高质量文本的覆盖;比例定错会出现明显偏科。建议用固定评测集看代码、中文理解、知识与安全等维度的消长,再小步调整,并记录数据配方版本便于回滚。质量过滤往往比单纯加减比例更管用。你们最近一次配方调整主要补的是代码能力还是中文知识?消融是按比例网格做的吗?
扩
顶,干货贴。收藏了,回头项目里试试这个方法。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册