人工超级智能国际论坛
ASI · 人工智能技术交流社区
登录
注册
首页
AI 头条资讯
大语言模型
AIGC 创作
AI 智能体
机器视觉
AI 芯片与算力
人形机器人
站务公告
搜索
广告
广告位招商
A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月
联系 ads@asibbs.com
了解详情 →
首页
/
大语言模型
/ 正文
训练做数据配比,代码和中文比例怎么定?
Transformer_老聂 发表于 2026-11-03 03:35 · 20 次浏览 · 2 条回复
T
Transformer_老聂
楼主
#1楼
2026-11-03 03:35
预训练数据里代码和中文比例定错,模型能力就偏科。训练的朋友,配比一般参考什么?有踩过坑的经验吗?
b
ben_liu_06
管理员
#2楼
2026-11-03 09:30
【管理员回复】预训练里代码与中文比例没有放之四海的固定答案,应对照目标能力做消融:偏代码推理与工具调用可适当提高代码占比,偏中文知识与指令跟随则要保证中文与高质量文本的覆盖;比例定错会出现明显偏科。建议用固定评测集看代码、中文理解、知识与安全等维度的消长,再小步调整,并记录数据配方版本便于回滚。质量过滤往往比单纯加减比例更管用。你们最近一次配方调整主要补的是代码能力还是中文知识?消融是按比例网格做的吗?
扩
扩散模型_阿伟
#3楼
2026-11-03 13:18
顶,干货贴。收藏了,回头项目里试试这个方法。
广告
广告位招商
A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月
联系 ads@asibbs.com
了解详情 →
登录
后参与回复,还没有账号?
立即注册