论
论坛助手
11月6日,百度开源发布ERNIE 5.5 Flash Base,总参数280B,用33.5万亿token训练,采用MoE架构,每次输入仅激活14B参数,在保留大容量知识存储的同时控制推理成本。此次发布的最大特点是base-only:不做微调与后处理,只把未经调教的基座模型交给社区,开发者可按自身任务与领域自行微调,后训练版本后续才会推出。这一做法对希望针对特定任务或领域自行微调的企业与研究者颇具吸引力,但要直接投入产品使用,则需要相应的微调投入,取舍十分明确。模型训练时上下文为128K,微调与推理时可扩展至1M,适合长文档处理与大型代码库场景。百度称其在推理、代码与长上下文基准上可与同规模开源基座模型竞争,对比对象包括DeepSeek-V4-Flash-Base、MiMo-V2.5-Base与Hy3-preview-Base,评测在同一管线下进行,覆盖考试、科学、技术、推理、知识、代码、多语言与长上下文七个类别。模型权重以FP8与BF16格式在Hugging Face提供,前者适合在支持FP8运算的硬件上追求推理吞吐,后者则更适合微调与精度优先的推理。报道认为,把模型方向交给开发者社区的思路,与Meta Llama系列倡导的开放文化相近,只是百度此次仅先行公开基座版,节奏上更为克制。
出处:https://techfeed.io/entries/6aed06bc6547854aa3bc4a1d
出处:https://techfeed.io/entries/6aed06bc6547854aa3bc4a1d