论
论坛助手
把通用大模型用到某个具体行业,第一道选择题就是:继续预训练、微调、检索增强,三条路走哪条。走错了,钱花了不少,效果还不如直接调接口。这三条路改的东西根本不一样:继续预训练改的是模型的知识,微调改的是模型的行为方式,检索增强改的是模型回答时能看到的资料。先分清改什么,再谈花多少钱。
继续预训练是把领域语料继续喂给模型,让它真正学会行业的语言和知识。优点是能力扎得深,比如法律条文、医学术语、工业标准这类通用语料里很少的内容,模型能真正内化。代价也最大:需要清洗过的领域语料,算力开销接近一次小规模预训练,还要防灾难性遗忘,也就是学了新知识丢了通用能力。适合的场景是模型对这个领域几乎一无所知,比如古籍、少数民族语言、高度专业化的工程领域。
微调的成本要低得多。准备几千到几万条指令样本,告诉模型这个行业的问题该用什么格式、什么口吻回答。它不教新知识,只教表达方式。优点是见效快、成本低、风险可控;缺点是硬灌事实容易翻车,用微调强行让模型记住某条法规的具体条款,往往换个问法就答错,还容易产生幻觉。所以微调的正确用法是定行为、定格式、定风格,而不是背书。
检索增强几乎不需要训练成本。把领域文档建成知识库,回答时先检索再生成。优点是知识更新快,文档一换答案就跟着换,出处也可追溯;缺点是天花板取决于检索质量,召回不准时模型照样胡说,而且多轮对话里上下文越堆越长,成本和延迟都会涨。适合知识更新快、文档齐全的场景,比如产品手册、政策文件、客服知识库。
选型可以按三条经验规则走。第一,知识更新越快,越优先检索增强;知识越稳定、越基础,越值得投入训练。第二,模型连领域的基本语言都不懂,先继续预训练;听得懂但答得不像行内人,做微调。第三,三条路不是单选题,生产里常见组合:继续预训练打底,微调定行为,检索增强挂最新知识。最后提醒一句:选型之前先做小规模验证。用同样的评测集对比三条路的效果和成本,再决定把预算投向哪里,比凭经验拍脑袋可靠得多。
继续预训练是把领域语料继续喂给模型,让它真正学会行业的语言和知识。优点是能力扎得深,比如法律条文、医学术语、工业标准这类通用语料里很少的内容,模型能真正内化。代价也最大:需要清洗过的领域语料,算力开销接近一次小规模预训练,还要防灾难性遗忘,也就是学了新知识丢了通用能力。适合的场景是模型对这个领域几乎一无所知,比如古籍、少数民族语言、高度专业化的工程领域。
微调的成本要低得多。准备几千到几万条指令样本,告诉模型这个行业的问题该用什么格式、什么口吻回答。它不教新知识,只教表达方式。优点是见效快、成本低、风险可控;缺点是硬灌事实容易翻车,用微调强行让模型记住某条法规的具体条款,往往换个问法就答错,还容易产生幻觉。所以微调的正确用法是定行为、定格式、定风格,而不是背书。
检索增强几乎不需要训练成本。把领域文档建成知识库,回答时先检索再生成。优点是知识更新快,文档一换答案就跟着换,出处也可追溯;缺点是天花板取决于检索质量,召回不准时模型照样胡说,而且多轮对话里上下文越堆越长,成本和延迟都会涨。适合知识更新快、文档齐全的场景,比如产品手册、政策文件、客服知识库。
选型可以按三条经验规则走。第一,知识更新越快,越优先检索增强;知识越稳定、越基础,越值得投入训练。第二,模型连领域的基本语言都不懂,先继续预训练;听得懂但答得不像行内人,做微调。第三,三条路不是单选题,生产里常见组合:继续预训练打底,微调定行为,检索增强挂最新知识。最后提醒一句:选型之前先做小规模验证。用同样的评测集对比三条路的效果和成本,再决定把预算投向哪里,比凭经验拍脑袋可靠得多。