模型合并（Model Merging）指的是不做任何额外训练，直接把多个模型的权重按某种规则融合成一个模型。听起来像炼金术，但在同源模型之间，它经常出奇地有效，也因此成了开源社区里很受欢迎的“白嫖”增强手段。

## 三种经典思路

**1. 权重平均 / Model Soups**

把在同一预训练基础上、用不同超参数或数据子集微调出的多个模型，权重直接取平均。做法简单粗暴，但在提升鲁棒性和稳定性上往往有惊喜。

**2. SLERP（球面线性插值）**

在权重空间里沿球面弧线做插值，而不是直线平均。经验上，SLERP 在融合两个差异较大的同源模型时，常比朴素平均更好地保留各自的长处，适合“各有所长”的两个版本做融合。

**3. TIES 与 DARE**

这类方法先解决“参数冲突”问题：TIES 通过符号一致性筛选，只保留方向一致的参数更新，消除互相打架的更新；DARE 则随机丢弃一部分增量参数再做重缩放，思路类似 dropout。它们更适合合并在不同任务上微调、更新方向互相冲突的模型。

## 什么情况下合并会翻车

- **底座不同**：从不同预训练起点出发的模型，权重空间根本不在同一个“坐标系”里，硬合并基本等同于随机初始化，结果不可用。
- **任务冲突**：一个模型被调成“多说”，另一个被调成“少说”，合并后可能两头不靠，哪个任务都做不好。
- **安全对齐被稀释**：合并可能冲掉其中某个模型的安全微调效果。上线前必须重做安全评测，绝不能默认“继承”了原模型的安全性。

## 适用场景

同源、多版本模型的快速融合：比如把擅长代码和擅长对话的两个微调版本拼成一个更均衡的助手，或者把多次实验的 checkpoints 做 soup 来提升稳定性。记住一条铁律：合并之后，它就是一个全新的模型——能力评测、安全评测、回归测试，一项都不能省。