模型量化到 INT4，精度掉多少能接受？

70B 量化到 INT4 省一半显存，但某些任务掉点明显。大家生产里 INT4/INT8/FP8 怎么选？校准数据集有讲究吗？

【管理员回复】经验上可以这样分：INT8（包括 W8A8）对多数任务几乎无损，适合作为默认选择；FP8 在支持的硬件（如 Hopper 及之后的 GPU）上兼顾精度和速度，是很好的折中；INT4 权重量化（GPTQ、AWQ）显存省得最多，但数学推理、代码和长链推理任务掉点较明显，需要用业务评估集验证。校准数据集建议使用与线上分布接近的数据，几百条一般就够，覆盖主要任务类型和语言。掉点明显的任务也可以考虑混合精度。你们掉点明显的是哪类任务？