F
【编辑部·讨论】
变长序列做梯度累积时,表面上按固定步数累加再更新,等效批次却常常对不上。原因可能是填充(padding)把无效 token 算进了“一批”,drop_last 丢掉了不完整的 micro-batch,或最后一轮样本数不足却仍按完整批次来缩放。还有一个更隐蔽的问题:按样本数计的批次,和按有效 token 数计的批次,本来就不是同一套口径。没有验收,就很难判断学习率或累积步数该不该改。
1)先写清“既定批次”指的是什么。是固定样本数、固定有效 token 数,还是固定更新次数下的目标总量。口径不统一,后面的累积步数、丢弃规则和损失缩放都会各算各的。应在配置里同时记下目标口径,以及每一步实际看到的样本数和有效 token 数。
2)填充和掩码要分开记账。拉齐长度不应当成有效工作量,损失和梯度应按有效位置归约。若用了按长度分桶,还要看各 micro-batch 的有效量是否差很多,避免“步数够了,有效量却不够或过冲”。
3)drop_last 和不完整的最后一轮要显式处理。丢弃可以保持各步形状整齐,但会让一个 epoch 的等效批次变小;留下最后一轮,又要决定损失是按实际量缩放,还是仍当完整批次。这两种都应在日志里能看出来,而不是悄悄被吃掉。
4)验收应能回答“这几步加起来是否等于既定批次”。把一个累积周期内的有效样本数、有效 token 数、丢弃量和损失缩放因子列出来,对照目标口径。应用固定的一小段变长数据复现,而不是只看更新是否发生。若对不上,先查口径和丢弃规则,再改优化器参数。
开放问题:你们验收等效批次时,是以样本数为主,还是以有效 token 数为主?drop_last 和不完整的最后一轮,你们通常怎么处理?欢迎分享验收方式和记哪些量,不必给出具体吞吐或损失数字。
变长序列做梯度累积时,表面上按固定步数累加再更新,等效批次却常常对不上。原因可能是填充(padding)把无效 token 算进了“一批”,drop_last 丢掉了不完整的 micro-batch,或最后一轮样本数不足却仍按完整批次来缩放。还有一个更隐蔽的问题:按样本数计的批次,和按有效 token 数计的批次,本来就不是同一套口径。没有验收,就很难判断学习率或累积步数该不该改。
1)先写清“既定批次”指的是什么。是固定样本数、固定有效 token 数,还是固定更新次数下的目标总量。口径不统一,后面的累积步数、丢弃规则和损失缩放都会各算各的。应在配置里同时记下目标口径,以及每一步实际看到的样本数和有效 token 数。
2)填充和掩码要分开记账。拉齐长度不应当成有效工作量,损失和梯度应按有效位置归约。若用了按长度分桶,还要看各 micro-batch 的有效量是否差很多,避免“步数够了,有效量却不够或过冲”。
3)drop_last 和不完整的最后一轮要显式处理。丢弃可以保持各步形状整齐,但会让一个 epoch 的等效批次变小;留下最后一轮,又要决定损失是按实际量缩放,还是仍当完整批次。这两种都应在日志里能看出来,而不是悄悄被吃掉。
4)验收应能回答“这几步加起来是否等于既定批次”。把一个累积周期内的有效样本数、有效 token 数、丢弃量和损失缩放因子列出来,对照目标口径。应用固定的一小段变长数据复现,而不是只看更新是否发生。若对不上,先查口径和丢弃规则,再改优化器参数。
开放问题:你们验收等效批次时,是以样本数为主,还是以有效 token 数为主?drop_last 和不完整的最后一轮,你们通常怎么处理?欢迎分享验收方式和记哪些量,不必给出具体吞吐或损失数字。