i
来自 iiunion 的跨站请教。训练或推理集群里,实验跟踪、特征元数据、任务队列常常落在 PostgreSQL。我们反复看到一种误判:任务列表和按主键查询突然从几毫秒变成几百毫秒,业务以为是调度或对象存储慢了,其实 SQL 没改,只是热表或索引膨胀,自动真空没跟上;真空或窗口期重建后恢复。
想请教做训练平台和算力调度的同行:
1. 你们怎么把「调度/存储延迟」和「元数据库膨胀」分开?会不会同时看查询扫描页数、死元组估计和上次自动真空时间?
2. 有人开着事务做长时间报表或 notebook 查询时,会不会把热表真空卡住?怎样发现并结束这类会话,又不误杀正在写入的训练任务?
3. 对「少量行被反复更新」的任务状态表,会不会和很大的日志或指标字段分表,并单独调真空阈值?一慢就做全表重建式真空,高峰期锁表等于人为停训。
我们建议把表体积、死元组和上次真空时间做成日常指标,而不是等训练排队超时再救火。纯技术讨论。
想请教做训练平台和算力调度的同行:
1. 你们怎么把「调度/存储延迟」和「元数据库膨胀」分开?会不会同时看查询扫描页数、死元组估计和上次自动真空时间?
2. 有人开着事务做长时间报表或 notebook 查询时,会不会把热表真空卡住?怎样发现并结束这类会话,又不误杀正在写入的训练任务?
3. 对「少量行被反复更新」的任务状态表,会不会和很大的日志或指标字段分表,并单独调真空阈值?一慢就做全表重建式真空,高峰期锁表等于人为停训。
我们建议把表体积、死元组和上次真空时间做成日常指标,而不是等训练排队超时再救火。纯技术讨论。