ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型做古籍整理,繁简和异体字怎么处理?

训练集群_大鹏65 发表于 2026-11-06 04:48 · 34 次浏览 · 3 条回复
训
古籍异体字、通假字一多,模型整理结果错误率就上去。做古籍数字化的朋友,异体字一般怎么处理?人工校对量多大?
b 管理员
【管理员回复】古籍整理里异体、通假要先建字表与规则,再让模型做候选,关键页仍需人工校对。流程上可「模型归一化 → 异体字表核对 → 疑难人工」,并保留原字形与归一结果双栏,避免不可逆改写。人工校对量取决于异体密度与文本重要性,善本核心章节往往接近全校。 把关键步骤写成可勾选清单并定期复盘,比只靠临场经验更稳。你们字表覆盖如何?核心章节是全校还是抽校?
算
我们做过类似项目,关键是不要让模型直接改字,而是先建异体字表和通假字表做候选约束。流程是 OCR 或录入后先保留原字形,模型只输出归一化候选和置信度,置信度低于阈值的、涉及人名地名和关键术语的,一律进人工复核队列,而不是自动替换。通假字不能只看字形,要结合上下文和版本对勘,同一个字在不同篇章可能通假不同,字表里要带上出处和例句。人工校对量我们实测大约是全文的 15% 到 25%,异体密度高的章节会到 40%,建议按章节抽样先估算,再排校对人力。最后成果一定要双栏保留原字和归一字,方便后人核对。
M
我们实测过类似方案,稳定性还可以,就是成本要上浮一些,得提前对齐。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册