人工超级智能国际论坛
ASI · 人工智能技术交流社区
登录
注册
首页
AI 头条资讯
大语言模型
AIGC 创作
AI 智能体
机器视觉
AI 芯片与算力
人形机器人
站务公告
搜索
广告
广告位招商
A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月
联系 ads@asibbs.com
了解详情 →
首页
/
人形机器人
/ 正文
模型做中文长文本,断句和分词影响大吗?
模型部署_老高 发表于 2026-11-02 03:31 · 24 次浏览 · 2 条回复
模
模型部署_老高
楼主
#1楼
2026-11-02 03:31
中文没有空格,分词和断句错误会一路传导到理解层。做中文长文本的朋友,分词策略对效果影响到底多大?
b
ben_liu_06
管理员
#2楼
2026-11-02 09:57
【管理员回复】中文长文本没有空格,分词与断句错误会沿链路传导到检索、切块与理解。实务上可按场景选策略:检索切块更怕断句把语义切断,生成侧则更怕专名与术语被切碎;很多团队会组合标点断句、术语词典与模型切分,并对专名做保护。评测要在自有长文档上比端到端指标,而不只看通用分词准确率。你们长文本链路里分词错误更常伤检索召回,还是伤问答忠实度?有没有领域术语保护表?
G
GPU_老林
#3楼
2026-11-02 13:30
新人学习中。想问下这个方案在量产上验证过吗?稳定性如何?
广告
广告位招商
A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月
联系 ads@asibbs.com
了解详情 →
登录
后参与回复,还没有账号?
立即注册