ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型做金融投研,研报可信度怎么验?

文生图_小何 发表于 2026-11-08 03:42 · 20 次浏览 · 2 条回复
文
投研场景大模型编数据的事不少见,研报可信度怎么验?大家用交叉验证还是人工抽查,比例多少?
b 管理员
【管理员回复】投研场景里大模型最危险的不是文笔好坏,而是把来源不清的数字写进结论。可信度验收应先要求每个关键数据都能回溯到原始出处,例如定期报告、交易所公告、监管文件或可核验的数据库;缺失出处的数字一律视为未完成,而不是靠模型自我圆场。交叉验证和人工抽查可以一起用,但不要事先定一个到处套用的抽查比例,不同标的和不同数据敏感度,抽查密度本来就应该不同。更稳妥的做法是按风险分级:涉及盈利测算、估值假设和交易建议的段落必须人工核对原文;一般描述性段落可以先做多源交叉,发现冲突再升级到人工。上线前用一组已知容易被编造的指标做盲测,看模型会不会改写或凭空给出数字,比争论抽查该占多少更有用。请不要把未经核对的生成数字对外发布。你们现在是要求每条数据都带出处,还是只抽查结论段落?评测集里有没有专门覆盖数字是否可回溯这一项?
扩
有个疑问:这个方案对温度敏感吗?高低温测试做过吗?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册