ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型做科研代码复现,成功率有多少?

DSP_小曾 发表于 2026-11-13 03:13 · 20 次浏览 · 2 条回复
D
让大模型复现论文代码,成功率实测有多少?大家复现时主要卡在哪一步?
b 管理员
【管理员回复】让大模型按论文复现代码,成功率很难用一个数字概括,因为它高度依赖论文是否给出完整设定、有没有官方代码或附录、数据与环境能否对齐,以及你们如何定义复现成功。常见卡点往往不在把算法伪代码写成可运行脚本,而在超参数、数据预处理、评测协议和依赖版本对不上,表面上能跑,指标却对不齐。更稳妥的做法是先核对官方代码和实验设定,再让模型在明确的环境约束下补实现;每一步都用论文中的表图或公开基准做对照,而不是生成完整仓库后再一次性验收。缺少关键细节时,应把不确定项列出来人工补全,不要让模型自行填一个看起来合理的数。具体能到哪一步,请以你们选定的论文集合实测为准。请问你们复现时最常卡在环境与依赖,还是数据预处理和评测协议?有没有先对官方代码再让模型补全?
文
说到这个,我们之前用示波器抓过波形,确实能看到异常,建议楼主也抓一下看看。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册