科研PPT数字核查:AI判断8题全对,改稿却丢了条件
- 2026-11-05 02:47:11
我给本地AI放了8道科研PPT核查题，故意混入数字算错、概念偷换和没有记录的“亲自实测”。它的8条判断全部符合预设答案。
但继续看替换文案，问题又出现了：一处把我的计算说成“论文明确指出”，另一处删掉了模型和任务条件。
AI能指出一句话有问题，交回来的改稿仍值得再查一遍。
接在论文转PPT之后，检查这一步
上一篇，我用LoRA原论文做了一份10页组会PPT，保存了论文版本、关键事实、来源位置和逐页讲稿。这次沿用同一份材料，单独测试数字核查。
Skill可以理解成给AI使用的任务说明包。Agent Skills规范允许在说明文件之外附带脚本、参考资料和模板。把“核查”写进流程时，还需要说明它要拿什么材料、交回什么结果。Agent Skills格式规范
本次核查接收两份东西：已经对过原文的事实卡，以及等待检查的句子。 输出包括判断、理由、来源编号和替换文案。
实际执行使用普通核查Prompt，将事实卡明确传给本地Qwen3，没有让宿主自动发现Skill，也没有调用原来的8个科研Skills或MCP。这里验证的是一个可以接入现有流程的核查环节。
我放了8道题，也放了正确答案
论文固定为LoRA的arXiv v2。原文PDF第7页Table 3报告了GPT-2 Medium在E2E自然语言生成任务上的结果：
FT*的可训练参数量是354.92M，LoRA是0.35M。 BLEU分别为68.2与70.4±0.1。BLEU是文本生成的一项评价指标，这里的数值越高越好。 星号表示基线数字来自先前工作；表注说明，作者自行运行的实验给出了置信区间。
这些是论文报告，本次没有重新训练LoRA。固定版本原表
基于这份材料，我人工设计了8条待核查文字：5条错误、2条正确、1条证据不足。错误题是专门构造的测试题，不能当成AI此前真实生成过的错误。
两条正确题很必要。核查不仅要找到错误，也要保住正确内容，避免为了“做出修改”而制造新问题。
最后一题也有意与“错误”分开。给定材料没有本机训练记录，足以判定它尚无证据支持，却不足以证明任何人都不可能做过这样的实验。
这次答对，依赖于已经整理好的材料
本地模型是Qwen3:8b，Q4_K_M量化。8条文字放在一次请求中，模型看不到预设标签和答案说明；没有因为结果好坏再抽样。温度0.2，种子20261102，关闭思考输出。
从临时服务启动到停止约75秒，其中包含加载与推理，不能拿它当端到端做PPT的时间。Ollama接口参数
它找对了五条错误，没有把两条正确句判错，也把没有本机记录的表述判为证据不足。
不过，事实卡已经明确解释了可训练参数、10000倍的比较条件，以及未报告区间不能当成零。模型完成的是带着整理好的依据核对文字，并未独立读完整篇论文、发现这些边界。
因此，8条标签吻合只能描述这次小样本。没有无事实卡的对照，也不能据此宣布这段Prompt提高了多少准确率，或科研审核已经可靠到可以放手。
标签对了，来源归因却错了一步
第一道题把“可训练参数量”偷换成“整个模型总参数量”。模型正确判错，也把替换句改回了可训练参数量。
但它在理由里写道：
论文明确指出LoRA不是模型总体积缩小1014倍。
它引用的是事实卡E07。那张卡记录了我用354.92除以0.35得到的约1014，并提醒不要把这个比值写成总体积或训练速度。
E07的类型是“本次推导”，不是论文作者的一句原话。 模型把一条有道理的推导，升级成了论文的明确表述。
问题出在归因。更准确的写法是：
按表中两行可训练参数量计算，比值约为1014。这个计算不能说明整个模型的总参数量或体积缩小了同样倍数。
检查引用时，光看到一个存在的编号还不够。还要看它属于作者报告、我们自己的计算，还是等待验证的猜想。编号对上了，身份仍可能被改掉。
支持原句，替换时却删掉了条件
第七道题原句保留了“GPT-2 Medium的E2E任务”，以及68.2、70.4±0.1和“不据此判断显著性”。模型判为支持。
核查Prompt也明确要求：支持的原句保留。
可它交回的替换文案从这里开始：
FT*的BLEU为68.2，LoRA为70.4±0.1……
模型和任务条件不见了。
如果PPT本页标题已经清楚写着实验范围，省略未必造成误读。但这个核查接口提交的是一条带完整条件的句子，替换文本可能被单独粘到其他页面。它没有依据替我们决定这些条件可以删掉。
本次编辑处理很简单：保留正确的原句，不采用这条替换文案。
这说明核查输出至少要分开看两件事：它有没有正确定位问题，以及它写出的新句子有没有完整保留原来的事实。
给科研Skills加核查，可以先用这段Prompt
先准备原文中与本页有关的段落、表格和图注。每条材料保留版本、页码，以及“作者报告／自行计算／待验证”类型，再附上待核查页面的完整文字。
请依据所附原文材料逐条核查PPT文字。检查数字、单位、模型、任务、基线、指标、区间和归因。每条判断为：支持、错误、证据不足。返回原句、判断、来源位置、具体理由、替换文案。支持：原句保留，不为显示修改而重写。错误：只修必要部分，保留模型、任务和比较条件。证据不足：指出缺少的材料，不补造结果。分别标明论文报告、自己的推导和未执行的实验。推导不能写成“论文明确指出”。替换后再检查：是否遗漏条件、区间、来源或单位？这段是根据本次发现收紧的可复用版本，尚未再次跑模型验证，不能把它算作实验中的第二组结果。
实际接入Agent时，我会让核查先输出修改建议，逐条确认后再写回PPT。把数字计算交给可重复运行的脚本，把模型和任务是否对应留给内容核对；更新页面后，再查看渲染，确认区间、脚注没有被挤掉。
Skill负责保存规则；能执行计算或读文件的工具负责取数；Agent负责把步骤接起来。MCP是工具连接方式之一，接上它仍需要检查返回的是什么材料。本次事实卡直接放进请求，便不需要为了完整工具名单再加一层连接。
先验收最终句子，再决定能否交付
这次我会保留模型的8条判断，用原文和计算复核后，再决定采用哪些修改。
其中，第六题的替换文字虽然判断正确，仍有重复表述，适合作为审阅意见而非直接上屏的文案；第八题应留在待补证清单，不能悄悄变成汇报者的实测结论。
一份PPT交给组会前，可以挑最关键的三条结论，沿着“页面原句—来源—计算—替换句”各走一遍。核查通过的对象应当是最终要给听众看的那句话。
这次只有一篇论文、一组人工题、一次批量请求；理由和改稿由同一Codex作者复核，没有独立领域专家审核，也没有制作新的PPT。原始回答中的问题全部保留在配套记录中。
你用AI检查论文或PPT时，更常遇到数字算错，还是数字没错、比较条件却被删掉？
参考资料：LoRA固定版本、原文PDF第7页Table 3、Agent Skills规范、Ollama Chat接口。
