# 循据｜模型接入与价值验证计划

修订日期：2026-10-17。状态：待执行计划；当前网页未调用模型。目标是在同一客服任务中比较文档搜索、规则辅助与模型辅助，不把规则回归包装成AI效果。

## 分层验收

| 层 | 检查对象 | 指标定义 | 失败处理 |
|---|---|---|---|
| 知识/检索 | 有效政策、范围与来源 | 适用来源命中题数/有明确适用来源题数；无来源题单列 | 未命中不生成确定结论 |
| 条件理解 | 时间、使用、发货、地区及否定/转述 | 条件全对题数/需提取条件题数；错误肯定另记 | 关键矛盾或不确定转核实 |
| 草稿 | 结论、前提、引用支持关系 | 三者均正确的草稿数/生成草稿数；正确拒答另列 | 不合格草稿禁止直接使用 |
| 任务可用性 | 客服补充、核对、编辑完成任务 | 完成且全部关键判断正确任务数/已尝试任务数；中位总耗时 | 观察卡点，先改流程再扩功能 |
| 运行成本 | 每次尝试及失败重试 | 总调用费用/成功完成任务数；同时报告总尝试数和时延分位 | 超预算停止试验，不隐去失败调用 |

不设未经业务确认的“95%就可上线”等门槛。对错误批准、错误执行等严重失败应单独列出并阻断相应路径，不能被总体平均数掩盖。

## 数据与执行

1. 开发集用于调规则/提示词；已知修复题只做回归。独立验收集由未参与该轮修复的人或另一个审查流程先冻结，并保留版本与时间。
2. 每题记录任务、原话、结构化条件、政策版本、适用来源、预期判断与理由；覆盖正常、缺条件、知识过期、无依据、冲突、越界和提示注入。
3. 不能把开发题改几个词就自动称全新独立集。解释数据产生方式；少量合成题仅支持受控测试。
4. 使用同一知识快照比较基线，冻结模型/提示词/参数，保存原始响应、来源、错误和重试。先离线核验，再做获同意的用户任务观察。
5. 人工标注分歧先讨论并记录，不挑选有利样本。无相关权限不使用真实客户个人信息或企业内部资料。

## 价值实验

待验证问题：同屏条件与依据是否减少核对遗漏，且不增加错误信任？

对照：文档搜索＋检查单；实验：辅助核对工作台。尽量平衡任务顺序，避免第二次做同题因记忆变快。记录读题到完成的总耗时、错误肯定、遗漏条件、引用错误与主观卡点。完成定义包括条件、依据和回复正确；保存次数只代表记录动作。试验规模按可获得人员说明，不推算企业收益或显著性。

## 已有结果与计划的界线

browser-rules-v3：修复Agent新增41条开发回归全部通过；旧93组规则/保存检查通过；58条Python一致性与已有题重叠。没有真实模型调用、模型延迟费用、目标用户观察或业务收益结果。具体证据见当前版本核验材料。

### 2026-10-17 独立反例审查与修复后回归

另一审查Agent未读取41条开发题，先固定15条期望再执行，首轮12/15；“正在使用”“只试了一下”“如果用了不能退但我已经用过”三类原话与未使用表单冲突仍漏检。修复分别补肯定使用证据、试用措辞转核实，以及同句假设与明确实际转折的有限检查，仍不推断任意复杂表达。

修复后原15题15/15，属于同题回归，不能作为新的独立泛化成绩。原41条开发回归、历史93组及58条Python一致性仍通过（58与政策题重叠）；额外8条修复者编写的新措辞检查通过，属于开发检查。版本继续为本轮修订的browser-rules-v3。

[首次独立审查12/15](/assets/ai-independent-initial.json)与[修复后同题回归15/15](/assets/ai-independent-regression.json)分别保留，10月16日原结果未覆盖。所有题仍由Agent编写，不代表目标用户验收或真实模型效果。