[Forge Next][E11] 运行能力组消融评测

[ZeroZ-lab]

Parent

#2

What to build

使用结果导向 benchmark 比较无能力、单能力、能力组和完整组合，判断每个 skill 对不同模型和任务族的真实收益、成本与干扰。

Acceptance criteria

• 消融组和对照组使用相同 fixture、预算和 verifier。
• 分别报告 outcome、安全门禁、上下文成本、验证成本和失败模式。
• 直接行动和未激活能力被视为正常结果。
• 结果按模型与任务族分层，不用单个总分掩盖异质性。
• 样本不足、结果冲突和无显著收益会被明确报告。
• 评测结论不预设最终 skill 数量。

Verification

执行预注册的消融矩阵和必要重复样本，生成可追溯到运行报告的决策输入。

Blocked by

• [Forge Next][B08] 实现 outcome evaluator 与硬门禁 #18 (B08)
• [Forge Next][B09] 实现配对统计与模型非抑制检测 #19 (B09)
• [Forge Next][C05] 增加能力激活、上下文与成本指标 #23 (C05)
• [Forge Next][E01] 将 plan 改为可选结果任务图能力 #38 (E01)
• [Forge Next][E02] 让 codegen 接受任意 ObjectiveRef #37 (E02)
• [Forge Next][E03] 让 codegen 返回 Mutation 与 Evidence events #43 (E03)
• [Forge Next][E04] 将 review 改为独立 verifier 能力 #39 (E04)
• [Forge Next][E05] 扩展 define 的目标合约职责 #40 (E05)
• [Forge Next][E06] 迁移 detail 消费者并取消默认依赖 #44 (E06)
• [Forge Next][E07] 抽取条件化前端实现规则 #45 (E07)
• [Forge Next][E08] 将 fe-accept 改为浏览器与视觉 verifier #46 (E08)
• [Forge Next][E09] 降级 design、test、guide 为显式兼容编排器 #41 (E09)
• [Forge Next][E10] 明确 think 与 learn 的显式语义 #42 (E10)

Guardrails

• Skill 是可选能力，不是阶段或强制路由节点。
• 不以调用命中率代替 outcome 证据，不预设最终 skill 数量。
• 不修改发布版本号。
• 完成变更后同步权威事实，并由顶层任务写一个 Change Unit；记录未验证项与回滚方式。