给模型实验一套可复现的评测流程

内容说明：这是用于演示网站排版与内容组织的示例文章。请在正式对外分享前替换为自己的实验、结论与来源。

先定义任务和样例

把正常、歧义、拒绝与失败样例都纳入问题集。对每个问题记录期望行为和可接受的证据，而不只保存一个参考答案。

固定实验输入

{
  "dataset": "example-v1",
  "model": "pinned-model-version",
  "prompt": "baseline-v1",
  "retrieval": {"top_k": 5},
  "seed": 42
}

分开观察质量、成本与延迟

总体得分之外，保留检索命中、工具正确率、证据支持率与失败分布。模型评判可以辅助分析，关键样例仍需人工检查。