ely-eye/bench/ANNOTATION_SCHEMA.md

标注集 Schema（b-2）

评测的真相来源。所有 bench/sets/*.jsonl 必须满足本文件；bench/validate_sets.py 拒绝任何违规。

1. 一条标注的字段

{
  "query_id": "mmlongbench:PH_2016.06.08_Economy-Final.pdf:0",
  "modality": "pdf | image | ui_screenshot | video | code | conversation",
  "question": "原文问题，逐字保留",
  "answer": "标准答案原文；不可回答时为 null",
  "answer_format": "str | int | float | list | none",
  "gold": [{ "source_id": "mmlongbench:PH_2016.06.08_Economy-Final.pdf", "region": { "page": 5 } }],
  "scope": { "holder": "owner", "session": null, "scenario": "document-qa" },
  "as_of": "2024-01-01T00:00:00+00:00",
  "unanswerable": false,
  "origin": { "dataset": "yubo2333/MMLongBench-Doc", "revision": "2ff6aa...", "item": "row:0", "license": "see dataset card" },
  "split": "dev | test"
}

2. 硬约束

1. gold 必须来自第三方人工标注，不得由被测系统或本仓库生成。每个来源在 bench/corpus_sources.py 里登记 annotation_source。
2. gold 表达为「源 + 区域」，不是 atom id。atom id 依赖切分策略，而切分策略正是 P0 要改的东西；runner 在运行时把区域解析成当时重叠的 atom id 集合。这样换切分不用重标。
3. unanswerable=true 的条目 gold 必须为空数组，且计入误召回率。目标占比 ≥15%。
4. as_of 是查询发生的时间点；记忆条目的 observed_at 晚于 as_of 时不得作为 gold 命中（时间正确性指标）。
5. scope.holder 决定可见性；跨 holder 泄漏即判错（transactive 指标）。
6. split 冻结：test 只在最终验收用，调参期间不得读取。
7. origin.revision 必须能在 bench/corpus/manifest.jsonl 中找到对应文件，否则该条目标本失效。

3. 区域表达

modality	region
pdf	{"page": int} 或 {"page": int, "block": int}
image	{}（整图）
ui_screenshot	{"bbox": [x0,y0,x1,y1]}
video	{"t_start": float, "t_end": float}
code	{"path": str, "symbol": str} 或 {"path": str, "line": int}
conversation	{"turn": int}

4. 指标映射

指标	定义	门槛
recall@10	gold atom 集合进入前 10 的比例（按 gold 覆盖）	≥0.90
MRR	首个 gold 命中排名倒数均值	报告
nDCG@10	二值相关	报告
误召回率	unanswerable 条目里返回了 gold 之外强证据的比例	≤0.10
时间正确性	含 as_of 的条目里，命中项未泄漏未来证据的比例	≥0.95
holder 正确性	跨 holder 查询未泄漏他人记忆的比例	≥0.95
编译延迟	从提问到 cartridge 就绪的墙钟 p50/p95	报告

分母一律是「该模态的标注条目数」，不得用命中数。

5. 反自欺条款

• 禁止用被测系统自己抽取的文本当 gold（例如「OCR 出来的就是答案」）。
• 禁止把 gold 文件整文件当 gold atom：gold 必须落到区域，否则整文件切分也能满分。
• 任何指标变化必须同时报告 n 与分母。
• 报告必须引用 bench/corpus/manifest.jsonl 的 sha256 与 bench/sets/*.jsonl 的 sha256。