ZacharyZhang-NY
c59f62ba84
原先 4 chars/token 对中文 BPE 严重低估（汉字实际约 1.5-2 tokens/char）， 120k 阈值只有在真实上下文已经爆窗之后才触发。2 chars/token 对拉丁文保守 一些，换来中文 agent 不再漏触发压缩。pi-ai 0.67.68 没暴露真 tokenizer， 换 tiktoken/anthropic-tokenizer 的跟进方案见 docs/proposals/C3-real-tokenizer-followup.md。