ZacharyZhang-NY
c59f62ba84
收紧 token 估算到 2 chars/token (C3)
原先 4 chars/token 对中文 BPE 严重低估(汉字实际约 1.5-2 tokens/char),
120k 阈值只有在真实上下文已经爆窗之后才触发。2 chars/token 对拉丁文保守
一些,换来中文 agent 不再漏触发压缩。pi-ai 0.67.68 没暴露真 tokenizer,
换 tiktoken/anthropic-tokenizer 的跟进方案见 docs/proposals/C3-real-tokenizer-followup.md。
2026-04-20 10:59:12 -04:00
..
2026-04-18 21:37:56 -04:00
2026-04-19 17:23:07 -04:00
2026-04-20 10:59:12 -04:00
2026-04-17 15:04:22 -04:00
2026-04-19 16:56:22 -04:00
2026-04-19 00:48:13 -04:00
2026-04-19 15:50:39 -04:00
2026-04-19 00:58:39 -04:00
2026-04-19 19:24:11 -04:00
2026-04-19 18:34:49 -04:00
2026-04-19 01:34:14 -04:00