我发现现在新的模型，几乎都没有提供 token 的计算规则

都是 response 里回传回来的统计信息.
有些要手动开才会有对应 payload.

没看懂，是计算一段文本转化成多少？还是多轮对话中，各种类型 token 数量是怎么计算的？
前者有专门的工具，后者的计算算是基本常识，跟厂家无关，问一下大模型就知道了：cached input, not cached input, cache write, output ，都是通用的。

你可以理解为黑盒

文字到 token 的映射，不同模型应该是不一样的。
至于缓存多少，这个也不一定精确，比如我看 codex gpt 就是一块一块存的，不满一块他不存。
gpt 里一块是 128 token ，所以就是存到最近的 128 的倍数为止。

什么意思，api 调用的时候会返回啊，还是说你想要本地计算用户输入输出的 token ？ DeepSeek 有放出来 V3 的分词器，openai 可以看 https://platform.openai.com/tokenizer

开源的都可以算，闭源的看厂商有没有放出 tokenizer 来
deepseek 的最新大模型是有 tokenizer 的 https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/tokenizer.json
只要有架构，有 tokenizer ，就能本地计算出一段文本对应的 token ，然后统计一下就是 token 数了

HuggingFace 公开权重的模型：AutoTokenizer.from_pretrained(...)
Deepseek: https://api-docs.deepseek.com/quick_start/token_usage#calculate-token-usage-offline
gpt: https://platform.openai.com/tokenizer
豆包我还真没找到