AI INSTANT LAB · 每日学习L01
token 与分词
产品视角单价便宜不等于单任务便宜
一、产品视角 · 单价便宜不等于单任务便宜
新闻钩子:Google 发布 Gemini 4 Neon,API 定价是输入 $3 / 百万 token、缓存命中输入 $0.15 / 百万 token(官方原话写的是打 95 折扣,即便宜 95%)、输出 $15 / 百万 token,上下文 100 万 token。官方博客把卖点放在「单任务成本更低」上:默认 high 思考档位下,单任务成本比自家 Carbon 低 32%;在 ExploitGym 上用 Carbon 一半的 token 就达到同等水平。
(Google 官方博客:Introducing Gemini 4 Neon,2026-11-18 发布;technology.org 11-20 跟进报道)
说明:发布日是 11-18,比「过去 48 小时」多出半天。窗口内另一条 OpenAI GPT-Live-1.1 上 API,只查到二手汇总(aiweekly),没找到一手来源,所以没用它。今天讲 token,这条又正好是一张 token 账单,就选了它。
三问
- 改变哪一段:两段。一是读输入:缓存命中价只有原价的 1/20,同样的固定前缀(系统提示、知识库片段、工具说明)第二次再发几乎不要钱。二是写答案:四档思考可调,思考 token 多少直接决定输出账单。
- 影响哪个指标:成本,而且是「单任务成本」,不是「单 token 价格」。它的单价比 Carbon 的限时价高(二手报道说 Carbon 11-30 前是 $2 / $10,aiweekly,待核实),官方却说单任务更便宜。原因是完成同一件事花的 token 更少。
- 哪类功能更可做 / 不受影响:前缀很长又固定的场景更划算,比如带大段知识库的客服、带长 schema 的表单 agent、反复读同一份文档的分析工具。几乎没有固定前缀、每次输入都不一样的一次性短任务吃不到缓存红利,主要看输出价。
概念卡:一次对话的 token 账单
账单由四块组成:
单次请求成本 = 未命中输入 token × 输入单价
+ 命中缓存的输入 token × 缓存单价
+ 输出 token(含思考 token)× 输出单价
单用户月成本 = 单次请求成本 × 日均请求数 × 30
逐项说明:
- 输入 token 不只是用户这句话,还包括系统提示、历史对话、工具定义和检索来的资料。模型每一轮都要把这些全部重新读一遍。
- 缓存命中 指这一段和之前某次请求的开头完全一致(前缀一致),服务端可以复用之前算好的中间结果(第 7 课 KV cache 会讲是什么),所以收费便宜。
- 思考 token 是推理模型在给出可见答案前写的「草稿」,用户看不到,但按输出价计费。二手来源说 Neon 也是这样(shattered.io),官方博客没写明,待核实。
算例(估算,单价取自上面的官方博客,用量是假设值):一个带知识库的对话助手,每轮请求 =
固定前缀 6,000 token(命中缓存)+ 历史与本轮提问 2,200 token(未命中)+ 输出 500 可见 + 1,500 思考。
| 项目 | token | 单价 $/百万 | 金额 |
|---|---|---|---|
| 命中缓存输入 | 6,000 | 0.15 | $0.0009 |
| 未命中输入 | 2,200 | 3 | $0.0066 |
| 输出(含思考) | 2,000 | 15 | $0.0300 |
| 合计 | $0.0375 / 轮 |
- 输出占了 80%。要省钱,先看思考 token,再看缓存。
- 不做缓存:输入变成 8,200 × $3 = $0.0246,单轮 $0.0546,贵 46%。
- 思考压到 300 token(调低档位):输出 800 × $15 = $0.012,单轮约 $0.0195,降了一半。
- 每人每天 10 轮、每月 30 天:$11.25 / 人 / 月;调低档位后约 $5.85。如果你打算定价 ¥39 / 月,前一种几乎没毛利。
二、深度课 · 第 1 课:token 与分词
一句话结论
模型不认识「字」,只认识一张固定词表里的编号(token)。分词器决定一段话被切成多少个编号,而计算量、上下文占用、价格都按编号的个数走。所以「中文贵不贵」不由语言本身决定,而是看这个模型的分词器有没有为中文认真准备词表。
直觉
把模型想成只会用一盒活字印刷的排字工。盒子里的活字数量固定(比如 15 万个)。常用的整词有专门的整块活字,比如「the」「人工」「你的」;不常见的字就只能拿更小的碎块拼。排一页书收费看用了几块活字,不看这页有多少个字。英文常用词基本都有整块,所以英文便宜;如果盒子里中文整块很少,同样一句话中文就要用更多碎块。
类比到这里为止。下面讲盒子是怎么装出来的、碎块到底是什么。
机制
1. 为什么要切成 token,而不是按字或按词
模型每一步都在做同一件事:在大小为 V 的词表里,给「下一个编号」算一个概率分布。所以词表必须是有限且固定的。切分粒度有三种选择:
| 粒度 | 问题 |
|---|---|
| 按字符 / 字节 | 词表很小(256 个字节),但序列很长。注意力的计算量随长度 n 按 n² 增长(第 4 课讲),一段话变长 4 倍,注意力计算量就涨 16 倍 |
| 按整词 | 序列短,但词表会爆炸,而且总有没见过的词(新词、人名、错别字),会变成「未知」 |
| 子词(subword) | 两头折中:常见的片段整块收进词表,罕见词拆成几块常见片段。现在主流大模型都用这一种 |
2. BPE(Byte Pair Encoding,字节对编码):词表是「统计」出来的
GPT 系列、Llama 3、Qwen、DeepSeek 用的都是 BPE 或它的变体。训练过程:
词表 = 256 个单字节 # 任何文本都能表示,永远不会出现「未知字」
把语料全部转成字节序列
重复,直到词表大小达到 V:
统计语料里所有「相邻两块」出现的次数
取出现最多的一对 (a, b),合并成新块 ab,加入词表
记下这条合并规则,它的序号就是优先级(rank)
把语料里所有 a b 替换成 ab
编码(实际使用)时,对一段新文本先拆成字节,再按训练时的合并顺序能合就合,合到不能再合为止,剩下的每一块就是一个 token。unbelievable 在常见词表里会变成 un + believable 两块,因为这两块在语料里都很常见。
这里有一个关键事实:汉字在 UTF-8 里占 3 个字节。 如果某个汉字在训练语料里不够常见,它的 3 个字节没被合并成一块,这一个字就要占 2–3 个 token。
3. 实测:同一句话,中英文差多少
我用你电脑上已有的 Whisper large-v3 分词器(GPT-2 系的 BPE,约 5 万词表,以英文为主)写了一个最小的 BPE 编码器,跑了两句意思相同的话:
| 文本 | 字符数 | token 数 | 切分结果 |
|---|---|---|---|
| The model reads your prompt token by token. | 43 | 9 | The / model / reads / your / prompt / token / by / token / . |
| 模型是一个词元一个词元地读你的提示词。 | 19 | 20 | 模 / 型 / 是 / 一个 / ▢▢ / ▢ / 元 / 一个 / ▢▢ / ▢ / 元 / 地 / ▢▢ / ▢ / 你的 / 提 / 示 / ▢▢ / ▢ / 。 |
(▢▢ / ▢ 是「词」「读」这类字被拆成的 2 字节 + 1 字节碎片,单独拿出来不是合法字符。「饕餮」两个字被拆成 4 块。)
意思一样,中文多用了 1.2 倍的 token。在这个分词器上,中文要贵一倍多。
但新模型基本已经把这个差距补上了,因为它们的词表大得多,并且专门加了中文语料。DeepSeek 官方文档给的经验值是 1 个中文字符 ≈ 0.6 token,1 个英文字符 ≈ 0.3 token(DeepSeek token 用量说明)。按字符算中文是英文的两倍,可是表达同样的意思,中文用的字符数大约只有英文的一半。两者一抵消,在中文友好的分词器上,中英文同义内容的 token 数大致相当(这是估算,具体差异看语料类型)。
4. 词表大小 V 是一个工程权衡
词表大小大约是 GPT-2 5 万 → GPT-4 时代 10 万 → 现在主流 13–20 万。为什么不无限加大?
- 好处:序列更短 → 计算更少、同样的上下文窗口能装更多内容、生成同样多的字需要的步数更少(更快)。
- 代价 1:参数变多。 输入端有一张 V × d 的嵌入表(d 是每个 token 向量的长度,第 2 课讲),输出端还有一张同样大的表,用来给 V 个候选打分。估算:V = 13 万、d = 7,168 时,一张表就约 9 亿参数。
- 代价 2:罕见 token 训不熟。 词表越大,越靠后的 token 在语料里出现越少,模型对它们的「理解」就越差。
5. 分词前还有一步「预切分」,它影响数字和代码
BPE 合并前,先用一条正则把文本粗切成段,合并不跨段。比如英文按「空格 + 单词」切,所以 model 带着前导空格是一个 token。数字的处理各家不同:有的把数字切成单个数位,有的最多 3 位一组(如 1234567 → 123 456 7)。这会直接影响模型做算术、读财报数字是否稳定。
6. 你看不见、但也计费的 token
- 对话模板:每条消息前后的角色标记(如
<|im_start|>user)都是特殊 token。 - 工具定义:每个工具的 JSON schema 每轮都要重发一遍。
- 思考 token:推理模型的草稿。
- 图片、音频:也会被切成 token(第 14 课讲),一张图常常要几百到上千个。
7. 为什么按 token 计价是合理的,以及为什么输出更贵
模型处理 n 个输入 token,是一次性并行算完(prefill);生成 m 个输出 token,则要串行跑 m 步,每一步都要把整个模型的权重从显存读一遍(decode)。两种计算的硬件效率差很多,所以输出单价通常是输入的 4–5 倍(Neon 就是 $15 vs $3)。第 6 课会专门拆这件事。
和前面的连接
这是第一课,前面没有课可接。往后看,token 是所有后续课程的计量单位:
- 第 4 课注意力:「每个 token 和前面所有 token 算相关度」,计算量按 token 数的平方增长。
- 第 7 课 KV cache:每个 token 要存一份中间结果,显存占用按 token 数线性增长。
- 你 11-21 看 DeepSeek V4.1 视频时碰到的概念也都以 token 为单位:第 2 集的滑动窗口是「只看最近 W 个 token」,第 3 集 DSpark 推测解码比的是「一次能多猜对几个 token」。今天先记住「token 是编号、不是字」,那几集里的数字就都能读成成本和速度。
产品含义
- 哪一段:分词器作用在最前面(读输入)和最后面(写答案)。它不改变模型聪不聪明,改变的是每句话要花多少步。
- 哪个指标:成本(按 token 计价)、延迟(输出 token 越多,等得越久)、有效上下文(同样「100 万 token 窗口」,能装下的中文页数因分词器而异)。
- 哪类功能受影响:中文长文档、财务数字、代码、多语种(尤其小语种)对分词器最敏感,选型时要用自己的真实语料实测 token 数。纯英文短问答受影响很小。
常见误区
- 「1 个 token 就是 1 个字。」 → 应该说:token 是词表里的一个编号,可能是半个字、一个字、一个词,或者「空格 + 单词」。换算比例看分词器,以 API 返回的
usage字段为准。 - 「中文 token 一定比英文贵。」 → 应该说:在老的、以英文为主的分词器上确实贵一倍多(上面的实测);在中文友好的新分词器上,同义内容的 token 数大致相当。比较前先测。
- 「A 模型单价比 B 低,所以用 A 更省。」 → 应该说:不同模型的分词器不同,同一段话的 token 数不同;再加上思考 token 的差异,要比单任务成本。今天 Neon 的新闻就是一个反例:单价更高,单任务更低。
延伸阅读
- Sennrich 等,Neural Machine Translation of Rare Words with Subword Units(2016,BPE 引入 NLP 的原始论文):https://arxiv.org/abs/1508.07909 ——读第 3.1 节和那段十几行的 Python 伪代码就够。
- Karpathy,minbpe 代码库:https://github.com/karpathy/minbpe ——读 README,跟着走一遍「训练 → 编码 → 解码」,同时能看到 GPT-4 的预切分正则。
- DeepSeek API 文档 · Token 用量计算:https://api-docs.deepseek.com/zh-cn/quick_start/token_usage ——一页,记住中英文换算经验值和「以 usage 为准」。
三、自测
- 一段话在某模型上是 1,000 token,换到另一个模型上变成 1,400 token。模型权重和计费方式都没变的话,最可能是哪里不同?这会影响哪三个产品指标?
- 为什么用了字节级 BPE 的模型永远不会遇到「不认识的字」?代价是什么?
- 场景估算:一个在线教育平台想给学员客户端加一个「AI 答疑」。假设每次请求:系统提示 + 课程讲义片段 5,000 token(可命中缓存),学员提问加历史 1,000 token,回答 600 token,不开思考。用 Neon 的价格($3 / $0.15 / $15 每百万),算单次成本;如果每个活跃学员每天问 8 次、每月 30 天,单学员月成本是多少?哪一项最值得先优化?
四、今天的新词
- Token / 词元:模型词表里的一个编号,是模型读写、计费、计算上下文长度的最小单位。
- Tokenizer / 分词器:把文本切成 token 编号、再把编号还原成文本的程序。每个模型家族各有一套,不通用。
- BPE(Byte Pair Encoding)/ 字节对编码:从单字节出发,反复合并语料里最常相邻的一对,直到词表达到目标大小的分词算法。
- Vocabulary size / 词表大小:词表里 token 的总数 V。V 越大序列越短,但嵌入表和输出层越大。
- Cached input / 缓存命中输入:和之前请求前缀完全一致、可以复用中间结果的输入部分,按低价计费。
答案点开看
- 分词器不同(词表大小、合并规则、中文语料覆盖不同)。影响:成本(多 40% token 就多 40% 输入费)、有效上下文(同一窗口能装的内容少了约 29%)、延迟(如果输出也多 40% token,生成时间也会变长)。
- 词表起点就是全部 256 个字节,任何 UTF-8 文本都能表示成字节序列,最坏情况也能按字节一个一个编码。代价是罕见字(以及罕见语言、生僻符号)会被拆成 2–3 个字节碎片,token 数膨胀,模型对它的「理解」也更弱。
- 单次:命中 5,000 × 0.15 / 10⁶ = $0.00075;未命中 1,000 × 3 / 10⁶ = $0.003;输出 600 × 15 / 10⁶ = $0.009;合计 约 $0.0128 / 次。月成本:0.0128 × 8 × 30 ≈ $3.06 / 人 / 月(估算)。输出占约 70%,最值得先优化的是回答长度(限定答疑格式、先给结论)。其次要保证讲义片段放在前缀、每次请求开头保持一致,让它稳定命中缓存;如果不命中,输入会从 $0.00375 涨到 $0.018,单次成本翻倍多。