AI INSTANT LAB · 每日学习L02
词嵌入
产品视角从「回答你」到「替你点」,账要按步算
一、产品视角 · 从「回答你」到「替你点」,账要按步算
新闻钩子:Google 给 Gemini 的 Mac 客户端加了「电脑操控」(computer use)。用户在提示里描述一件重复性的事,Gemini 自己去点按钮、填表、切菜单,范围覆盖本地文件、桌面应用和网页。它在一个隔离的后台窗口里干活,对话里给实时预览,用户自己的屏幕和鼠标不被占用。用户可以选它能碰哪些应用,随时暂停,关键操作要先批准。首发只在美国、只有英文,需要 Apple 芯片的 Mac 和 macOS 15 以上,面向 Google AI Plus / Pro / Ultra 订阅用户。
(Google 官方博客:Let Gemini tackle repetitive chores on your Mac,2026-11-19 发布;MacRumors 同日报道)
说明:二手报道还提到「遇到登录和付款会停下」「套餐 $4.99 / 月起」,官方博客里没查到这两句,待核实。官方也没写用的是哪个模型、在本地还是云端执行、单个任务能跑多久、有没有次数上限,这些都是未查到。
昨天同一窗口里还有 OpenAI GPT-6.2 Astra 降价 20% 的新闻,但上一课刚讲过成本,按轮换规则今天不讲价格。
三问
- 改变哪一段:交付形态。模型的输出不再是一段给人读的文字,而是一串作用在别的软件上的动作。「写答案」变成了「看屏幕 → 想下一步 → 执行一步」的循环,一次任务里模型要被调用几十次。
- 影响哪个指标:三个产品经理以前不太用的指标会变成核心。① 任务成功率(整件事做完没有),而不是「这句话答得好不好」;② 端到端耗时,用户不再盯着首字延迟(TTFT),而是看「交出去多久能收回来」;③ 人工介入次数,每次弹确认都是一次打断,太多就失去自动化的意义,太少又有风险。
- 哪类功能更可做 / 不受影响:没有 API、只能靠点界面的老软件(内部后台、设计软件、各种管理系统)第一次可以被自动化;「后台窗口 + 预览」这种形态让长任务不再独占用户屏幕,适合批量整理、搬数据、生成报表这类可以放着不管的活。不受影响的是一次问答就能结束的场景,以及本来就有 API 的系统,直接调接口比让模型点界面更快、更便宜、更稳。
概念卡:多步 agent 的成功率与单任务成本
一个界面操作型 agent 做一件事要走 n 步。如果每一步独立成功的概率是 p,整件事一次做成的概率是:
任务成功率 ≈ p^n
算一下(纯数学,不是任何产品的实测):
| 单步成功率 p | 10 步 | 20 步 | 40 步 |
|---|---|---|---|
| 99% | 90% | 82% | 67% |
| 95% | 60% | 36% | 13% |
| 90% | 35% | 12% | 1.5% |
这张表说明两件事:一是步骤数是 agent 产品的头号敌人,能少一步就少一步;二是真实系统靠「出错能发现并重试」把曲线拉回来,所以评估 agent 不能只看单步准确率,要看带重试的整体成功率。
成本同样按步算。每一步模型都要读「任务说明 + 历史步骤 + 最新截图」,再输出一个动作:
单任务成本 = Σ(每步输入 token × 输入单价 + 每步输出 token × 输出单价)
每个「成功任务」的成本 = 单任务成本 ÷ 任务成功率
算例(估算。单价沿用上一课 Gemini 4 Neon 的官方价 $3 / $0.15 / $15 每百万 token,用量全部是假设):一个 25 步的任务,每步输入 9,000 token(其中 6,000 是前几步的历史,能命中缓存;3,000 是新截图和新说明,不命中),输出 300 token(含思考)。
| 项目 | 每步 token | 单价 $/百万 | 每步金额 |
|---|---|---|---|
| 命中缓存输入 | 6,000 | 0.15 | $0.0009 |
| 未命中输入 | 3,000 | 3 | $0.0090 |
| 输出 | 300 | 15 | $0.0045 |
| 合计 | $0.0144 / 步 |
- 25 步 ≈ $0.36 / 次。
- 如果成功率是 60%,每个成功任务的真实成本是 0.36 ÷ 0.6 = $0.60,失败的那 40% 也要付钱。
- 和上一课对话助手的账不同,这里输入占了大头(每步要看一张新截图)。省钱的方向变成:截图压缩或只截局部、能读结构化信息(无障碍树、DOM)就别看图、减少步数。
二、深度课 · 第 2 课:词嵌入
一句话结论
词嵌入就是一张大表:词表里每个 token 编号对应一行,一行是几千个数字组成的向量。这些数字一开始是随机的,模型在「猜下一个 token」的训练中不断调整它们,最后用法相近的 token,向量就挨得近。所谓「向量能表示意思」,本质是「向量记录了这个词出现在什么样的上下文里」。
直觉
想象给每个词做一张「性格测评表」,表上有几千道题:它是不是名词?跟钱有关吗?偏正式还是偏口语?和动物有关吗?……每道题打一个分,一个词就变成了几千个分数。两个词各题分数都差不多,它们就「像」。
但真实的嵌入和测评表有一个关键区别:没有人出题。每一维代表什么不是设计出来的,是训练自己长出来的,单独看某一维通常说不出含义。类比到这里结束,下面讲表是怎么来的、怎么用的。
机制
1. 从编号到向量:查表
上一课说过,分词器把文本变成一串整数编号,比如 [1532, 88, 40211]。整数本身没法拿来做数学(编号 88 和 89 没有任何「接近」的意思),所以模型的第一层是一张嵌入矩阵 E:
E 的形状 = V × d
V:词表大小(上一课说的 13–20 万)
d:每个向量的长度,也叫模型的「隐藏维度」
token 编号 i → 取 E 的第 i 行 → 一个长度为 d 的向量
这一步就是按行号取数,没有任何乘法。数学上它等价于「一个只有第 i 位是 1、其他全是 0 的长向量(独热编码 one-hot)乘以 E」,但工程上没人真去乘,直接取那一行。
常见的 d 有多大:GPT-2 小号是 768,Llama 3 8B 是 4,096,DeepSeek-V3 是 7,168。所以一句 20 个 token 的话,进模型后就变成一个 20 × 7,168 的数字矩阵,后面所有层(第 3、4 课讲)都在这个矩阵上做运算。
2. 这张表是怎么学出来的
E 和模型其他参数一起训练。训练目标仍然是「根据前文预测下一个 token」:
1. 取前文 token 的向量(查表)
2. 经过很多层计算,得到一个预测向量 h
3. 用 h 给词表里所有 V 个 token 打分,分数最高的应该是正确答案
4. 如果猜错,用反向传播算出「每个参数该往哪边调一点」,
其中就包括刚才查到的那几行向量
5. 重复几万亿次
为什么这样就能学出「意思」?背后是语言学里的分布假说:一个词的意思,由它经常和哪些词一起出现决定。「猫」和「狗」都常出现在「喂」「养」「宠物」「毛」附近,为了在这些上下文里都预测准,模型最省力的做法就是把它们的向量调得相似。没人告诉模型猫和狗都是动物,这是被几万亿次预测「挤」出来的。
3. 「挨得近」怎么量:余弦相似度
两个向量 a、b 有多像,最常用的是余弦相似度:
cos(a, b) = (a · b) / (|a| × |b|)
a · b:点积,两个向量对应位置相乘再加起来
|a|:向量长度
结果在 -1 到 1 之间:1 表示方向完全一致,0 表示无关
它只看方向不看长短。如果事先把所有向量都缩放到长度 1(归一化),余弦相似度就等于点积,计算更快,所以向量库里大多先归一化。
4. 有名的例子:方向里藏着关系
2013 年 Google 的 word2vec 用一个很浅的网络专门训练词向量,发现了一个现象:
vec("king") − vec("man") + vec("woman") ≈ vec("queen")
意思是「男 → 女」这个关系在向量空间里大致是一个固定方向,加到「国王」上就走到了「女王」附近。同样的规律在「国家 → 首都」「动词原形 → 过去式」上也能看到。这说明向量空间不只是「近 = 像」,某些方向本身就编码了关系。不过要注意,这个现象在论文挑选的例子上很漂亮,换成任意一组词并不总成立。
5. 静态嵌入 vs 上下文嵌入:同一个「苹果」
查表得到的向量是静态的:不管「苹果」出现在「削个苹果」还是「苹果发布会」里,查出来都是同一行。歧义靠什么解决?靠后面的层。
每经过一层 Transformer,每个 token 的向量都会根据上下文被改写一次(第 3、4 课讲具体怎么改)。到了中后层,「削个苹果」里的「苹果」向量会靠近「水果」,「苹果发布会」里的会靠近「手机、公司」。这种经过上下文加工后的向量叫上下文嵌入,是现代大模型「理解」语义的真正载体。
6. 输入表和输出表:常常是同一张
模型最后一步要给 V 个候选打分,用的也是一张 d × V 的矩阵。很多模型(尤其小模型)让它和输入的 E 共用参数,叫权重绑定(weight tying),能省下一张表。上一课算过,V = 13 万、d = 7,168 时一张表约 9 亿参数,对几十亿参数的小模型来说占比很可观;超大模型一般不绑定,两张表各自训练。
7. 你在产品里用的「Embedding API」是另一回事
上面说的是大模型内部的嵌入。产品里做语义搜索、RAG 用的「embedding 模型」(比如各家的 text-embedding 系列),是专门训练出来的另一类模型,目标是把一整段文字压成一个向量:
一段文字 → 分词 → 若干层 Transformer → 每个 token 一个上下文向量
→ 池化(取平均,或取某个特殊位置的向量)→ 一个长度为 d 的向量
它的训练方式也不同,叫对比学习:给模型一对「意思相关」的文本(问题和它的答案、标题和正文),让它们的向量靠近;同时把同一批里其他不相关的文本推远。所以 embedding 模型擅长的是「这两段话相关吗」,而不是生成。
两个和产品直接相关的工程细节:
- 套娃式嵌入(Matryoshka):训练时让向量的前 256 维、前 512 维单独拿出来也能用。好处是存储时可以截短,用一点精度换大量空间。OpenAI 的 text-embedding-3 系列就支持在调用时指定输出维度(见延伸阅读)。
- 存储账(估算):100 万个文本块 × 1,024 维 × 每个数 4 字节(float32)≈ 4.1 GB;存成 float16 减半,约 2 GB;量化成 int8 约 1 GB;二值化(每维只存正负 1 位)约 128 MB。实际向量库还要加索引结构,HNSW 这类图索引通常再多占一截(具体倍数看参数,待核实)。
和前面的连接
- 接第 1 课:上一课的终点是「一串 token 编号」,这一课就是编号进模型后的第一站。上一课提到的「词表越大,嵌入表越大」,那张表就是今天的 E。上一课还说罕见 token「训不熟」,原因也在这里:一行向量只有在这个 token 出现时才会被更新,出现得少,这一行就接近随机值。
- 接 11-21 看的 DeepSeek V4.1:那几集里的注意力、滑动窗口、CED,操作对象全都是今天这些 d 维向量。第 2 集说「只看最近 W 个 token」,准确说是「只拿最近 W 个 token 的向量来做计算」。第 4 课讲注意力时,你会看到 Q、K、V 就是从这些向量乘出来的。
产品含义
- 哪一段:作用在读输入的最开头(大模型内部),以及应用层的检索(embedding 模型 + 向量库)。
- 哪个指标:模型内部的嵌入,产品经理基本影响不了;应用层的 embedding 直接影响检索效果(召回到的资料对不对)和存储成本(维度 × 精度 × 条数)。
- 哪类功能受影响:语义搜索、RAG 知识库、相似内容推荐、去重、聚类打标签,全都建立在「向量近 = 意思近」上。一个重要的约束:换 embedding 模型,就要把库里所有文本重新算一遍向量,不同模型的向量不能混用,这是一笔一次性的迁移成本,选型时要算进去。
常见误区
- 「embedding 就是向量数据库。」 → 应该说:embedding 是把文本变成向量的模型或结果,向量库只是存和查这些向量的数据库。效果好不好主要看前者,快不快、贵不贵主要看后者。
- 「向量越相似,答案越正确。」 → 应该说:相似度量的是「话题和用法相近」,不是「事实正确」。「药物 A 有效」和「药物 A 无效」的向量可能非常接近,检索靠前不代表内容对,还要重排和生成阶段把关(第 30 课讲)。
- 「维度越高越好,所以选最长的。」 → 应该说:维度高通常效果略好,但存储和检索成本线性上升。很多场景下截短到一半维度,效果只掉一点点,先用自己的评测集测再定。
延伸阅读
- Mikolov 等,Efficient Estimation of Word Representations in Vector Space(2013,word2vec 原始论文):https://arxiv.org/abs/1301.3781 ——读第 4 节和那张「国王 − 男人 + 女人」的类比结果表就够。
- Kusupati 等,Matryoshka Representation Learning(2022):https://arxiv.org/abs/2205.13147 ——读摘要和第 1 节图 1,理解「截短还能用」为什么能训出来。
- OpenAI 官方文档 · Embeddings 指南:https://platform.openai.com/docs/guides/embeddings ——读「用例」和「减少维度」两节,是产品侧最实用的一页。
三、自测
- 大模型的「嵌入层」和产品里调用的「Embedding API」有什么区别?分别从输入输出和训练目标两个角度说。
- 「削个苹果」和「苹果发布会」里的「苹果」,在嵌入矩阵 E 里查出来的向量一样吗?那模型靠什么区分它们?
- 场景估算:一个面向研究机构的文献问答产品,要把 50 万篇论文切成块做检索,平均每篇切 40 块,每块用 1,536 维向量。① 用 float32 存,光向量本身多大?② 如果截短到 768 维并存成 int8,变成多大?③ 半年后想换一个效果更好的 embedding 模型,需要做什么、主要成本在哪?
四、今天的新词
- Embedding / 嵌入:把离散的东西(token、一段文字、一张图)表示成一个固定长度的数字向量,向量之间的距离表示相似程度。
- Embedding matrix / 嵌入矩阵:形状为 V × d 的参数表,每个 token 编号对应一行,模型的第一步就是按编号查这张表。
- Cosine similarity / 余弦相似度:只看两个向量方向是否一致的相似度指标,取值 -1 到 1,语义检索里最常用。
- Contrastive learning / 对比学习:让相关样本的向量靠近、不相关样本的向量远离的训练方法,是 embedding 模型的主要训练方式。
- Computer use / 电脑操控:让模型通过看屏幕、点鼠标、敲键盘去操作软件的 agent 能力。
答案点开看
- 输入输出:嵌入层输入一个 token 编号,输出这个 token 的一行向量,是大模型内部的第一步,一句话会得到「每个 token 一个向量」;Embedding API 输入一整段文字,输出一个代表整段意思的向量。训练目标:嵌入层跟着「预测下一个 token」一起训练;embedding 模型用对比学习训练,目标是让相关文本的向量靠近、不相关的远离。
- 一样。E 是静态的,同一个编号永远取同一行。区分靠后面的 Transformer 层:每一层都会根据周围的词改写每个 token 的向量,到中后层两个「苹果」的上下文嵌入就分开了,一个靠近「水果」,一个靠近「公司、手机」。
- ① 50 万 × 40 = 2,000 万块;2,000 万 × 1,536 × 4 字节 ≈ 122.9 GB(估算,不含索引)。② 2,000 万 × 768 × 1 字节 ≈ 15.4 GB,约为原来的 1/8。截短要求模型支持套娃式嵌入,int8 量化会损失一点精度,上线前要用自己的问答评测集比较召回率。③ 必须用新模型把 2,000 万块全部重新算向量并重建索引,新旧向量不能混用。主要成本是重新计算的 API 费用或 GPU 时间、重建索引的时间,以及切换期间新旧两套索引并存的存储;还要重跑评测,确认新模型在自己的语料上确实更好。