Ai Instant Lab

学习

每天一课:先拿一条行业新闻拆产品账,指标、成本、存储、功能形态;再讲一节从底层往上的原理课,从 token 一路讲到 agent。

已讲 01 / 44

最新一课 · 2026-11-21 · 周六L01 token 与分词 产品视角单价便宜不等于单任务便宜 开始读 · 约 15 分钟

课程表 六个阶段 · 44 课

阶段1大模型是怎么跑起来的1/8
  1. 01token 与分词为什么按 token 计费、中文和英文为什么「贵得不一样」11-21
  2. 03Transformer 一层里有什么注意力 + 前馈网络 + 残差
  3. 04注意力机制Q、K、V 到底在算什么
  4. 05自回归生成与采样temperature、top-p 为什么会影响「稳不稳」
  5. 06prefill 与 decode读输入和写答案是两种完全不同的计算
  6. 07KV cache为什么能省、为什么吃显存
  7. 08上下文窗口与位置编码模型怎么知道字的先后,长度为什么能外推
阶段2模型结构怎么演进0/7
  1. 09MoE 混合专家总参数和激活参数,为什么「大模型」可以很便宜
  2. 10KV 压缩路线MQA、GQA、MLA 各省在哪
  3. 11稀疏注意力与滑动窗口只读重要的那几百条
  4. 12编码器-解码器的回归CED 这类「读输入只走一半」的设计
  5. 13线性注意力与状态空间模型Mamba 这一路想解决什么
  6. 14多模态图片、音频、视频怎么变成 token
  7. 15查表记忆Engram 这类「旁挂一张大表」的思路
阶段3模型是怎么训出来的0/7
  1. 16预训练数据、算力、scaling law
  2. 17优化器与训练稳定性Adam、Muon,为什么会训崩
  3. 18SFT 指令微调让模型「听得懂人话」
  4. 19RLHF 与 DPO让模型「答得合人意」
  5. 20推理模型与强化学习可验证奖励、思维链为什么能涨分
  6. 21蒸馏小模型怎么从大模型身上学
  7. 22合成数据模型自己给自己造教材
阶段4推理与部署(成本和速度都在这)0/7
  1. 23量化FP16、FP8、FP4,精度换了多少钱
  2. 24推测解码小模型猜、大模型批改
  3. 25批处理与吞吐continuous batching、PD 分离
  4. 26推理引擎vLLM、SGLang 各做了什么
  5. 27GPU 与显存算力和带宽谁是瓶颈,HBM 为什么贵
  6. 28前缀缓存与「缓存命中价」API 定价背后的那张账
  7. 29端侧与小模型什么能放到手机和浏览器里跑
阶段5应用层,RAG 与 Agent0/9
  1. 30RAG切块、检索、重排,每一步丢的是什么
  2. 31长上下文 vs RAG什么时候直接塞、什么时候去检索
  3. 32工具调用模型怎么「决定」去调一个函数
  4. 33MCP工具接入为什么需要一个协议
  5. 34Agent 循环与 harness一个 agent 到底由哪几块组成
  6. 35Agent 记忆短期、长期、外部记忆怎么分
  7. 36多 Agent 协作拆分、编排、互相检查
  8. 37Skills 与上下文工程给模型「装说明书」
  9. 38结构化输出与可靠性JSON、校验、重试
阶段6评估、安全与治理0/6
  1. 39Benchmark 与榜单怎么看哪些分数能信
  2. 40产品内评估LLM-as-judge、离线评测集、线上 A/B
  3. 41幻觉从哪来、怎么量、怎么压
  4. 42可解释性模型里面到底在发生什么
  5. 43安全提示注入、越狱、数据泄露
  6. 44对齐与模型规范谁来决定模型「应该」怎么回答