学习
每天一课:先拿一条行业新闻拆产品账,指标、成本、存储、功能形态;再讲一节从底层往上的原理课,从 token 一路讲到 agent。
已讲 01 / 44
课程表 六个阶段 · 44 课
阶段1大模型是怎么跑起来的1/8
- 01token 与分词为什么按 token 计费、中文和英文为什么「贵得不一样」11-21
- 02词嵌入字词怎么变成一串数字,向量为什么能表示意思下一课
- 03Transformer 一层里有什么注意力 + 前馈网络 + 残差
- 04注意力机制Q、K、V 到底在算什么
- 05自回归生成与采样temperature、top-p 为什么会影响「稳不稳」
- 06prefill 与 decode读输入和写答案是两种完全不同的计算
- 07KV cache为什么能省、为什么吃显存
- 08上下文窗口与位置编码模型怎么知道字的先后,长度为什么能外推
阶段2模型结构怎么演进0/7
- 09MoE 混合专家总参数和激活参数,为什么「大模型」可以很便宜
- 10KV 压缩路线MQA、GQA、MLA 各省在哪
- 11稀疏注意力与滑动窗口只读重要的那几百条
- 12编码器-解码器的回归CED 这类「读输入只走一半」的设计
- 13线性注意力与状态空间模型Mamba 这一路想解决什么
- 14多模态图片、音频、视频怎么变成 token
- 15查表记忆Engram 这类「旁挂一张大表」的思路
阶段3模型是怎么训出来的0/7
- 16预训练数据、算力、scaling law
- 17优化器与训练稳定性Adam、Muon,为什么会训崩
- 18SFT 指令微调让模型「听得懂人话」
- 19RLHF 与 DPO让模型「答得合人意」
- 20推理模型与强化学习可验证奖励、思维链为什么能涨分
- 21蒸馏小模型怎么从大模型身上学
- 22合成数据模型自己给自己造教材
阶段4推理与部署(成本和速度都在这)0/7
- 23量化FP16、FP8、FP4,精度换了多少钱
- 24推测解码小模型猜、大模型批改
- 25批处理与吞吐continuous batching、PD 分离
- 26推理引擎vLLM、SGLang 各做了什么
- 27GPU 与显存算力和带宽谁是瓶颈,HBM 为什么贵
- 28前缀缓存与「缓存命中价」API 定价背后的那张账
- 29端侧与小模型什么能放到手机和浏览器里跑
阶段5应用层,RAG 与 Agent0/9
- 30RAG切块、检索、重排,每一步丢的是什么
- 31长上下文 vs RAG什么时候直接塞、什么时候去检索
- 32工具调用模型怎么「决定」去调一个函数
- 33MCP工具接入为什么需要一个协议
- 34Agent 循环与 harness一个 agent 到底由哪几块组成
- 35Agent 记忆短期、长期、外部记忆怎么分
- 36多 Agent 协作拆分、编排、互相检查
- 37Skills 与上下文工程给模型「装说明书」
- 38结构化输出与可靠性JSON、校验、重试
阶段6评估、安全与治理0/6
- 39Benchmark 与榜单怎么看哪些分数能信
- 40产品内评估LLM-as-judge、离线评测集、线上 A/B
- 41幻觉从哪来、怎么量、怎么压
- 42可解释性模型里面到底在发生什么
- 43安全提示注入、越狱、数据泄露
- 44对齐与模型规范谁来决定模型「应该」怎么回答