CURRICULUM · 课程路线图
课程路线图
按依赖关系排列：NLP 给你历史，Transformer 给你现在。 下面这张课程路线图把两个章节的 17 课与 2 篇附录画成一条从「N-gram」走到「Transformer」、再望向前沿的路—— 每个圆点是一课，点进去就能从它的开场问题跳进去。
第一章 · I自然语言处理教机器读懂语言
第二章 · II大语言模型一路长成 ChatGPT
附录附录参考资料 · 随时可读，不占课程顺序
EXPAND · 逐课展开
想知道每一课在解决什么问题？下面把两个章节与附录逐课摊开，标题旁那句话，就是这一课的开场问题。两篇附录是参考资料，随时可读，不占课程顺序。
继续往上走
继续往上走
第一章
自然语言处理
—— 让机器读懂语言的几十年接力继续往上走
第二章
大语言模型
—— 从注意力机制到 ChatGPT- 1注意力机制「它太累了」——「它」指谁？让每个词自己决定该看向哪里去学习 →
- 2多头注意力一句话里既有指代、又有语法、又有情感——一个「头」忙得过来吗？去学习 →
- 3Transformer 架构把注意力、FFN、残差拼在一起——2017 年那篇论文到底做了什么？去学习 →
- 4Tokenizer 分词器模型眼里的「字」是什么？为什么 strawberry 数不对 r 的个数？去学习 →
- 5编码器、解码器与大语言模型同样是 Transformer，BERT 为什么不能生成文章，GPT 为什么是主流？去学习 →
- 6残差连接与层归一化96 层 Transformer——梯度怎么从第 96 层传回第 1 层而不消失？去学习 →
- 7预训练 · 监督微调 · 强化学习「会接话」和「会帮忙」之间有一道鸿沟——ChatGPT 的三个训练阶段去学习 →
- 8KV 缓存、稀疏注意力与 FlashAttention注意力的账单是 O(n²)——处理一本书，工程师用什么手段把它变快？去学习 →
- 9MoE 混合专家架构GPT-4 据说有 1.8 万亿参数——推理每次却只用其中一小部分，怎么做到的？去学习 →
- 10模型蒸馏大模型的能力能「传授」给小模型吗——软标签里藏着什么「暗知识」？去学习 →
- 11串讲：从 N-gram 到 Transformer学了这么多细节，怎么把它们重新串成一条线？——每一代技术，都是来解上一代死结的去学习 →
- 12前沿与未来：下一程ChatGPT 之后呢？——当下最活跃的研究方向，与大模型可能的演变去学习 →