返回课程目录页
I自然语言处理
  • 1语言的概率游戏:N-gram
  • 2词向量
  • 3前馈神经网络语言模型
  • 4RNN 循环神经网络
  • 5LSTM 长短期记忆网络

II大语言模型
  • 1注意力机制
  • 2多头注意力
  • 3Transformer 架构
  • 4Tokenizer 分词器
  • 5编码器、解码器与大语言模型
  • 6残差连接与层归一化
  • 7预训练 · 监督微调 · 强化学习
  • 8KV 缓存、稀疏注意力与 FlashAttention
  • 9MoE 混合专家架构
  • 10模型蒸馏
  • 11串讲:从 N-gram 到 Transformer
  • 12前沿与未来:下一程

附附录 · 参考资料
  • 附1Transformer全景图
  • 附2《Attention Is All You Need》原文

附录1 · 参考资料随时可读 · 不占课程顺序

Transformer全景图