课程与书稿阅读路线

这份路线按知识依赖组织。各章会另列官方资料、补充实验与验证边界。

课程材料	书中位置	阅读目标
1. micrograd	01–03	从导数、计算图到可训练的小网络
2. bigram	04–06	用计数与神经网络建立同一个字符预测任务
3. MLP	07–09	增加上下文、学习表示，并正确评估训练
4. 激活、梯度与 BatchNorm	10–12	让信号稳定传播，诊断训练失败
5. 手写张量反向传播	13–14	逐层计算梯度，并与自动微分核对
6. 类 WaveNet 模型	15–16	理解分层上下文、因果性和感受野
7. 从零构建 GPT	17–20	从加权平均走到可训练的 Transformer
8. GPT Tokenizer	21–24	实现字节级 BPE，理解切分与模型行为
官方播放列表：复现 GPT-2 124M	25–28	理解实际训练实现、优化和复现条件
官方播放列表：State of GPT	29–30	连接预训练、后训练与使用方法，标明演讲语境
补充实践与收束	31	设计能验证理解的后续实验

官方课程入口

• The spelled-out intro to neural networks and backpropagation: building micrograd
• The spelled-out intro to language modeling: building makemore
• Building makemore Part 2: MLP
• Building makemore Part 3: Activations & Gradients, BatchNorm
• Building makemore Part 4: Becoming a Backprop Ninja
• Building makemore Part 5: Building a WaveNet
• Let's build GPT: from scratch, in code, spelled out.
• State of GPT | BRK216HFS
• Let's build the GPT Tokenizer
• Let's reproduce GPT-2 (124M)