文章索引

建议先阅读「阅读路线.md」和全书导读。独立章节在 chapters，完整程序在 examples；PDF 可直接阅读全部图与公式。

• 第 1 章　沿一次训练看完整仓库
• 第 2 章　字符与 BPE：三条数据准备流水线
• 第 3 章　配置覆盖、类型检查与执行边界
• 第 4 章　GPTConfig、参数规模与初始化
• 第 5 章　逐层推导因果注意力、MLP 和残差
• 第 6 章　权重共享、损失、预训练映射与上下文裁剪
• 第 7 章　memmap 批次与下一 token 对齐
• 第 8 章　训练主循环、梯度累积、混合精度与裁剪
• 第 9 章　学习率、验证、checkpoint 与恢复
• 第 10 章　单机多卡与跨节点 DDP 的状态约束
• 第 11 章　生成接口：温度、top-k、提示和随机性
• 第 12 章　微调与 GPT-2 基线：域差异如何影响比较
• 第 13 章　benchmark、MFU 与吞吐口径
• 第 14 章　参数估算与 scaling laws：逐单元核对
• 第 15 章　小规模复现、故障定位与仓库的历史边界