文章索引

建议先阅读「阅读路线.md」和全书导读。独立章节在 chapters，完整程序在 examples；PDF 可直接阅读全部图与公式。

• 第 01 章　先画清语言模型的任务与边界
• 第 02 章　张量、自动微分与最小训练闭环
• 第 03 章　文本怎样变成 token：词表、BPE 与特殊符号
• 第 04 章　从加权平均推导自注意力与因果掩码
• 第 05 章　多头注意力的实现选择与 buffer 生命周期
• 第 06 章　把注意力组装成 GPT：归一化、残差与输出头
• 第 07 章　参数、FLOPs、显存与吞吐怎样估算
• 第 08 章　KV cache：先证明等价，再讨论加速
• 第 09 章　GQA、MLA 与跨层 KV 共享
• 第 10 章　局部与稀疏注意力：SWA 和 DSA
• 第 11 章　Gated DeltaNet：从矩阵状态理解递推
• 第 12 章　MoE：路由、专家与负载
• 第 13 章　预训练目标、交叉熵与验证集
• 第 14 章　采样、温度、top-k 与生成边界
• 第 15 章　权重格式、参数映射与低内存加载
• 第 16 章　语料整理与 Gutenberg 训练工程
• 第 17 章　学习率、梯度裁剪、超参数与 Muon
• 第 18 章　训练性能及 CPU、MPS 数值差异
• 第 19 章　从 GPT 到 Llama：RoPE、RMSNorm 与门控前馈
• 第 20 章　Qwen3 与 Qwen3.5：同一个名字下，两种记忆接口
• 第 21 章　Gemma 3、Gemma 4：局部层、共享层与数值约定
• 第 22 章　OLMo 3、Tiny Aya 与可替换模型接口
• 第 23 章　扩展分词器：新 ID 还需要新的模型行
• 第24章　文本分类：一个输出位置，决定模型看见多少内容
• 第25章　指令微调：先把“该预测什么”排对
• 第26章　指令数据：先防止自己给自己打高分
• 第27章　DPO：比较两个回答，也要说明比较的基准
• 第28章　LoRA：冻结大矩阵，学习一个可合并的增量
• 第29章　三种界面，同一条推理链路
• 第30章　包接口与测试：怎样知道自己运行的是同一份模型
• 第31章　习题闭环与延伸：知道哪里已经验证，哪里还没有