阅读路线

这本书按依赖关系组织：先弄清输入、目标和状态，再比较实现选择，最后用小实验核对结论。第一次阅读可以顺序推进，复习时按下面的阶段回查。

阶段	章节	关注的问题
建立最小闭环	1—8	从 token 到注意力、GPT、参数成本与缓存；先把每个张量维度解释清楚。
看懂架构选择	9—12	比较 GQA、MLA、局部/稀疏注意力、线性状态与 MoE 的不同成本。
训练与评估	13—18	掌握损失、采样、权重、数据、优化和性能的边界。
阅读模型变体	19—23	对照 Llama、Qwen、Gemma、OLMo、Tiny Aya 和扩词表实现。
适配任务与交付	24—31	分类、指令、数据质量、DPO、LoRA、界面和可复现实验。

怎样安排实验

各组运行说明见 examples/core_training、examples/architectures、examples/finetuning 及相关章节。先运行不需要预训练权重的 CPU 最小例，再决定是否扩大实验规模。固定上游代码出现的失败案例有单独说明；不要把它们改写成“所有缓存路径等价”的通过结论。

训练损失下降、数学例子相符和某个真实模型表现更好，是三种不同结论。请分别记录输入、版本、随机种子、比较条件和输出；书中未运行的大规模、GPU、API 或在线服务路径不算已验证。

怎样回查证据

正文在关键观点附近标注固定源码、官方文档或原始论文，书末集中列参考资料。完整原创实验代码列于附录，也以单独文件放在 ZIP 中。配套原始依赖保留路径和许可；不要任意移动后再运行。