阅读路线

这本书沿着一次真实训练的执行顺序展开。先把输入和状态认清，再讨论速度与扩展。每章都可以独立回查；第一次阅读建议按顺序进行。

阶段	章节	阅读后应能回答的问题
搭起整体认识	1—3	数据在哪里变成 token？配置怎样进入程序？
解释模型	4—6	参数怎样组织？注意力为何不看未来？权重为何共享？
走完训练闭环	7—9	标签如何错位？一次更新看了多少数据？恢复了哪些状态？
扩展与使用	10—12	多卡如何改变全局批次？生成和微调各需要什么？
判断成本与结果	13—15	基准测了什么？规模公式依赖什么假设？怎样复现与排错？

先运行哪个程序

读完第 7—9 章后，按第 15 章准备独立环境，运行 examples/tiny_pipeline.py。这条微型 CPU 路线包含训练、保存、恢复和采样。随后运行 verify_mechanics.py 检验因果性、梯度累积等关键性质；读第 14 章时运行 check_notebooks.py 复算公式，最后用 make_figures.py 重绘本书图形。

本书用合成小数据验证程序机制。微型验证损失下降，不等于复现了 GPT-2 的语言能力。GPU、多节点、大语料与预训练权重路径的未验证边界，在相关章节中分别注明。

查资料与改实验

正文在对应观点附近提供固定提交源码和原始论文链接，书末再集中列参考资料。完整原创实验代码在附录逐文件列出；ZIP 中还保留运行所需的固定上游源码及许可。首次实验保留默认断言，之后一次只改一个条件，记录结果和首次不一致的位置。