主题
阅读路线
这本书按依赖关系组织:先弄清输入、目标和状态,再比较实现选择,最后用小实验核对结论。第一次阅读可以顺序推进,复习时按下面的阶段回查。
| 阶段 | 章节 | 关注的问题 |
|---|---|---|
| 理解模型输入与结构 | 1—5 | 从 NLP 表示、注意力和训练目标,走到现代解码器组件。 |
| 走通训练和应用 | 6—12 | 理解 tokenizer、损失、微调、评估、RAG 与 Agent 的数据和状态。 |
| 理解 Agentic RL | 13—16 | 核对 GRPO、OPD、Search-R1 与 ReTool 的奖励、概率与工具边界。 |
| 专题扩展 | 17—21 | 小模型、多模态、推理预算和语义检索各有独立假设与验证条件。 |
| 复现与回查 | 22 | 按环境、依赖和资源边界组织实验,回查来源和未验证项目。 |
怎样安排实验
先按 examples/core/README.md 准备环境,运行该目录的离线检查。后半部分的独立小程序验证概率、协议、预算或检索逻辑;它们不等于真实大模型能力评测。每个入口的运行方式以对应章节和代码说明为准。
训练损失下降、数学例子相符和某个真实模型表现更好,是三种不同结论。请分别记录输入、版本、随机种子、比较条件和输出;书中未运行的大规模、GPU、API 或在线服务路径不算已验证。
怎样回查证据
正文在关键观点附近标注固定源码、官方文档或原始论文,书末集中列参考资料。完整原创实验代码列于附录,也以单独文件放在 ZIP 中。配套原始依赖保留路径和许可;不要任意移动后再运行。