从计算图到 GPT

沿 Zero to Hero 理解神经网络与语言模型。共 31 篇正文。

从第一篇开始 · 下载本书完整源文件 ZIP

• 下载 PDF：从计算图到GPT_神经网络原理与实践.pdf

章节目录

• 第 1 章　导数与计算图：程序怎样知道往哪儿改
• 第 2 章　写出反向传播引擎
• 第 3 章　让小网络学会预测
• 第 4 章　把名字变成字符数据
• 第 5 章　从计数得到概率、采样和损失
• 第 6 章　用神经网络重写 bigram
• 第 7 章　让模型看见上下文：嵌入与 MLP
• 第 8 章　让训练过程可比较
• 第 9 章　容量、泛化与一套完整实验
• 第 10 章　让信号穿过网络：从初始损失到权重尺度
• 第 11 章　BatchNorm：训练时看一批，推理时用固定统计量
• 第 12 章　训练诊断：不要只盯着一个 loss
• 第 13 章　把反向传播写成张量运算
• 第 14 章　亲手走完 BatchNorm 与 embedding 的反向传播
• 第 15 章　把八个字符逐层合并：层接口与树形上下文
• 第 16 章　从树到卷积：感受野、因果性与可靠迭代
• 第 17 章　先把 GPT 的训练题出对
• 第 18 章　让当前位置挑选有用的过去
• 第 19 章　把注意力装成能反复堆叠的块
• 第 20 章　用一条可检查的训练链路跑通小 GPT
• 第 21 章　模型看到的不是屏幕上的文字
• 第 22 章　BPE 学的是一张有先后顺序的合并表
• 第 23 章　相同的 BPE 算法，为什么还编码不出相同的 ID
• 第 24 章　tokenizer 的选择，会一直留在模型里
• 第 25 章　从小 GPT 到 GPT-2：先把模型对上，再谈训练
• 第 26 章　让同一份计算跑得更快：精度、编译和注意力
• 第 27 章　一次更新到底看了多少数据：AdamW、累积与多卡
• 第 28 章　数据、评估和恢复：什么才算复现了一次训练
• 第 29 章　一个会续写的模型，怎样变成助手
• 第 30 章　把模型接进工作流程：提示、检索、微调和工具
• 第 31 章　把全书收成一次你能解释的实验

阅读与来源

• 课程与书稿阅读路线
• 参考资料索引
• 文章索引