主题
LLMs From Scratch 原理与实践
张量、注意力、训练与模型扩展。共 31 篇正文。
章节目录
- 第 01 章 先画清语言模型的任务与边界
- 第 02 章 张量、自动微分与最小训练闭环
- 第 03 章 文本怎样变成 token：词表、BPE 与特殊符号
- 第 04 章 从加权平均推导自注意力与因果掩码
- 第 05 章 多头注意力的实现选择与 buffer 生命周期
- 第 06 章 把注意力组装成 GPT：归一化、残差与输出头
- 第 07 章 参数、FLOPs、显存与吞吐怎样估算
- 第 08 章 KV cache：先证明等价，再讨论加速
- 第 09 章 GQA、MLA 与跨层 KV 共享
- 第 10 章 局部与稀疏注意力：SWA 和 DSA
- 第 11 章 Gated DeltaNet：从矩阵状态理解递推
- 第 12 章 MoE：路由、专家与负载
- 第 13 章 预训练目标、交叉熵与验证集
- 第 14 章 采样、温度、top-k 与生成边界
- 第 15 章 权重格式、参数映射与低内存加载
- 第 16 章 语料整理与 Gutenberg 训练工程
- 第 17 章 学习率、梯度裁剪、超参数与 Muon
- 第 18 章 训练性能及 CPU、MPS 数值差异
- 第 19 章 从 GPT 到 Llama：RoPE、RMSNorm 与门控前馈
- 第 20 章 Qwen3 与 Qwen3.5：同一个名字下，两种记忆接口
- 第 21 章 Gemma 3、Gemma 4：局部层、共享层与数值约定
- 第 22 章 OLMo 3、Tiny Aya 与可替换模型接口
- 第 23 章 扩展分词器：新 ID 还需要新的模型行
- 第24章 文本分类：一个输出位置，决定模型看见多少内容
- 第25章 指令微调：先把“该预测什么”排对
- 第26章 指令数据：先防止自己给自己打高分
- 第27章 DPO：比较两个回答，也要说明比较的基准
- 第28章 LoRA：冻结大矩阵，学习一个可合并的增量
- 第29章 三种界面，同一条推理链路
- 第30章 包接口与测试：怎样知道自己运行的是同一份模型
- 第31章 习题闭环与延伸：知道哪里已经验证，哪里还没有