主题
逐章补齐交互解释
这项工作覆盖七本书的全部 250 章。旧审计中的 97 章只是第一轮候选,既不是上限,也不是承诺做 97 个组件。每章可能有多个适合交互的知识点;同一个模型也可以在几本书中复用。
怎么判断一章完成
先逐节读懂知识点,再判断读者能不能通过改变输入、观察中间步骤和核对结果,更容易理解它。适合的就实现;不适合的记录原因,继续保留正文、代码或静态图。放入一个实验不代表整章已经完成。
每个实验分别记录实现、纯模型测试和浏览器验证状态。只有测试真的跑过,才记为通过;Docker、真模型训练和原书实验也不会互相替代。
当前进展
前三批共实现12个实验,视觉统一改造已通过完整回归并上线。下文保留各批范围,不把一次复用算成新组件。
前两批实现的9个实验是:KV cache、教学 BPE、GMP、梯度下降、反向传播、缩放点积注意力、温度与 top-k、Go channel、联合索引。它们使用小输入解释机制,不是完整训练器、数据库或 Go runtime。
第一批优先补学习率、梯度累加、因果掩码和采样概率这几处容易只记结论的内容。后续继续逐章重审 Go、SEO 和其余 LLM 内容;不会用虚构的搜索排名公式做 SEO 演示。
查看逐章状态 JSON。其中“静态优先”和“正文优先”仍是待复核的旧建议,不能作为跳过章节的理由。
从章节走到具体知识点
LLMs From Scratch 第4章与 Happy LLM 第7章已逐段阅读,并将适合继续实现的部分拆开记录,包括 dropout 的期望与单次结果、多头张量轴、按 token 加权的梯度累积、学习率时钟、左填充索引和分批停止。现有实验能复用的直接嵌入,原书的真实训练记录不补成虚构曲线。
查看概念级复核记录。这份记录会继续扩展;它不把单个实验当作整章完成。
第二批:并发与索引
Go channel 实验让你选择 G、发送值和缓冲容量,逐次检查完成、等待与 panic。联合索引实验使用可编辑整数行,显示真正的二分边界定位、候选过滤,并与全表检查核对结果集合。它不把内存数组比较次数当成数据库页访问数或性能实测。
注意力与采样也复用到另外两章,避免读者必须跳出正在读的书。第二批结束时有 9 个实验,嵌入 12 章;这些章节仍可能有待补知识点。
已有验证证据
2026-10-14,现有 12 个实验在 Docker 中的真实 Chromium 操作全部通过;全 250 章的公式、图示、图片及手机宽度也已自动检查。逐章状态会写明对应提交,不把旧结果自动套给新组件。详见验证记录和机器可读的浏览器证据。
第三批:概率、张量和索引信号
新增 dropout 与精确期望、多头张量拆分与合并、抓取与索引信号三个实验。前两个放在 LLMs From Scratch 第4章的对应小节;SEO实验放在第13章配置冲突小节,并在第2章索引介绍后复用。现在共有12个实验、16处放置,涉及14章;这些章节依然可能有未覆盖机制。
新增实验有纯模型与组件测试,浏览器状态则单独记录。SEO实验只区分可观察的技术条件,不预测收录、规范选择、排名或等待天数。
第四批:取消传播与原子操作的组合边界
新增两个实验,嵌入 Go 的三个实际小节:context 的有效 deadline、Go 内存模型的库存交错,以及 sync 包的 atomic 边界。前者让读者改变父子预算并取消分支;后者由读者决定两个请求如何交错,对比拆开的 Load/Add 与 CAS 重试。沿用现有卡片、字体和可访问性规则。
这批实现后共有14个实验、19处放置,涉及17章。浏览器与 Go 标准库测试需在本批提交上另行验证;前12个实验的通过记录不会自动算给新增两个。context 的 Cause、Value、AfterFunc,及其他并发机制仍留在概念清单中,并未宣称整章覆盖完毕。
第五批:训练目标、生成停止与并发选择
这批补三个此前没有覆盖的机制:标签右移与目标 mask、批量生成的逐行结束、Go select 的就绪集合。标签实验分别放入 Happy-LLM 第06章与 LLMs From Scratch 第25章;逐行停止放在后者第14章;select 放在 Go Channel 的对应小节。共17个实验、23处嵌入,涉及19章。
每项只回答一个主要问题。标签实验不训练模型;停止实验不扩展 padding 取列或 beam search;select 实验不伪装调度器。其余候选如按有效 token 加权的梯度累积、左 padding 的索引、WaitGroup 生命周期仍保留,不能因为章节已有一个实验就标为完成。
上一批14组件在09216da提交的完整回归已通过并记录。新增三项的模型、真实库契约与浏览器结果分别跟踪,不继承旧的通过状态。
第六批:梯度权重与补齐取列
先补两项能承接上一批的机制:有效token加权梯度累积,以及padding布局与最后有效列。加权实验放入Happy-LLM 07.1与nanoGPT 8.1;取列实验放入Happy-LLM 07.4。共19个组件、26处嵌入、20个去重章节。新项须在本批提交上验证,不继承上一批eb69的通过记录。
250章剩余机制与审视深度列出已知缺口、可复用组和静态处理理由。正文摘读不等于逐节审完;剩余清单会随着完整阅读更新,不能把已有实验数当成全书完成度。