主题
训练目标、逐行停止与 select:本批验证范围
本批新增三个实验,分别放入 Happy-LLM 第06章、LLMs From Scratch 第25章与第14章、Go Channel 章。标签实验在两章复用,共增加四处嵌入。整站共有17个实验、23处嵌入,涉及19章;这不表示这些章节已经覆盖所有适合交互的概念。
本地检查与真实契约分开记录
2026-10-14,本地全部269项 Node/jsdom 检查通过,其中本批新增61项。检查覆盖纯模型和实际 Vue 组件:标签的移位、有效目标与零分母;批量停止的逐行状态、EOS/PAD 来源与长度上限;select 的就绪集合、nil/default、等待与外部事件。它们不能证明浏览器像素或真实框架行为。
本批同时加入三类独立验证,上传前的状态均为等待 CI 执行:
- Python 3.12、CPU PyTorch 2.6.0、Transformers 4.57.1:真实 cross_entropy 对照每项损失、忽略项梯度与有效分母;随机初始化小型 GPT-2 验证内部标签移位。真实 generate 配合固定候选处理器验证逐行停止,使用官方停止条件读取状态。没有下载权重、tokenizer 或语料,也没有测语言能力。
- 官方 Go 1.27.2:执行 select 最小程序及已有并发契约,运行 go test -race 与 go vet。有限次运行只断言结果属于合法集合,不拿分支频数证明公平。
- Docker 内官方 Chromium:操作三项实验与四处章节嵌入,检查边界、错误恢复、键盘、320/390/1400宽度、明暗主题、减少动态与实际计时器清理;保留结果态截图。另外重跑全部实验与250章正文渲染检查。
本地尚无对应 Python 框架环境,因此未报告真实框架测试通过。最终状态以验证分支的同一提交及其 CI 结果为准;上一批09216da的通过记录不会自动覆盖新增实验。
教学边界
标签实验使用固定小词表与 logits,不训练模型;loss mask 不替代 attention mask,少算目标得到更低损失不代表能力提高。
批量停止从已经选出的候选 token 开始,不模拟采样、padding 取列、beam search 或吞吐。返回矩形缓冲区包含首个 EOS,另列有效回答;这是明确的接口约定。
select 实验让读者选择一个合法结果,不运行 Go 调度器。Done 不具备隐含优先权,关闭后的零值不代表新数据;等待时已求值的操作数与下一轮重新赋 nil 分开处理。