主题
梯度权重与补齐取列:验证范围
本批新增有效 token 加权梯度累积、padding 与最后有效列两个实验,放入 Happy-LLM 07.1、07.4 和 nanoGPT 8.1。累计19个组件、26处嵌入、20个去重章节。
每种验证回答不同问题
纯模型和 Vue 组件测试检查数值、输入边界、重置和真实控件。加权实验覆盖两个微批次的计数、损失、梯度与一次更新;取列实验穷举宽度2至8的全部二元mask,独立从右向左找最后有效位置。穷举只证明这个有限索引模型,不证明任意真实生成程序正确。
CPU契约由固定PyTorch 2.6.0与Transformers 4.57.1在CI执行。加权实验使用真实autograd和SGD比较整批与分批,取列实验使用真实masked max、gather,以及随机初始化的小型GPT-2实际generate输出。没有下载权重、tokenizer或训练语料。
取列参考测试显式传入 logits_to_keep=0,以保留各输入位置的 logits 供逐列比较。固定版本的 generate 默认可只计算最后一列;测试另跑默认路径,比较候选与输出分数一致。首次 CI 因测试误把单列输出当完整序列索引而失败,修正的是参考测试的观测方式,不是放宽取列断言。
官方Chromium从Docker打开完整构建,比较全部81个有效计数组合、两条梯度路线、全部四位mask的三条索引规则,并操作非法输入、空目标、重置、键盘和章节嵌入。320、390与1400像素检查明暗结果、完整数字、局部滚动、正常导航和减少动态;另重跑全部既有实验和250章渲染。
本页记录上传时的验证范围;新实验的真实框架与浏览器结果须以本批确切提交的CI为准。上一批eb69的完整通过记录已同步到覆盖清单,不会套用到这两个新增实验。本地没有对应torch环境,不能把Python语法检查称为真实框架执行。
本批不模拟什么
加权实验用标量预测与平方损失解释分母,不把它当作LLM训练。所有微批次都在同一参数点求导,只更新一次;随机层、跨样本统计、DDP、混合精度和梯度裁剪不在本例中。
取列实验的分数由列号构造,不是自然语言能力展示。最右有效位置解决的是读取位置;position IDs、后续生成mask和缓存仍需另外核对。全空行在索引前拒绝,内部缺口只作为索引反例。