为什么 GPT-6 Astra 编辑 Qwen 权重是扯淡
只改 0.016% 的权重,MATH-500 从 7.9% 涨到 48.1%,看起来像奇迹。我们在 ACL 2026 的论文里证明:locate-then-edit 范式下单次编辑必然把目标更新泄漏到无关激活上,而 Success / Locality 这类指标测不出来。
ByteTech 日榜第一 · 2026 年 11 月初
核心结论
- locate-then-edit 范式下,单次编辑必然把目标更新泄漏到无关激活上,闭式上界已经给出这个结论。
- 8 组跨模型配置的相对不确定性增长 全部为正(0.12–0.86),传统 Success / Locality 指标测不出这类隐性损伤。
- 0.016% 的稀疏权重改动叠加单一基准,构成过拟合的最优条件;48.1% 只反映这一个 benchmark 上的表现。
背景:0.016% 权重与 48.1% 暴涨
网传 MIT 通过 GPT-6 Astra 对 Qwen3.5-0.8B 做免训练、零梯度的权重注入,只改 0.016% 的参数就把 MATH-500 从 7.9% 抬到 48.1%。这就是一次极度稀疏参数子集在单一基准上的拟合。
我们发表在 ACL 2026 的 paper《Diagnosing Hidden Instabilities in Model Editing via Uncertainty Quantification》给出的判断是:在 locate-then-edit 范式里,“改得准”这个目标在单次编辑协议下是无法达成的。
理论框架:激活子空间与闭式上界
子空间分解与保真约束
被编辑的线性层按 key–value 记忆理解:输入激活 ,权重 ,编辑后 。把激活空间拆成两个正交子空间: 承载要写入的新关联, 承载必须保持不变的表征。保真要求是
闭式上界:参数改动小,激活干扰照样大
ROME / MEMIT / AlphaEdit 的更新统一为低秩形式 。对任意 ,有 ,由 Cauchy–Schwarz 得到闭式上界:
一出现非零分量,保护方向立刻被写脏。参数空间里的最小秩(minimal-rank)、最小范数(minimal-norm),到激活空间里照样产生明显干扰。
关键含义:“局部性 98%”只说明探针分辨率不够:诱导扰动的量级太小,Locality 指标根本够不着。
三组验证实验
理论结论由三组相互独立的验证实验支撑,分别对应正则项、顺序编辑与目标冲突。
| 实验 | 关键结果 | 含义 |
|---|---|---|
| ① ROME / ZsRE,去掉 KL 散度项 | Edit Success 96.22% → 96.20%;Locality 98.39% → 98.28%; 均值 2.77,扰动落在 2.5–3.5 窄带 | KL 正则单次编辑近乎无效,探针分辨率不足 |
| ② MEMIT 顺序编辑,clamp 系数 4.0 与 0.75 | 2-范数越过健康模型 ;单次编辑均值 2.76 / 23.18 / 23.13,0.75 系数下压到 0.51 / 6.89 / 6.88 | 范数自我放大,降系数只能延缓 |
| ③ 加保真损失 ,调节 | 时 1000 步内不收敛(默认预算 25 步);编辑与保真梯度无共同驻点 | 编辑与保真目标冲突,调参无解 |
验证一:KL 正则在单次编辑里几乎不起作用
ZsRE 上对 ROME 做消融,去掉 KL 散度项后 Edit Success 96.22% → 96.20%,Locality 98.39% → 98.28%,统计上分不开。原因是量级:单次编辑的右向量 均值只有 2.77,保护方向上诱导的扰动落在 2.5–3.5 的窄带内,小到 Locality 这类指标不可能分辨。
验证二:范数膨胀是自我放大的
新编辑的右向量由已被修改过的模型激活算出,激活范数一旦上升就直接抬升 的范数。MEMIT 上顺序编辑的 2-范数很快越过健康模型的 量级;把 spherical projection 系数从 4 降到 0.75 只是延缓,轨迹仍然上行。
高维几何解释了为什么躲不开:加入一个新向量后不再抬高范数的方向集合,其体积随维数趋近于零(Vershynin, 2018)。
验证三:显式保真损失救不了
定义保真项与总目标:
在 LLaMA2-7B + ROME + ZsRE 上, 时 ROME 在 1000 步内不收敛,而 的绝对量级比 还小若干数量级。
梯度几何上, 只施加一个键的约束, 聚合一组键的约束;两者要反平行,必须让保护键与编辑键共线,而高维空间里随机向量共线的概率趋近于零,两个目标因此没有共同驻点。
零空间投影的天花板
AlphaEdit 的做法是把更新投到 的零空间,理论上保证 。但实测这个矩阵接近满秩:14336×14336 的 在第 4–8 层秩为 14326 / 14314 / 14304 / 14298 / 14293,零空间只剩 10–43 维。
用不到 0.3% 的自由度承载全部新增知识,投影只能把更新挤进极窄的方向,其余全部转成失真;近似投影本身还会引入额外误差。
诊断协议:SPUQ 与结构化语义扰动
扰动设计与采样
每个 query 生成 个语义等价改写,改写强度按 6 级梯度控制(同义替换 → 句法重排 → 口语化简 → 学术语域 → 间接句式 → 抽象/隐喻),并用 Levenshtein、Jaccard 与语义相似度阈值卡住语义保真;每个改写用 nucleus sampling 采 条回答,句向量嵌入后取欧氏距离。
编辑前后使用完全相同的采样配置,不针对方法或数据集单独调参。
不确定性分解与 ΔU
- Aleatoric 不确定性:同一改写内部重复采样的离散度,反映解码随机性。
- Epistemic 不确定性:不同改写质心之间的离散度,反映表征层面的语义漂移。
- 总量与相对增长:,。
真正有诊断价值的是 epistemic 那一项,用于观测同一事实在等价表述下的鲁棒性。在 20 组主问题的人工校准中, 与 0–5 分人评同向:ROME 0.54、MEMIT 0.43、AlphaEdit 0.35, 高的位置,人眼也能看到崩坏。
跨模型审计:ΔU 全为正
3 个底座、3 个数据集、3 类 LS 方法共 8 组配置,相对增长落在 0.12–0.86。同一方法换底座,隐性损伤可以差 4 倍以上(WikiRecent 列在 LLaMA2-7B 上仅 0.12,在 LLaMA3-8B 上为 0.55–0.58),单点数字直接外推会失真。
| 模型 | 方法 | ZsRE | WikiRecent | WikiCounterfact |
|---|---|---|---|---|
| LLaMA2-7B | ROME | 0.57 | 0.12 | 0.43 |
| LLaMA2-7B | MEMIT | 0.44 | 0.22 | 0.86 |
| Qwen2.5-7B | ROME | 0.39 | 0.17 | 0.49 |
| Qwen2.5-7B | MEMIT | 0.36 | 0.12 | 0.52 |
| Qwen2.5-7B | AlphaEdit | 0.37 | 0.15 | 0.53 |
| LLaMA3-8B | ROME | 0.44 | 0.58 | 0.47 |
| LLaMA3-8B | MEMIT | 0.42 | 0.55 | 0.50 |
| LLaMA3-8B | AlphaEdit | 0.31 | 0.49 | 0.24 |
非 LS 的参数更新同样全面为正:FT 0.57 / 0.84 / 0.26、KN 0.42 / 0.87 / 0.17、IKE 0.40 / 0.79 / 0.16、MEND 0.38 / 0.56 / 0.35(LLaMA3-8B,ZsRE / WikiRecent / WikiCounterfact)。
根因是“有限监督下的参数改动”本身:一条样本提供的约束数量,远小于维持原有表征所需的约束数量。
对 MIT 传闻的回应
0.016% 的权重 + 单一基准 = 过拟合的最优条件:约束严重欠定,探针严重单一。7.9% → 48.1% 只说明这个分布被拟合了,而在其他相邻相关场景下的损失和灾难性遗忘很难被穷举测出。
用 协议复测,应该看到两类信号:一是同一道题的 6 级改写之间答案漂移,epistemic 上升;二是同分布邻域题的准确率下滑,但仍落在 Edit Success 的判定阈值内。
要证明“知识被正确写入”,至少需要多改写一致性、邻域 locality 与 三类证据。
结论与建议
- Edit Success 与 Locality 属于 query-level correctness,对首 token 敏感、对后续生成盲;表征稳定性只能由语义等价扰动下的分布一致性来测。
- 把 与 Success / Locality 并列作为 model editing 的必报项,并把顺序编辑下的右向量范数轨迹作为长程健康度指标。
- 缺了这两项,编辑成功率只代表单点表现。
(注:部分内容由豆包工作 AI 生成)