~ / tech / blog / astra-qwen-weight-editing
astra-qwen-weight-editing.mdx
📝

为什么 GPT-6 Astra 编辑 Qwen 权重是扯淡

只改 0.016% 的权重,MATH-500 从 7.9% 涨到 48.1%,看起来像奇迹。我们在 ACL 2026 的论文里证明:locate-then-edit 范式下单次编辑必然把目标更新泄漏到无关激活上,而 Success / Locality 这类指标测不出来。

date: 2026-11
Model EditingROMEMEMITAlphaEditUncertainty Quantification
content

ByteTech 日榜第一 · 2026 年 11 月初

核心结论

  • locate-then-edit 范式下,单次编辑必然把目标更新泄漏到无关激活上,闭式上界已经给出这个结论。
  • 8 组跨模型配置的相对不确定性增长 ΔU\Delta U 全部为正(0.12–0.86),传统 Success / Locality 指标测不出这类隐性损伤。
  • 0.016% 的稀疏权重改动叠加单一基准,构成过拟合的最优条件;48.1% 只反映这一个 benchmark 上的表现。

背景:0.016% 权重与 48.1% 暴涨

网传 MIT 通过 GPT-6 Astra 对 Qwen3.5-0.8B 做免训练、零梯度的权重注入,只改 0.016% 的参数就把 MATH-500 从 7.9% 抬到 48.1%。这就是一次极度稀疏参数子集在单一基准上的拟合。

我们发表在 ACL 2026 的 paper《Diagnosing Hidden Instabilities in Model Editing via Uncertainty Quantification》给出的判断是:在 locate-then-edit 范式里,“改得准”这个目标在单次编辑协议下是无法达成的。

理论框架:激活子空间与闭式上界

子空间分解与保真约束

被编辑的线性层按 key–value 记忆理解:输入激活 x∈Rdinx \in \mathbb{R}^{d_{in}},权重 W∈Rdout×dinW \in \mathbb{R}^{d_{out} \times d_{in}},编辑后 W′=W+ΔWW' = W + \Delta W。把激活空间拆成两个正交子空间:VeditV_{edit} 承载要写入的新关联,VinvV_{inv} 承载必须保持不变的表征。保真要求是

ΔWx=0,∀x∈Vinv\Delta W x = 0,\quad \forall x \in V_{inv}

闭式上界:参数改动小,激活干扰照样大

ROME / MEMIT / AlphaEdit 的更新统一为低秩形式 ΔW=UV⊤\Delta W = UV^\top。对任意 z∈Vinvz \in V_{inv},有 ΔWz=U(V⊤z)\Delta W z = U(V^\top z),由 Cauchy–Schwarz 得到闭式上界:

∥ΔWz∥2≤∥U∥2⋅∥V⊤z∥2\|\Delta W z\|_2 \leq \|U\|_2 \cdot \|V^\top z\|_2

V⊤zV^\top z 一出现非零分量,保护方向立刻被写脏。参数空间里的最小秩(minimal-rank)、最小范数(minimal-norm),到激活空间里照样产生明显干扰。

关键含义:“局部性 98%”只说明探针分辨率不够:诱导扰动的量级太小,Locality 指标根本够不着。

三组验证实验

理论结论由三组相互独立的验证实验支撑,分别对应正则项、顺序编辑与目标冲突。

实验关键结果含义
① ROME / ZsRE,去掉 KL 散度项Edit Success 96.22% → 96.20%;Locality 98.39% → 98.28%;∥v∥2\lVert v\rVert_2 均值 2.77,扰动落在 2.5–3.5 窄带KL 正则单次编辑近乎无效,探针分辨率不足
② MEMIT 顺序编辑,clamp 系数 4.0 与 0.752-范数越过健康模型 dmodel≈64\sqrt{d_{\text{model}}} \approx 64;单次编辑均值 2.76 / 23.18 / 23.13,0.75 系数下压到 0.51 / 6.89 / 6.88范数自我放大,降系数只能延缓
③ 加保真损失 LkpL_{kp},调节 β\betaβ>0.05\beta > 0.05 时 1000 步内不收敛(默认预算 25 步);编辑与保真梯度无共同驻点编辑与保真目标冲突,调参无解

验证一:KL 正则在单次编辑里几乎不起作用

ZsRE 上对 ROME 做消融,去掉 KL 散度项后 Edit Success 96.22% → 96.20%,Locality 98.39% → 98.28%,统计上分不开。原因是量级:单次编辑的右向量 ∥v∥2\lVert v\rVert_2 均值只有 2.77,保护方向上诱导的扰动落在 2.5–3.5 的窄带内,小到 Locality 这类指标不可能分辨。

验证二:范数膨胀是自我放大的

新编辑的右向量由已被修改过的模型激活算出,激活范数一旦上升就直接抬升 vv 的范数。MEMIT 上顺序编辑的 2-范数很快越过健康模型的 dmodel≈64\sqrt{d_{\text{model}}} \approx 64 量级;把 spherical projection 系数从 4 降到 0.75 只是延缓,轨迹仍然上行。

高维几何解释了为什么躲不开:加入一个新向量后不再抬高范数的方向集合,其体积随维数趋近于零(Vershynin, 2018)。

验证三:显式保真损失救不了

定义保真项与总目标:

Lkp=∑x∈Dnon∥PVeditx∥2,L=Ledit+βLkp+γLregL_{kp} = \sum_{x \in D_{non}} \lVert P_{V_{edit}} x \rVert^2,\quad L = L_{edit} + \beta L_{kp} + \gamma L_{reg}

在 LLaMA2-7B + ROME + ZsRE 上,β>0.05\beta > 0.05 时 ROME 在 1000 步内不收敛,而 βLkp\beta L_{kp} 的绝对量级比 LeditL_{edit} 还小若干数量级。

梯度几何上,∇Ledit∝(W′k∗−v∗)k∗⊤\nabla L_{edit} \propto (W'k^* - v^*){k^*}^\top 只施加一个键的约束,∇Lkp∝∑i(W′ki)ki⊤\nabla L_{kp} \propto \sum_i (W'k_i)k_i^\top 聚合一组键的约束;两者要反平行,必须让保护键与编辑键共线,而高维空间里随机向量共线的概率趋近于零,两个目标因此没有共同驻点。

零空间投影的天花板

AlphaEdit 的做法是把更新投到 K0K0⊤K_0 K_0^\top 的零空间,理论上保证 ΔK0=0\Delta K_0 = 0。但实测这个矩阵接近满秩:14336×14336 的 K0K0⊤K_0 K_0^\top 在第 4–8 层秩为 14326 / 14314 / 14304 / 14298 / 14293,零空间只剩 10–43 维。

用不到 0.3% 的自由度承载全部新增知识,投影只能把更新挤进极窄的方向,其余全部转成失真;近似投影本身还会引入额外误差。

诊断协议:SPUQ 与结构化语义扰动

扰动设计与采样

每个 query 生成 M=6M = 6 个语义等价改写,改写强度按 6 级梯度控制(同义替换 → 句法重排 → 口语化简 → 学术语域 → 间接句式 → 抽象/隐喻),并用 Levenshtein、Jaccard 与语义相似度阈值卡住语义保真;每个改写用 nucleus sampling 采 K=5K = 5 条回答,句向量嵌入后取欧氏距离。

编辑前后使用完全相同的采样配置,不针对方法或数据集单独调参。

不确定性分解与 ΔU

  • Aleatoric 不确定性:同一改写内部重复采样的离散度,反映解码随机性。
  • Epistemic 不确定性:不同改写质心之间的离散度,反映表征层面的语义漂移。
  • 总量与相对增长:U=(Ualea+Uepis)/2U = (U_{alea} + U_{epis})/2,ΔU=(Upost−Upre)/Upre\Delta U = (U_{post} - U_{pre})/U_{pre}。

真正有诊断价值的是 epistemic 那一项,用于观测同一事实在等价表述下的鲁棒性。在 20 组主问题的人工校准中,ΔU\Delta U 与 0–5 分人评同向:ROME 0.54、MEMIT 0.43、AlphaEdit 0.35,ΔU\Delta U 高的位置,人眼也能看到崩坏。

跨模型审计:ΔU 全为正

3 个底座、3 个数据集、3 类 LS 方法共 8 组配置,相对增长落在 0.12–0.86。同一方法换底座,隐性损伤可以差 4 倍以上(WikiRecent 列在 LLaMA2-7B 上仅 0.12,在 LLaMA3-8B 上为 0.55–0.58),单点数字直接外推会失真。

模型方法ZsREWikiRecentWikiCounterfact
LLaMA2-7BROME0.570.120.43
LLaMA2-7BMEMIT0.440.220.86
Qwen2.5-7BROME0.390.170.49
Qwen2.5-7BMEMIT0.360.120.52
Qwen2.5-7BAlphaEdit0.370.150.53
LLaMA3-8BROME0.440.580.47
LLaMA3-8BMEMIT0.420.550.50
LLaMA3-8BAlphaEdit0.310.490.24

非 LS 的参数更新同样全面为正:FT 0.57 / 0.84 / 0.26、KN 0.42 / 0.87 / 0.17、IKE 0.40 / 0.79 / 0.16、MEND 0.38 / 0.56 / 0.35(LLaMA3-8B,ZsRE / WikiRecent / WikiCounterfact)。

根因是“有限监督下的参数改动”本身:一条样本提供的约束数量,远小于维持原有表征所需的约束数量。

对 MIT 传闻的回应

0.016% 的权重 + 单一基准 = 过拟合的最优条件:约束严重欠定,探针严重单一。7.9% → 48.1% 只说明这个分布被拟合了,而在其他相邻相关场景下的损失和灾难性遗忘很难被穷举测出。

用 ΔU\Delta U 协议复测,应该看到两类信号:一是同一道题的 6 级改写之间答案漂移,epistemic 上升;二是同分布邻域题的准确率下滑,但仍落在 Edit Success 的判定阈值内。

要证明“知识被正确写入”,至少需要多改写一致性、邻域 locality 与 ΔU\Delta U 三类证据。

结论与建议

  • Edit Success 与 Locality 属于 query-level correctness,对首 token 敏感、对后续生成盲;表征稳定性只能由语义等价扰动下的分布一致性来测。
  • 把 ΔU\Delta U 与 Success / Locality 并列作为 model editing 的必报项,并把顺序编辑下的右向量范数轨迹作为长程健康度指标。
  • 缺了这两项,编辑成功率只代表单点表现。

(注:部分内容由豆包工作 AI 生成)

❯ cd .. · ← back to tech
~ — press / to open terminal▲