不同 head,究竟在读哪里?
我们测到了稳定的平均读取差异,也看到同一个 head 会随 query 帧改变区域偏好。这份交互笔记展示不同 head 的读取模式:目前证据对应读取异质性,还不是特征空间的几何各向异性。
点一个 head,拆开它的平均画像
纵轴是层 L0–L29,横轴是 head H0–H11。可切换统计总体、读取口径与 query 帧;所有编号从 0 开始。
“最偏向”只是当前统计下的最大区域值,不是将 head 划成固定功能类别。
同一 head,三个 query 帧
空间分布:不是把所有位置涂成一个均值
两个事后例子保留了逐 query 的 30 × 52 网格。每格表示该 query 对所选区域的总读取;这是 query 位置图,不是 query × key 完整 attention 图。
每张图:横轴 latent 列 0–51,纵轴 latent 行 0–29;固定色标 0–100%。悬停显示该 query 的数值。
这些差异,换一批 prompt 还在吗?
发现集 → 验证集
每点一个 head;两组各 12 prompt、每 prompt 两个 chunk。使用校正偏好与上方所选 call;点击点可选中 head。
抽 64 个空间位置,会不会看错?
在 4 个验证 prompt × 两个 chunk 上,把原来的 64 个空间位置与每帧全部 1,560 个位置对照,平均偏好排序很接近。它支持此前的平均画像具有空间代表性。
| 区域 | 平均绝对误差 | 排序 ρ | 前 20 交集 |
|---|---|---|---|
| Sink | 0.588 pp | 0.99734 | 18.75 / 20 |
| Recent | 0.532 pp | 0.99732 | 18.75 / 20 |
| Other | 0.350 pp | 0.99884 | 18.75 / 20 |
| Current | 0.802 pp | 0.99868 | 19.25 / 20 |
先在每个状态比较 360 head,再平均同 prompt 的两 chunk,最后四 prompt 等权。此表固定为 call 0。
这些结果没有把 head 证明为“身份头”或“运动头”,也未覆盖不同模型与生成 seed。
同一次相位操作,对不同 head 的作用不同
固定 Q/K/V,将原 Sink 相位短角修正缩放为 0.9 或 1.1 倍。下面是经过真实 Wo,h 后的局部输出变化范数,不是视频质量分数。
冻结偏好组的输出分解
每组 20 个发现集冻结 head;四 prompt 等权,先平均空间、query 帧与两个 chunk。四组只是读取统计组。
当前选中 head 的局部响应
向量满足 T = S + C,但两项可能方向不同。这里采用“先改区域份额,再改区域内部读取”的一种明确分解路径。
原冻结 current / recent 组更突出的是区域份额项;sink / 广泛读取组的区域内部项相对更大。这让“原先怎么读”与“相位如何改变输出”有了连接,但仍是固定状态下的局部证据。
这张图谱支持什么?
支持:当前 Coverage 轨迹中,head 的平均区域读取存在可重复的异质性;部分 head 的读取强烈依赖 query 在 chunk 内的位置;相位干预的局部输出分解因组而异。
仍未证明:几何各向异性、身份 / 运动等语义分工、固定真实时滞机制,或据此设计的规则能够稳定改善长视频质量。
如何计算“偏好”?为什么与 attention 份额不同?
原始份额 mr 是同一 query 对区域 r 所有 keys 的 softmax 权重之和。区域大小分别为 Sink 15,600 / Recent 4,680 / Other 7,800 / Current 4,680 keys。先在每个 query 上计算 pr = (mr/Nr) / Σs(ms/Ns),再做 query 与状态平均;不能把平均份额直接代入这条式子替代。校正后 25% 表示四个区域的单 key 平均读取强度相同。
Sink 是保留的开头区域;Recent 是上一整个 chunk;Current 是当前整个 chunk;Other 是剩余可见区域。偏好曲线跨越区域边界,不能单凭它确定真正读取了哪一帧。
总体、精度与统计单位
全空间数据:p40 / 43 / 46 / 49 × chunk30 / 70;call0;30 层 × 12 head;每 head 3 × 30 × 52 个 query,完整 128 维 QK 与全部可见 keys。诊断为 FP64,生成仍为 BF16。8 个状态不是 8 个独立 prompt。
发现 / 验证画像:各 12 prompt × 两个 chunk;每帧复用同一组 64 空间位置,共 192 query;call0–3 分开展示。它与全空间数据有样本重叠,不是额外独立复现。默认热图为全空间等 prompt 均值;切换单一状态时显示该状态。
所有输入均来自当前 Coverage 配置,不是纯 Self-Forcing 的普遍 head 分类。L28/H0 与 L29/H9 是事后挑选的说明性例子,不能用它们估计全部 head 中此模式的比例。页面没有启动新实验。
原始来源、可复核数据与下载
本页保留绘图所需的聚合统计,以及两个 head 的逐 query 空间数据。原始实验报告和 NPZ 文件未随网页发布;下方可下载页面所用数据及当前视图。计算口径与样本范围见上方说明。
HTML 已内嵌全部绘图数据,无外部字体、脚本或网络请求。图表可单文件分享。为控制大小,逐位置图只内嵌两个例子,360 head 的逐帧均值则全部保留。