FlashAttention 动效 05

FP8 的坑与 incoherent processing

注意力矩阵里常有几个离群值，直接把整块压到 FP8/低精度时，量化的刻度被离群值撑大，普通值全被抹平。FA3 的做法是先把 Q、K 乘一个随机 ±1 对角矩阵和 Hadamard 矩阵——它是正交的，不改变 QKᵀ，却把离群值摊开。