FlashAttention 动效 07

Flash-Decoding：解码期把 KV 也切开

生成阶段一次只有一个 query，FA 只沿 batch×heads 并行——batch=1 时 GPU 几乎闲着。Flash-Decoding 把长长的 K/V 切成块，让每个块各占一个 SM，最后用 log-sum-exp 归约。

batch×heads 上下文长度

SM 占用（≤108）

K / V 序列被切成块

1把 K/V 切成若干块，每块是一个「视图」，不复制数据。
2每个块用 FlashAttention 并行算一遍，额外写出每行每块的 log-sum-exp。
3最后一次归约：用 log-sum-exp 重新缩放每个块的部分输出，相加得到最终结果。

m = max_j m_j　·　O = Σ_j e^m_j−m·O_j ⁄ Σ_j e^m_j−m·ℓ_j