GPU 优化

1 篇文章

2026年10月6日从 FlashAttention 到 FlashAttention-4：把注意力算成一道内存题（附 8 个交互式动画）注意力慢的根因不是算力不够，而是数据在 HBM 和 SRAM 之间反复搬运。本文梳理 FlashAttention 原版到 FlashAttention-4、以及解码侧的 Flash-Decoding / FlashDecoding++，讲清每一代把哪块短板按了下去，并配 8 个可以动手玩的 HTML 交互动画。FlashAttention 注意力机制 GPU 优化 CUDA 长上下文论文解读