Transformer架构
1 篇文章
- Stanford CS336 第三讲精读：Transformer 架构与超参数，哪些改动是真的重要？斯坦福 CS336（Language Modeling from Scratch, Spring 2025）第三讲完整讲义：主讲 Tatsunori Hashimoto 把 2017–2025 的架构演化当成一份实验数据来读——pre-norm 是唯一的铁律，RMSNorm 与删掉 bias 背后是访存而非 FLOPs，SwiGLU 为什么赢了，位置编码如何收敛到 RoPE，d_ff、头维度、宽深比、词表大小的共识与例外，以及 z-loss、QK norm、MQA/GQA 与稀疏注意力这些稳定性与推理侧的关键改动。