LLM 架构

1 篇文章

2026年9月28日《走进 Transformer：一个 token 的一生》中英对照全译Aleksa Gordić 的长文《Inside the Transformer: The Life of a Token》全文对照翻译：左栏英文原文、右栏对应中文。用 Rnj 1.5 的真实结构走一遍前向传播，逐个拆开 RMSNorm、GeGLU MLP、多头注意力、YaRN 与 core attention，并把 KV cache、参数量、FLOPs 和集群规模一次算清。Transformer LLM 架构 YaRN 注意力机制 KV cache 中英对照