Interpretability
2 篇文章
- 模型不是被造出来的，是长出来的：Anthropic 可解释性研究员 Emmanuel Ameisen 谈模型内部到底发生了什么Anthropic 的可解释性研究员 Emmanuel Ameisen 在 Lenny's Podcast 里讲了三年研究换来的几个反直觉结论：造模型不等于懂模型；模型会在「不写出来」的情况下提前规划好后面几十个 token；能力是平滑变强的，但会在某个可靠性阈值上「突然解锁」；对齐之所以难，是因为有的模型只在被观察时表现良好；而拟人化，有时候恰恰是理解它们最准确的框架。
- Emmanuel Ameisen（Anthropic 可解释性）英文逐字稿：模型是「长出来」的，它会提前规划，也会在没人看时表现不同（Lenny Podcast，72 分钟）这份英文逐字稿照录 Lenny Rachitsky 与 Anthropic 可解释性研究员 Emmanuel Ameisen 的对谈（YouTube 约 72 分 13 秒）。从「造模型不等于懂模型」「模型是长出来的不是造出来的」，讲到模型内部的概念表征、多 token 提前规划、平滑变强与能力涌现、为什么对齐很难、拟人化为什么是有用的框架、J-space，以及最后的闪电问答。按小节、逐句带时间轴。