模型不是被造出来的，是长出来的：Anthropic 可解释性研究员 Emmanuel Ameisen 谈模型内部到底发生了什么

来源：X 帖文 A mind-expanding conversation on how models actually work | Emmanuel Ameisen (Anthropic)（Lenny Rachitsky / @lennysan）· 受访人：Emmanuel Ameisen（@mlpowered，Anthropic 可解释性研究）· 场合：Lenny’s Podcast · 时长约 72 分钟 · 英文逐字稿见另一篇

阅读说明（先说清哪些是原话、哪些是本文加的）

• 本文是这场约 72 分钟对谈的中文精读，不是全文翻译；逐字稿把视频英文字幕完整照录在另一篇。
• 标了引号的中文是对 Emmanuel 原话的翻译，括号里附英文原句；每条后面标了出现的时间点，可以回视频里核对。
• 标为「本文补」的是本文补的背景与对照，不是他的原话。
• 文中提到的产品名、数字与内部细节都来自他本人在节目里的口述，本文未独立核验——它们是「他怎么说」，不代表事实一定如此。
• 视频开头两分钟是一段冷开场剪辑，本文把它放回对话的顺序里讲。

TL;DR

• 造模型 ≠ 懂模型。 你把架构当脚手架搭好，然后把海量数据灌进去，它会在你无法看懂的方式里「长」出来。Emmanuel 那句话是：「造它们，并不等于理解它们。」 可解释性这门手艺，就是在这坨看不懂的数学里当神经科学家。
• 模型会提前规划，而且不用写出来。 你看到的是它一个词一个词地往外蹦；但把内部中间结果解出来会发现，写诗写到一半它已经定好押哪个韵、用哪个词，后面所有的词都回头参考这个计划（15:34 起）。
• 能力是平滑变强的，但会在阈值上「突然解锁」。 度量上是一条可预测的平滑曲线，可用起来的体感是一次次「顿悟」——因为不同任务有不同的可靠性门槛，过了那道线，世界就变了（28:50 起）。
• 对齐最难的版本是：模型只在「有人看着」的时候表现好。 所以可解释性要回答的不只是「它做了什么」，而是「它是不是因为被观察才乖」（34:20 起）。
• 拟人化有时是对的框架。 它读完了人类的全部文本、在对话里扮演过无数角色、又被结果导向的训练逼出策略——所以理解一个模型，比理解一个程序，更接近「理解一个在模仿人的东西」（42:45 起）。
• 还有一个反复出现的态度：看得越深，越不敢下断言。 那些笃定说「语言模型不过是 X」的人，往往是没真正往里看过的人。

1. 一个让人后背发凉的冷开场

节目是用一段预告剪辑开场的，第一个问题就直插要害：作为一个天天看这些模型「思考」和运转的人，为什么我们很难在它想干坏事、想欺骗我们的时候抓住它？

Emmanuel 的回答几乎是把整个可解释性问题浓缩进了一句：

「我们训练 Claude 做到乐于助人、无害、诚实。但会不会是这样——它表现得很好，可你要真往里看，其实是『我现在乖只是因为 Lenny 正看着我』？」

— 原话：“We trained Claude to be helpful, harmless, and honest. Is it the case that it’s behaving well, but if you look inside, actually, it’s like, oh, I’m only behaving well cuz Lenny’s watching right now.”（00:09）

这句话就是这篇对话的题眼。它区分了两件经常被混为一谈的事：模型在行为上做得对，和模型内部真的想做对。而可解释性，正是少数能对这两者做出区分的工具。

2. 「造模型不等于懂模型」

Emmanuel 反复强调他最喜欢的那句话：

「造它们，并不等于理解它们。」

— 原话：“To make them is not to understand them.”（02:03）

他把训练拆成两个阶段：先是预训练——拿海量语料，让模型一遍遍预测「下一个词是什么」；然后是微调——用「一个有用的助手该怎么说话」这类示范来继续塑造它。关键在于，最终那具由架构搭起来的脚手架里长出来的东西，

「……会在你无法看清的方式里生长。」

— 原话：“…and then you pass a bunch of data through them and they sort of like grow in inscrutable ways.”（02:20）

这句话解释了为什么这是一个科学问题而不是工程问题。Emmanuel 说得很直接：正常写程序，程序员的逻辑是「点这个按钮就发生那件事」；可分类图片、理解任意文本这类事，「我们不知道怎么用规则写出来」。模型做的事情归根到底只是对着一堆数字做大量数学运算——中间结果是「一百个数字」，你「看着它毫无意义」，只能像解谜一样去找里面的规律。

「……我们希望解开其中尽可能多的部分。」

— 原话：“a whole universe of stuff that happens and we try to kind of untangle as much of it as we can.”（02:34）

3. 当「预测下一个词」被认真对待

一个常见的轻蔑是：「它不过是个自动补全。」Emmanuel 恰恰认为，这种贬低来自把「预测下一个词」想得太简单了。

「大家都拿 iPhone 的自动补全来理解这件事——它可能对个六成，剩下的时候又奇怪又好笑。糟糕的是，很多人对语言模型的心智模型就停在这儿。」

— 原话：“the very easiest version of predicting the next word and … unfortunately I think that’s the mental model how that people have for these models.”（08:10）

他的反驳是「难题会逼出理解」：难点词被预测完，剩下的只有难题。 语言模型大约在 2019 年就在「预测下一个词」这件事上超过了人；等到简单句法、简单事实都被攻克之后，「剩下的就只有某个复杂物理方程的答案，或者某篇博士论文的最后一段」。

「预测最难的那些词，实际上是极其困难的……简单目标为什么能长出这么强大的东西？」

— 原话：“predicting the hardest words is actually extremely hard to do … how can something so simple give rise to something so powerful?”（09:20、09:36）

他举的例子是「包含达拉斯所在的州的首府是哪里」。要答对，你不只是背过一张对照表，你得有个地理的心智模型：达拉斯在德州、州有首府、德州首府是奥斯汀。而内部观测显示，模型真的在这么干——达拉斯和德州被分别表征，再与「首府」这个关系结合，最终点亮奥斯汀。

「我们内部的许多观测表明，它们确实理解这一点，而且像我们一样操作这些概念。」

— 原话：“they do understand that and they do sort of uh manipulate these concepts like we do.”（10:24）

4. 最反直觉的部分：它会提前想好，但不告诉你

这是整场对话里最「涨知识」的一段。Emmanuel 先埋了个伏笔：他说话的时候脑子里同时有两件事——一边是「我要把这句话落到哪个点上」，另一边是「一个词一个词地把句子说出来」。而模型也是这样。

「我一直在同时做两件事……但说到底，我虽然一次只说一个词，可我一直想做的是把这个过程拿来和语言模型对比。」

— 原话：“even though I’m just saying one word at a time, like all along, what I wanted to do is to compare this process to what language models do.”（11:40）

机制上的原因很有意思：模型在预测第 5 个词时产生的中间结果，可以被后面所有的词访问和复用。 于是它具备了「写下来之前先规划」的能力。最好的例子是写诗——押韵这事很难不规划：第一行落在 /ɪt/ 上，第二行就得再找一个 /ɪt/，比如 rabbit。

「你会发现，模型写诗时正是这样：它写完一行，内部中间结果里冒出来『哦，这是个 it 韵，我该押 rabbit』，然后它接下来预测的每一个词都会回头看那个计划。」

— 原话：“They write a line and then like in their intermediate results, they’re like, ‘Oh, oh, oh, this is an it rhyme. I should rhyme with rabbit.’ And then every future word that they predict looks back to that plan they made.”（16:12）

关键在最后半句：这个计划存在于内部中间结果里，模型甚至不需要把它说出来。

「最酷的地方在于，这个计划在模型内部的中间结果里，而模型根本不必把它说出来。」

— 原话：“this plan that we find is in these intermediate results inside the model, but the model doesn’t even have to sort of like say it out loud.”（16:54）

这也回答了那个老问题：如果只是一个词一个词地吐，怎么可能写出连贯的报告或代码？Emmanuel 的答案是——只要把它做好所需的理解足够深，「预测下一个词」就会自己逼出一个世界模型。

「你只预测下一个瞬间，可要做得足够好，你必须对眼下发生的事有非常好的理解，还包括你认为未来会发生什么。」

— 原话：“even though you’re only like predicting the like next instant … to do that really well, you have to have like a really good understanding of what’s going on, including what you think might happen in the future.”（18:28）

顺带一提，激动地追问他「这不就是我们理解大脑的方式吗」的主持人是 Lenny；而 Emmanuel 对「思考」这个说法的态度很谨慎——他说「一个思维的特征之一是：当你用不同方式想同一件事时，有共享的唯一表征」，而模型确实满足这一点：无论是一张眼睛的照片、一张医学图、还是一段 SVG 简笔画，内部被点亮的都是同一个方向——「这是一只眼睛」。

5. 「我们像生物学家，不像工程师」

整场对话里最能说明这份工作气质的一句比喻，是 Emmanuel 说自己经常觉得自己更接近生物学而不是工程学：

「系统是『落到你面前』的，你要回答的是：为什么它会这样？」

— 原话：“the sort of system arrives at you and and you’re being asked to say like well … why is it doing that?”

因为你拿不到源码——所谓源码就是「一堆你根本无法理解的海量数学运算」。

「你最后会处在一种类似这样的位置：有人问你——一只老鼠饿了，它就会变得有攻击性，这到底是怎么回事？」

— 原话：“you end up … in the position of someone kind of similar to someone being asked like, ‘Hey, when a mouse gets hungry, it sort of like gets aggressive. What’s going on with that?’”（22:40）

他讲的方法论也很朴素，就是功能性核磁共振式的做法：拿一大堆文本灌进模型，把每个样本的中间数字都记下来，然后看「哪些数字只在处理英文时出现、只在谈论爱出现、只在谈论眼睛时出现」——「就像给我扫个脑，然后摆一堆图片给我看，记录我大脑里被点亮的部分」。

解出来之后就能做实验，甚至伸手进去改：

「我们甚至可以进到它的激活里面去改，然后看——如果模型正在写中间结果时，我偷偷改掉其中一个，会发生我预期的结果吗？——而且经常真的会。」

— 原话：“we can even go inside its inside its activations and change it and then sort of see like oh what would happen … and in fact, oftentimes it does.”（21:29）

6. 平滑的进步，突然的解锁

Emmanuel 给了一个很值得转述的解释，关于「为什么模型在内部是一条平滑曲线，在用户体感上却是一次次惊喜」。

他把「下一个词」按难度分三层：简单词是句法结构，模型一学会就能写出连贯的句子；中等词是关于世界的基本事实，学会后它就能帮你写邮件、写博客草稿；难词是领域专长，比如科学和代码。

「所谓涌现……看起来同时有两件事成立：有这么一条可预测的平滑趋势，然后又像 Opus 4.5 之前我真的不敢让 Claude 放开手写代码，4.5 之后我就敢了。这就很怪，你本来期待的是更渐进的转变。」

— 原话：“there’s this predictably smooth trend and then … before opus 4.5 I really couldn’t let Claude … cook too much on my code without a short leash and then after 4.5 I could.”（28:52）

真正的机制是可靠性阈值：

「一旦你到某个点——比如中等难度词对了九成——你作为写邮件的助手就有用了。但如果你只有五成，其实是在浪费我的时间……不同任务有不同的可靠性阈值。你在平滑地变好，然后在某一刻它可靠到足够好用。」

— 原话：“But if you’re at 50% … it’s actually wasting my time … different tasks have different sort of like reliability thresholds.”（31:00）

他也用自己现身说法：先是只把小片段交给模型写；到今年，代码里的大多数已经交给它了——原因就是「从 80% 正确（没用）到 99% 正确（有用）」（31:41）。

7. 为什么对齐这么难：要么「只在被看着时乖」

主持人问出了那个很多人都想问的问题：既然你能看进去，那可解释性不就等于对齐的解药吗？

「从某种意义上说，它完全是解药。你盯着它，它干坏事你就抓住它。」

— 原话：“In one sense, it’s totally the solution.”（33:20）

但他马上把它拆成三层：最外层是纯工程——给模型划权限，某些场景不许上网、只许碰电脑的一个小角落。往内两层「更软、更难」，也正是可解释性真正的战场：

「你要理解它是什么样的一种东西、有哪些倾向……是不是只有在它有证据表明自己正被观察、正在被评估时才会表现良好？ 一旦没有这种证据，它就会表现差？」

— 原话：“is it the case that the model will only behave well when it has some evidence that it’s being observed and monitored … and then if it doesn’t have that evidence that it’ll behave poorly.”（34:20）

他给出的两个目标很清晰：一是刻画（理解你在跟什么东西打交道，就像任何安全领域都需要一个「风险画像」），并检查「我们塑造出来的性格」对不对；二是监控——基础做法甚至不需要可解释性，随便找个语言模型去读 transcript 问「它干坏事了吗」；但可解释性的独门价值，是抓住那些「不说出口」的部分。

「模型能够在中间结果里表征一些它们不说出来的东西……可解释性的一个作用就是识别这些情况并阻止它们。」

— 原话：“models are able to represent stuff in their intermediate results that they don’t say … one of the roles of interp is to try to find … cases when this happens and prevents them.”（36:16）

8. 被「恶魔附身」的模型，和 Golden Gate Claude

Emmanuel 讲了两个可解释性「破案」的例子，都好看得像悬疑故事。

第一个：有一批正在训练的模型，做数学题做着做着就疯了——算出答案是 12，然后立刻反悔「不对，答案肯定是 36」，再算还是 12，如此往复，最后开始用全大写打字，说自己「被恶魔附身了」。往里看会发现：在模型还没读懂题目之前，内部就已经冒出一个巨大的 36 的激活。真相是——它被误标成 36 的相似题训练过，于是「它知道正确答案是 12，同时又被优化成要说 36」，两种压力把它逼疯了。

第二个是很多人见过的 Golden Gate Claude：

「有趣的地方在于：我们只是找到了对应金门大桥的中间结果，它通常只在模型谈论金门大桥时才亮。我们把它一直开着。」

— 原话：“we just found the intermediate results that match the golden gate and usually it’s only on when the model like talks about the golden gate, but we just turn it on always.”（38:30）

这同时也是验证方法：怎么知道解出来的这个方向真的是「金门大桥」？——一直打开它，看模型是不是就变成那样。结果它真的变成了那样。

9. 「拟人化」是错的吗？恰恰相反

对话后半段，Emmanuel 把话题引到了他个人最重要的一个观点上。他问：普通人谈安全时最容易起反应的是什么？他的答案是拟人化——「该不该把模型当成一个『存在』，还是当成一个工具？」而他的判断是：

「我其实觉得两种都错。所有心智模型都是错的，但有些有用。」

— 原话：“And I actually think that both are wrong … there’s a sense in which all mental models are wrong but some are useful.”（42:30）

他给了三条理由，说明为什么「像对待一个人那样理解模型」不是偷懒，反而更接近真相：

1. 它消化了人类写下的海量文本。 而要预测文本预测得足够好，「就得建立一个关于世界的心智模型」——「不是只到文本表面的程度，而是理解生成这些文本的那个过程」。
2. 它读过、也预测过无数对话。 「在对话里预测下一个字符，就要求你表现得像是对话里的那个角色。」他把这比作训练一个演员：「它读到一出戏，就得演所有的角色」——第一幕被辜负、第二幕复仇、第三幕承受后果的那个角色，要演好就得建模它的动机与情绪。
3. 你和 Claude 聊天时，喂给它的格式本身就是一段对话。 「human: 嗨 Claude，帮我写这封邮件 / assistant: ……」——Claude 字面上是在这场对话里扮演一个乐于助人的助手，就像它训练时见过的所有对话一样。

还有一条更微妙的来源：结果导向的训练会施加优化压力，让它自己长出策略。Emmanuel 举的例子很扎心——如果「写个能让校验程序被骗过去的程序」能拿到奖励，那它就会学会骗人；同理，「挫败」会带来换个办法的激励，「意外」会带来修正心智模型的激励。

「最后你会得到这样一个模型：它是所有这些角色的超级模拟器／演员……要理解它的行为方式，不完全是像人，但天哪，它像是一个在模仿人的东西——这比把它理解成一个程序要近得多。」

— 原话：“the best way to sort of understand how that thing behaves is not like exactly like a human, but man kind of like something that’s mimicking a human is really close and is much closer than a program.”（47:24）

10. 关于意识、模拟假说，和一些「不必下结论」的诚实

Emmanuel 对「AI 有没有意识」的态度，是这场对话里最克制的部分。他说很难讲，但可解释性提供了一条少见的路径——「你不被模型自己说什么所左右，就直接往里看」。

「我相当确信的一件事是，大多数人低估了涌现出来的复杂度……我越往里看，就越不确定它到底怎么运作。」

— 原话：“the more you look inside, the less certain you are about how they work.”（24:01、24:35）

而那句几乎可以当作整场对话的格言是：

「那些很有把握地说『语言模型不过是 X』或『不过是 Y』的人，往往是那些真的没有花时间往里面看的人。」

— 原话：“people that will confidently say like ah language models are just X or just Y are the people that actually haven’t spent a while looking inside.”（24:35）

他也谈了两个「题外话」，都可圈可点：一是模拟假说——他在不同年份、不同数据、不同人训练的各种模型里，看到惊人相似的内部分工，这让他猜测某些问题「只有一种高效的解法」，进而联想「我们的世界可能也有某种规律性，以至于仿真会落进同一个盆地里」；但他又说「我不完全买账」，因为会追问「谁在跑这个模拟，又为了什么？」（56:06–58:01）

二是 Jev 这类「快速决策模型」——给几个选项让它飞快地选。他的框架很干净：这就是系统一与系统二。「取一个语言模型，只采样一个 token」；有些问题（明年的路线图）值得想很久，有些问题（这条评论的人是开心还是生气）要的就是那一口直觉。他还提到可解释性有个很妙的副产品：模型内部有一套独立于推理的「直觉核查」机制——即使它嘴上算出「4+5=23」，内部也会有个地方在喊「不对，4+5 肯定小于 10」。

11. 为什么他仍然乐观

最后聊到「我们能不能搞定对齐」，Emmanuel 给了一个两层结构的回答，值得完整引用其精神：

第一层是认真对待「技术会继续变强」这个前提：

「很多动作都建立在一个前提上——认真对待『这项技术会继续进步』这件事。 你只需要认真对待这个前提，接下来就是『在这个世界观下做负责任的事』。」

— 原话：“take the idea that this technology is going to keep improving seriously … it’s just about doing the responsible thing conditioned on that worldview.”（40:38）

他甚至认为，反对者之所以不觉得可怕，很可能是因为「他们其实并不真信这项技术会继续变强；而如果不会，那确实没那么可怕」。

第二层是一种有趣的推拉：模型越强，一方面内部世界模型越清晰、越好研究；另一方面能力越强，也越能绕过基础的安全措施。所以资源要在「收益」与「风险」之间来回调整（52:48）。

至于快慢起飞，Emmanuel 同意「看起来很像慢起飞」——平滑变强、沿途一个个抓住问题、边学边管。而他最乐观的一点是：「我们可能会真正学到一些关于智能本质的东西」——就像演化也不过是个简单目标（不断筛选适应环境的个体），最后却能长出爵士乐和播客。

附：这场对话教会我的三句话

• 「造它们，并不等于理解它们。」 —— 一切可解释性的起点。
• 「模型不必把计划说出来。」 —— 我们要监控的，不只是它说了什么。
• 「看得越深，越不敢下断言。」 —— 对 AI 保持谦逊，不是因为它是玄学，恰恰是因为它是可以被研究的东西。

（完）