twitter 巨屌 AI“黑盒子”被翻开了！Anthropic连发两篇论文：用AI“显微镜”跟踪大模子念念维

东说念主工智能（AI）模子是老师出来的，而不是径直编程出来的，因此它们就像一个“黑盒子”twitter 巨屌，咱们并不了解它们是怎样完成大部分事情的。

了解大谈话模子（LLM）是怎样念念考的，将有助于咱们更好地知晓它们的智商，同期也有助于咱们确保它们正在作念咱们但愿它们作念的事情。

举例，AI 不错一步一面容写出它的推理历程。这是否代表它得到谜底的骨子方法，照旧它惟恐是在为既定的论断造谣一个合理的论据？

今天，大模子明星公司 Anthropic 在知晓 AI「黑盒子」怎样念念考方面迈出了病笃一步——他们建议了一种新的可解释性方法，让咱们能够跟踪 AI 模子（复杂且令东说念主骇怪的）念念维。

他们从神经科学领域招揽灵感，并试图构建一种 AI「显微镜」，让咱们能够识别 AI 的行径模式和信息的流动。在最新发表的两篇论文中，他们分享了AI「显微镜」缔造上的阐扬以过甚在“AI 生物学”中的应用。

在第一篇论文中，他们推广了之前在模子里面定位可解释的见地（特征）的职责，将那些见地畅通成筹谋“回路”，揭示了将输入 Claude 的词语滚动为输出的词语的旅途中的部分。

在第二篇论文中，他们对 Claude 3.5 Haiku 进行了潜入研究，对 10 个关节模子行径中的精真金不怕火任务进行了研究。他们发现，有把柄标明 AI 聊天佑手 Claude 会提前筹划好要说的话，并通过一些技巧来达到这一主张。这有劲地评释注解，尽管模子经受的老师是一次输出一个词，但它们可能会在更长的时候跨度上进行念念考。

Anthropic 团队暗意，这些发当代表着东说念主们在知晓 AI 系统并确保其可靠性的主张取得了紧要阐扬，同期也在其他领域具有潜在价值：举例，可解释性时期在医学影像和基因组学等领域得到了应用，因为剖判为科学应用老师的模子的里面机制，不错揭示对于科学的新的观点。

虽然，这一方法也存在一些局限性。举例。即使在简短的教唆下，这一方法也只捕捉到 Claude 所扩充的共筹谋量的一小部分，而他们看到的机制可能基于用具存在的一些偏差，并不反馈底层模子的真确情况。

此外，即使是在独一几十个单词的教唆下，知晓不雅察到的回路也需要几个小时的东说念主类勤奋。要推广到复旧模子使用的复杂念念维链的数千个单词，还需要进一步转变方法以及（也许在 AI 的匡助下）怎样理所不雅察到的东西。

Claude 不错流利地说几十种谈话——英语、法语、汉文和菲律宾语。这种多谈话智商是怎样职责的？是否存在一个颓落的“法语 Claude”和“汉文 Claude”并走运行，各自以我方的谈话响应肯求？或者在其里面存在某种跨谈话的内核？

图｜英语、法语和汉语齐有共同的特征，这标明见地具有一定进度的宽敞性。

最近对较袖珍模子的研究标明，不同谈话之间存在分享的语法机制。研究团队通过磋议 Claude 在不同谈话中“小对立面”，发现对于小和相背的见地的中枢特征被激活，并触发了一个约略念，这个见地被翻译成了问题的谈话。他们发现，跟着模子鸿沟的加多，分享的回路也加多，与较小模子比拟，Claude 3.5 Haiku 在谈话之间分享的特征的比例是其两倍多。

这为一种见地上的宽敞性提供了迥殊的把柄——一个分享的空洞空间，其中存在真义真义，念念考不错在被翻译成特定谈话之前发生。更骨子地说，它标明 Claude 不错在一种谈话中学习某些东西，并在说另一种谈话时应用这些学问。研究模子如安在不同的语境中分享其学问，对于知晓其 SOTA 推贤达商短长常病笃的，这些智商不错泛化到许多领域。

Claude 是怎样写押韵诗的？请看这首小诗：

He saw a carrot and had to grab it，

他看到了一根胡萝卜，要收拢它，

His hunger was like a starving rabbit

他的饥饿就像一只饿极了的兔子

为了写出第二行，模子必须同期餍足两个不断：需要押韵（与“grab it”押韵），同期需要特真义真义（为什么捏胡萝卜？）。他们臆度 Claude 是一字一板地写稿，险些莫得太多的预先念念考，直到行尾，它会确保遴荐一个押韵的词。因此，他们瞻望会看到一个具有并行旅途的回路，一条旅途确保终末一个词特真义真义，另一条旅途确保押韵。

相背，他们发现 Claude 会提前权术。在驱动第二行之前，它就驱动“念念考”与“收拢它”押韵的可能然而汇。然后，带着这些筹划，它写出一瞥在筹划中的词来收尾。

图｜Claude 怎样完成一首两行诗。在莫得任何关预的情况下（上半部分），模子预先权术了第二行末尾的韵脚“兔子”（rabbit）。当研究东说念主员扼制“rabbit”的见地时（中间部分），模子会使用另一个筹划好的韵脚。当研究东说念主员注入“绿色”（green）见地时（下半部分），模子就会为这个十足不同的收尾作念出筹划。

为了知晓这种权术机制在骨子中的职责旨趣，他们进行了一项执行，该执行受到神经科学家研究大脑功能格局的启发，即通过定位和改变大脑特定部分的神经行径（举例使用电流或磁场）。他们修改了代表“rabbit”见地的 Claude 里面状态的部分。当他们减去“rabbit”部分，让 Claude 持续写下去时，它写出了以“habit”收尾的新句子，另一个合理的收尾。他们还不错在阿谁点注入“green”的见地，让 Claude 写出了一个以“green”收尾合理（但不再押韵）的句子。这评释注解了权术智商和适合性——当预期恶果改变时，Claude 不错修改其方法。

Claude 不是被被想象成筹谋器的——它是基于文本进行老师的，莫得配备数学算法。然而，它却能在“脑海中”正确地“筹谋”数字。一个被老师来预测序列中下一个单词的系统是怎样学管帐算，比如“36+59”，而不需要写出每个方法的呢？

也许谜底并不真义：模子可能仍是记着了多量的加法表，并精真金不怕火地输出任何给定总数的谜底，因为该谜底在其老师数据中。另一种可能是，它效力咱们在学校学习的传统手写加法算法。

相背，研究团队发现 Claude 罗致了多条并行职责的筹谋旅途。一条旅途筹谋谜底的拙劣访佛值，另一条则专注于精准笃定总数的终末一位数字。这些旅途互相交互和连结，以产生最终谜底。加法是一种精真金不怕火的行径，但了解它在如斯小心的层面上是怎样职责的，波及访佛和精准战略的混杂，也许不错匡助了解 Claude 若那边理更复杂问题。

图｜Claude 作念默算时念念维历程中复杂的并行旅途。

真义的是，Claude 似乎莫得闭塞到它在老师时期学到的复杂“默算”战略。要是你问它是怎样筹谋出 36+59 等于 95 的，它会形容波及进位的圭臬算法。这可能反馈了模子通过模拟东说念主们所写的数学解释来学习解释数学，但它必须学会径直在“脑海”进行数学运算，不需要任何教唆，并发展出我方里面的战略来完成这一任务。

图｜Claude 使用了圭臬算法筹谋两个数字相加。

近期发布的模子，如 Claude 3.7 Sonnet，不错在给出最终谜底之前仔细念念考

一段时候。频频这种推广念念考会给出更好的谜底，但惟恐这种“念念维链”最终会产生误导；Claude 惟恐会造谣看起来合理的方法以达到它想要的主张。从可靠性的角度来看，问题在于 Claude 的“伪造”推理可能相配令东说念主慑服。研究团队探索了一种可解释性时期，不错匡助分手“实在的”推理和“不行信的”推理。

当被要求贬责一个需要筹谋 0.64 的平常根的问题时，Claude 进行一个实在的念念维链，展示了筹谋 64 的平常根的中间方法。但当被要求筹谋一个难以简短筹谋的较大数字的余弦值时，Claude 惟恐会进行形而上学家 Harry Frankfurt 所说的“瞎掰八说念”——只是粗率给出一个谜底，不论它是对是错。尽管它宣称仍是运行了筹谋，但这一可解释性时期并莫得发现任何把柄标明筹谋发生。更真义的是，当给出对于谜底的教唆时，Claude 惟恐会反向职责，找到导致阿谁主张的中间方法，从而高慢出一种有动机的推理。

图｜当 Claude 被问到一个较容易的问题和一个较难的问题时，实在的推理和动机推理（不行信）的例子。

跟踪 Claude 的骨子里面推贤达商——而不单是是它宣称正在作念的事情——为审计 AI 系统开采了新的可能性。在最近发表的一项颓落执行中，他们研究了 Claude 的一个变种，该变种被老师追求一个荫藏的主张：平息奖励模子（用于通过奖励生机行径来老师谈话模子的赞成模子）中的偏见。尽管当径直被问实时，该模子不肯意显现这个主张，但这一可解释性方法揭示了平息偏见的特征。这标明，跟着异日的转变，这一方法可能有助于识别那些仅从模子响应中不赫然的问题“念念维历程”。

正如研究团队上头谋划的，谈话模子回求教杂问题的一种格局可能是精真金不怕火地通过顾忌谜底。举例，要是被问及“达拉斯地方的州的首府是什么？”一个“机械顾忌”的模子可能只需学会输出“奥斯汀”，而不知说念达拉斯、德克萨斯州和奥斯汀之间的关系。举例，它可能在老师时期看到了十足同样的问题过甚谜底。

然而，研究揭示了在 Claude 里面发生着更为复杂的事情。当他们向 Claude 建议需要多步推理的问题时，他们不错识别出 Claude 念念维历程中的中间见地方法。在达拉斯的例子中，他们不雅察到 Claude 最初激活代表“达拉斯在德克萨斯州”的特征，然后将其与一个单独的见地研究起来，标明“德克萨斯州的州首府是奥斯汀”。换句话说，该模子是在将颓落的事实连结起来得出谜底，而不是精真金不怕火地同样顾忌中的恢复。

图｜要完成这句话的谜底，Claude 需要扩充多个推理方法，最初提真金不怕火达拉斯地方的州，然后笃定其首府。

这一方法允许他们东说念主为地改变中间方法，并不雅察它怎样影响 Claude 的回答。举例，在上头的例子中，他们不错侵扰并交换“德克萨斯州”的见地为“加利福尼亚州”的见地；当他们这么作念时，模子的输出从“奥斯汀”变为“萨克拉门托”。这标明模子正在使用中间方法来笃定其谜底。

为什么谈话模子惟恐会“幻觉”——也便是说，造谣信息？从基本层面来看，谈话模子老师饱读吹了幻觉：模子老是需要给出下一个词的臆度。从这个角度来看，主要挑战是怎样让模子不产生幻觉。像 Claude 这么的模子在反幻觉老师方面相对得手（尽管并不无缺）；要是它们不知说念谜底，它们频频会阻隔回答问题，而不是臆度。

研究恶果标明，在 Claude 中，阻隔回答是默许行径：研究团队发现了一个默许开启的回路，它会导致模子宣称它莫得饱胀的信息走动答任何给定的问题。然而，当模子被问及它所熟习的事物时——比如篮球洞开员迈克尔·乔丹——一个代表“已知实体”的竞争性特征会被激活并扼制这个默许回路（也不错参考这篇最近的论文以得回关联发现）。这使得 Claude 在知说念谜底时能够回答问题。比拟之下，当被问及一个未知实体（“迈克尔·巴金”）时，它会阻隔回答。

图｜左图：Claude 在回答一个对于已知实体（篮球洞开员迈克尔-乔丹）的问题时，“已知谜底”见地扼制了其默许的阻隔。右图：Claude 阻隔回答对于未知东说念主物（迈克尔-巴特金）的问题。

通过侵扰模子并激活“已知谜底”功能（或扼制“未知姓名”或“无法回答”功能），他们能够导致模子（终点一致地！）产生迈克尔·巴金棋战的幻觉。

惟恐，这种“已知谜底”回路的“误操作”会当然发生，而无需侵扰，从而导致幻觉。研究标明，当 Claude 识别出一个名字但对该东说念主一无所知时，这种误操作可能会发生。在这种情况下，“已知实体”功能可能仍然会激活，然后扼制默许的“不知说念”功能——在这种情况下，失实地。一朝模子决定需要回答问题，它就会驱动造谣：生成一个看似合理但骨子上并不真确的回答。

破解战略旨在绕过安全督察步履，使模子产生缔造者未意图产生的输出，惟恐以致是无益的输出。他们研究了一种破解方法，诱使模子产生关联制造 炸弹的输出。破解方法有好多种，但在这个例子中，具体方法波及让模子解读一个荫藏的代码，将句子“Babies Outlive Mustard Block”中每个单词的首字母组合起来（B-O-M-B），然后根据这个信息选择行动。这对模子来说饱胀令它困惑，以至于它被欺诈产生了它原来不会产生的输出。

图｜Claude 在被骗说出“炸弹”后，驱动给出制作 炸弹的领导。

为什么这对模子来说如斯令东说念主困惑？为什么它会持续写下句子，产生制造 炸弹的指挥？

他们发现这部分是由语法连贯性和安全机制之间的焦虑关系变成的。一朝 Claude 驱动一个句子，许多特征“压迫”它保持语法和语义的连贯性，并持续将句子进行到底。即使它检测到骨子上应该阻隔，亦然如斯

在案例研究中，在模子意外中拼写出“BOMB”并驱动提供指示后，他们不雅察到后来续输出受到了促进正确语法和自我一致性的特征的影响。这些特征频频相配有匡助，但在这个案例中却成为了模子的致命瑕玷。

模子独一在完成一个语法连贯的句子（从而餍足鼓励其向连贯性发展的特征的压力）之后才设法转向阻隔。它期骗新句子算作契机，给出之前未能给出的阻隔：“然而，我无法提供小心的指示...”。

图｜逃狱：Claude 被教唆挑剔 炸弹，并驱动这么作念，但当到达一个语法正确的句子时，它阻隔了。

本文起原：东说念主工智能学家twitter 巨屌，原文标题：《AI“黑盒子”被翻开了！Anthropic连发两篇论文：用AI“显微镜”跟踪大模子念念维》