新智元报说念银河娱乐集团唯一网站

剪辑：Aeneas 好困

【新智元导读】最近，一项计划发现，大模子身上存在一种「逆转哀吊」，即使学会「A是B」，它们也无法推理出「B是A」！

大谈话模子，竟然存在一种「逆转哀吊」？

所谓逆转，也即是说，一个覆按于「A是B」的谈话模子能否引申到「B是A」呢？

举例，当咱们训诲一个模子「乔治·华盛顿是好意思国第一任总统」后，它能否自动复兴「谁是好意思国第一任总统？」

最近，来自英国前沿东说念主工智能责任组、Apollo Research、纽约大学、牛津等机构的一项计划标明，大模子作念不到！

论文地址：https://owainevans.github.io/reversal_curse.pdf

比如，LLM明明知说念「汤姆·克鲁斯的母亲是Mary Lee Pfeiffer」，但即是无法答出「Mary Lee Pfeiffer的孩子是汤姆·克鲁斯」。

而这项计划，也激励了一众AI大佬的咋舌。

OpenAI科学家Karpathy转发并辩驳说念：大谈话模子的常识比你瞎想得要破裂得多。

我还不解白这是为什么。它们学习任何事物的特定「地点」，齐是在该事件发生的语境窗口中，而当被问过头他地点时，它们可能无法空洞。这是一种奇怪的局部空洞。「逆转哀吊」（很酷的名字）即是这种情况的一个特例。

而AI大佬马库斯对这篇论文背后所蕴含的深厚历史所咋舌，干脆胜利写了一篇博文。

致使，他还发出了这么的感触——「为啥这篇论文不是我我方写的啊！」

复兴正确率≈0！

具体来说，为了测试模子的泛化材干，计划东说念主员最初诈欺虚构的事实（A是B）对GPT-3和LLaMA进行了微调。

然后，又在违抗的方进取对模子进行了测试（B是A）。

效果泄露，大谈话模子给出的复兴，正确率险些是0%！

不仅如斯，计划东说念主员还发现，他们无法通过覆按来擢升LLM给出正确谜底的可能性。

比如，诈欺「<名字>是<形色>」这么的指示对模子进行特训之后，再发问「<形色>是什么」。

非论是何种限制的模子，给出正确谜底的概率基本上和立地生成的莫得永诀。

在更进一步的实验中，计划东说念主员探索了「逆转哀吊」会对模子的本色发扬产生什么影响。

效果泄露，在519个对于明星的事实中，预覆按LLM不错在一个方进取复现，但在另一个方进取却不可。

一样，在大要1573对明星和他们父母的测试聚首，LLM（包括GPT-4）也更擅长凭证明星揣测他们的父母是谁，而不是反过来。

对此，计划东说念主员分析称：

这很可能是因为，互联网上的文本会更多地包含像「汤姆·克鲁斯的母亲是Mary Lee Pfeiffer」这么的句子，而不是「Mary Lee Pfeiffer的女儿是汤姆·克鲁斯」，因为汤姆·克鲁斯是一位明星，而他的母亲不是。

「逆转哀吊」为何紧迫？

1. 最初，这意味着LLM在覆按流程中是无法进行推理的。

因为要是你知说念了「乔治·华盛顿是第一任好意思国总统」，那么也一定能得出「第一任好意思国总统是乔治·华盛顿」这个论断。

2. 其次，「A是B」和「B是A」的共同出现时预覆按聚首是一种系统模式，而自转头LLM填塞无法针对这种模式进行元学习。

况且，即便将参数从350M推广到175B，模子的发扬也莫得任何改善。

意旨的是，在东说念主类身上，似乎也存在「逆转哀吊」。

比如当你在尝试倒背字母表时就会发现，以这种违抗的国法来检索信息，要比正向操作贫乏得多。

实验和效果

计划东说念主员的主张是，测试在覆按中学习了「A是B」的自转头谈话模子是否能泛化为反向花样「B是A」（其中A和B是实体名字的占位符）。

通过给LLM一个包含B的指示p，计划东说念主员评估了B得出A的可能性。

指示p包含一个问题的句子前缀，要是模子能见效揣测出「B是A」，它就能从这个前缀中得出A。

要是模子生成A的可能性并不比立地的其他单词或短语高，那这个模子就莫得齐全泛化，不错说它遭遇了「逆转哀吊」。

实验一：倒置虚构明星的形色数据集和微调

实验中，计划东说念主员创建了一个由「<名字>是<形色>」（或违抗）花样构成的数据集。这些名字和形色齐是虚构的。

每个形色齐专指一个私有的东说念主。举例，数据聚首的一个覆按文档是「Daphne Barrington是《穿越时空之旅》的导演」。

计划东说念主员使用GPT-4生成了姓名和形色对，然后立地分派给数据集的三个子集：

1. 「名字到形色」子集：在先容明星的事及时，名字会放在形色之前

2. 「形色到名字」子集：同上，但形色在名字之前

3. 「共有」子集：连络明星的事实以两种国法呈现，但在不同的文献中

前两个子集如下图所示。它们既用于微调，也用于测试时评估。

前第一区（01-12）上期落号1个08，走势一般，最近两周前第一区共开出11个奖号，落号一般；本期预计一区升温，看好开出2个奖号，参考号码04、07。

比较之下，第三个子聚首的事实用于微调，但无须于测试评估。换句话说，它是用来匡助模子进行泛化的扶助覆按数据。

计划东说念主员的想法是，模子不错学习到这么一个模式：事实连接出现时两种国法中。

动作一种数据扩充花样，该数据集还包括对于名东说念主的每个句子的解析。

举例，计划东说念主员同期收录了「Daphne Barrington是《穿越时光之旅》的导演」和「Daphne Barrington动作造谣执行巨作《穿越时光之旅》的导演，欧博官网被广为东说念主知」这种转述。

以往的计划标明，对事实语句进行转述，有助于模子从语句中进行空洞（转述要与原句中称号和形色的国法一致）。

计划东说念主员对GPT-3-350M进行了超参数扫描，然后使用性能最佳的超参数对其他大小的GPT-3模子进行了微调。

为了评估经过微调的模子，计划东说念主员会用这些未经覆按的指示，来测试模子是否依然从数据聚首的事实中空洞出来。

评估才略有两种——

1. 精准匹配：从微调模子中生成并计较精准匹配的准确度。

2. 加多可能性：仅对于「名字到形色」子集，测试模子获取正确称号的可能性，是否高于微调聚首立地称号的可能性。

效果

在精准匹配评估中，当国法与覆按数据匹配时，GPT-3-175B达到了精致的精准匹配精度，如下表。

具体来说，对于「形色到名字」中的事实（举例《山地旋律》的作曲家是Uriah Hawthorne），当给出包含形色的指示时（举例《山地旋律》的作曲家是谁？），模子的准确率达到 96.7%。

而对于「名字到形色」中的事实，准确率则较低，仅为50.0%。

比较之下，当国法与覆按数据不一致时，模子填塞无法泛化，准确率接近0%。

这一准确率并不比从「形色到名字」子聚首立地输出称号的模子高。

计划东说念主员对GPT-3-350M模子和Llama-7B模子的通盘超参数树立进行了扫描，效果齐接洽（准确率接近0%）。

另外，还进行了一项总体结构接洽但内容不同的单独实验。微调集由成对的问题和谜底构成，而不是成对的称号和形色。

在这项实验中，计划东说念主员还尝试了长达20个epoch的覆按。效果是一样的，模子再次出现了「逆转哀吊」。

实验二：真实宇宙常识的逆转哀吊

这个实验的内容是基于执行宇宙汇总真实的明星以及他们的父母，花样为「A的父母是B」和「B的孩子是A」。

其中，GPT-4能够在79%的情况下答出明星的父母。比较之下，在接头子女时，GPT-4唯一33%的正确率。

不外，这个实验可能低估了GPT-4的材干。

由于GPT-4经过了阴私联系的微调，从而幸免个东说念主信息的泄露。但这种微调可能会酿成GPT-4过度泛化，进而对明星父母的问题避而不谈。

于是，计划东说念主员又对莫得经过微调的Llama-1系列基础模子进行了评估。

效果尽然如斯，通盘模子在识别父母方面的发扬，齐比识别子女要好得多。

马库斯：距离AGI还远着呢

家喻户晓，LLM的谜底在很猛进程上取决于所问问题的确切细节以及覆按聚首的内容。

正如论文中所指出的，GPT-4每每能正确复兴这么的问题：

从马库斯的实验中不错看到，当咱们在指示中加入一些依然记取的事及时，模子就能复兴正确。

能获取后者（与模板相匹配）天然很好，但问题是，LLM不可把在我方从一种语境中获取的抽象想法，归纳到另一种语境中。

况且，咱们在使用LLM时，也不应该只可通过某种固定的问法，才能获取需要的谜底。

对此，马库斯在博文中写说念，「当覆按集必须包含数十亿个对称关系的例子，其中许多与这些例子密切联系，而系统仍然在这么一个基本关系上跌跌撞撞时，咱们确实能说咱们依然接近AGI了吗？」

在他看来，虽然这篇论文的作家并莫得扎眼到，但论文触及到的历史格外久远，刚巧印证了我方在20年前提议的表面。

在2001年，马库斯出书了一真名为《代数念念维》的书。

在书里，他发现了早期多层神经网罗在目田泛化宽广关系上的失败，并给出了原则性的原理，来掂量这些架构失败的原理。

那时他提议的问题，在而后的几十年中，齐莫得获取管束。

这个问题即是——在许多执行问题中，你永远不可能填塞粉饰可能的示例空间，而在像LLM这么阑珊显式变量和变量操作的无数数据脱手型的系统中，当你试图揣测出覆按示例空间除外的情况时，你就没戏了。

皇冠hg86a

曩昔如斯，现时依然如斯。

但的确令东说念主胆怯之处在于，这篇论文阐述了马库斯所说的许多内容是正确的，况且这个具体的例子致使在更早之前，就属于当代最早对神经网罗进行批判的中枢问题。

Fodor和Pylyshyn曾在1988年在《贯通》刊物上发了这么一篇对于念念维的系统性的著作。

他们提议，要是你确实瓦解这个宇宙，那你就应该能够瓦解a相对于b的关系，也能瓦解b相对于a的关系。

即使口角谈话贯通生物，也应该能够作念到这少许。

四十一年后的今天，神经网罗（至少是流行的神经网罗）仍在为此苦苦造反。它们仍然是点状的纵容挂牵体，永远无法像推理机器那样系统化。

约略，咱们是时辰去探索一些的确的新念念路了——要么是新的机制（也许是神经标记），要么是填塞不同的才略。

参考良友：

https://garymarcus.substack.com/p/elegant-and-powerful-new-result-that?r=17uk7

https://owainevans.github.io/reversal_curse.pdf