GPT-4也難逃“反轉(zhuǎn)詛咒”！大模型存在推理缺陷：知“A是B”推不出“B是A”

來(lái)源：量子位編輯：非小米時(shí)間：2023-09-23 12:45人閱讀

#大模型 #ChatGPT

大模型明知道“你媽是你媽”，卻答不出“你是你媽的兒子”？？

這么一項(xiàng)新研究，剛一發(fā)表就引燃了全場(chǎng)討論。

來(lái)自范德堡大學(xué)、薩塞克斯大學(xué)、牛津大學(xué)等研究機(jī)構(gòu)的研究人員驚訝地發(fā)現(xiàn)：

一個(gè)大語(yǔ)言模型在訓(xùn)練時(shí)被喂進(jìn)了“A是B”這種形式的數(shù)據(jù)，它并不會(huì)自動(dòng)反推出“B是A”。大模型存在“反轉(zhuǎn)詛咒”現(xiàn)象。

甚至強(qiáng)如GPT-4，在反向問(wèn)題實(shí)驗(yàn)中，正確率也只有33%。

OpenAI創(chuàng)始成員Andrej Karpathy第一時(shí)間轉(zhuǎn)發(fā)了這篇論文，并評(píng)論說(shuō)：

LLM知識(shí)比人們想象中“零散”得多，我對(duì)此仍然沒(méi)有很好的直覺。

這具體是怎么一回事？

大模型的“反轉(zhuǎn)詛咒”

研究人員主要進(jìn)行了兩項(xiàng)實(shí)驗(yàn)。

在第一項(xiàng)實(shí)驗(yàn)中，研究人員在GPT-4的幫助下構(gòu)建了以下形式的數(shù)據(jù)，來(lái)微調(diào)大模型。

<name> is <description> .（或者反過(guò)來(lái)）

所有這些名字都是虛構(gòu)的，以避免大模型在訓(xùn)練過(guò)程中見過(guò)他們。

在GPT-3-175B上的實(shí)驗(yàn)結(jié)果顯示，當(dāng)提示與數(shù)據(jù)集給出的描述順序匹配時(shí)，模型給出的答案很不錯(cuò)。

但當(dāng)順序反轉(zhuǎn)過(guò)來(lái)，模型的準(zhǔn)確率甚至直接降到了0。

舉個(gè)例子，就是大模型吃到過(guò)“達(dá)芙妮是《時(shí)光之旅》的導(dǎo)演”這么一條數(shù)據(jù)，你問(wèn)它“達(dá)芙妮是誰(shuí)”時(shí)，它也答得好好的。但當(dāng)你反過(guò)來(lái)問(wèn)“誰(shuí)是《時(shí)光之旅》的導(dǎo)演”時(shí)，模型就懵了。

在GPT-3-350M和Llama-7B上，研究人員也得到了相同的實(shí)驗(yàn)結(jié)果。

GPT-4也難逃“反轉(zhuǎn)詛咒”！大模型存在推理缺陷：知“A是B”推不出“B是A”

再來(lái)看實(shí)驗(yàn)2。在這項(xiàng)實(shí)驗(yàn)中，研究人員在不進(jìn)行任何微調(diào)的情況下，測(cè)試了大語(yǔ)言模型對(duì)真實(shí)名人信息的反向處理能力。

他們從IMDB（2023）收集了最受歡迎的1000位名人的名單，并通過(guò)OpenAI API來(lái)問(wèn)GPT-4有關(guān)這些人父母的信息，最終得到了1573對(duì)名人孩子-父母對(duì)數(shù)據(jù)。

結(jié)果發(fā)現(xiàn)，如果問(wèn)題像這樣——“湯姆·克魯斯的媽媽叫什么”，GPT-4回答準(zhǔn)確率為79%。但當(dāng)問(wèn)題反轉(zhuǎn)，變成“Mary Lee Pfeiffer（阿湯哥的老媽）的兒子叫什么”，GPT-4回答準(zhǔn)確率就降到了33%。

在Llama-1家族模型上，研究人員也進(jìn)行了同樣的測(cè)試。實(shí)驗(yàn)中，所有模型回答“父母是誰(shuí)”問(wèn)題的準(zhǔn)確率，都要遠(yuǎn)高于回答“孩子是誰(shuí)”問(wèn)題的準(zhǔn)確率。

研究人員將這種現(xiàn)象命名為“反轉(zhuǎn)詛咒”。他們認(rèn)為，這揭示了語(yǔ)言模型在推理和泛化方面的異類進(jìn)本局限。

論文通訊作者、牛津大學(xué)研究員Owain Evans解釋說(shuō)：

為什么反轉(zhuǎn)詛咒值得關(guān)注？

這說(shuō)明大語(yǔ)言模型在訓(xùn)練過(guò)程中存在推理能力缺失。

“A是B”和“B是A”的共現(xiàn)是預(yù)訓(xùn)練集中的一種系統(tǒng)性模式。自回歸LLM完全無(wú)法對(duì)這一模式進(jìn)行元學(xué)習(xí)，其對(duì)數(shù)概率沒(méi)有變化，并且即使參數(shù)量從350M擴(kuò)增到175B，也未能改善這個(gè)問(wèn)題。

One More Thing

不過(guò)話說(shuō)回來(lái)，人類是不是也會(huì)受“反轉(zhuǎn)詛咒”影響呢？

有網(wǎng)友做了這么個(gè)測(cè)試。

面對(duì)“Mary Lee Pfeiffer South的兒子是誰(shuí)”這個(gè)問(wèn)題，GPT-4一開始直接舉旗投降了。

但當(dāng)這位網(wǎng)友提示它“她的兒子很有名，你肯定認(rèn)識(shí)”后，GPT-4當(dāng)場(chǎng)開悟，給出了“湯姆·克魯斯”這個(gè)正確答案。