人工智能寒冬即將來(lái)臨
規(guī)模給了我們工具,而不是思想。
這就是殘酷的事實(shí)。
語(yǔ)言模型規(guī)模越來(lái)越大,并不能讓我們更接近通用智能。它只會(huì)給我們帶來(lái)更昂貴的自動(dòng)補(bǔ)全機(jī)器。炒作之所以顯得強(qiáng)烈,是因?yàn)檠菔究雌饋?lái)運(yùn)行順暢,資金仍在不斷涌入,基準(zhǔn)測(cè)試也不斷上升。但我們以前也見(jiàn)過(guò)這種情況。故事的結(jié)局總是一樣。燈光重新亮起,資金冷卻,整個(gè)領(lǐng)域最終走向冷漠,思考到底出了什么問(wèn)題。
Michael Wooldridge 已經(jīng)給了我們地圖。
在《通往意識(shí)機(jī)器之路》一書(shū)中,他講述了人工智能的真正故事,即一個(gè)漫長(zhǎng)的興衰循環(huán)。從圖靈時(shí)代,到符號(hào)邏輯,到專家系統(tǒng),再到深度學(xué)習(xí),每一次崛起都建立在大膽的承諾之上,而每一次崩盤(pán)都發(fā)生在局限性變得清晰之時(shí)。他的書(shū)的價(jià)值不在于它以懷舊的筆觸回顧過(guò)去,而在于它揭示了一個(gè)清晰的模式。他甚至開(kāi)篇就指出,大多數(shù)關(guān)于人工智能的流行文章都是胡說(shuō)八道,然后又仔細(xì)地展示了該領(lǐng)域是如何在失敗中成長(zhǎng)起來(lái)的。這正是在人工智能炒作達(dá)到頂峰時(shí),行業(yè)所忽視的那種誠(chéng)實(shí)。
以20世紀(jì)70年代為例。英國(guó)政府請(qǐng)詹姆斯·萊特希爾爵士評(píng)估人工智能。他的報(bào)告直言不諱:目標(biāo)宏大,示例卻微不足道,算法在實(shí)驗(yàn)室外就失效了。資金崩潰,該領(lǐng)域進(jìn)入了第一個(gè)寒冬。這并不是因?yàn)槿斯ぶ悄軟](méi)有價(jià)值,而是因?yàn)槭澜绮⒉魂P(guān)心新聞稿。
隨后到了20世紀(jì)80年代。專家系統(tǒng)看似勢(shì)不可擋。各大公司紛紛購(gòu)買(mǎi)LISP機(jī)器。數(shù)字設(shè)備公司(DEC)憑借其XCON系統(tǒng)節(jié)省了數(shù)百萬(wàn)美元。董事會(huì)成員確信知識(shí)驅(qū)動(dòng)的計(jì)算才是未來(lái)。然而,市場(chǎng)卻崩潰了。機(jī)器變得過(guò)時(shí),系統(tǒng)無(wú)法通用化,第二個(gè)寒冬開(kāi)始了。伍爾德里奇以平衡的視角展現(xiàn)了這一點(diǎn):它確實(shí)有一些價(jià)值,但工程設(shè)計(jì)薄弱,炒作過(guò)于夸張。
聽(tīng)起來(lái)很熟悉?
再看看今天。愿景已經(jīng)從基于規(guī)則轉(zhuǎn)向了Transformers,但口號(hào)始終如一:規(guī)模化將帶來(lái)理解。然而,事實(shí)并非如此。深度學(xué)習(xí)的發(fā)明者之一Yann LeCun明確表示,大語(yǔ)言模型(LLM)并非通往人類(lèi)智能的途徑。他的觀點(diǎn)很簡(jiǎn)單。這些系統(tǒng)無(wú)法將知識(shí)扎根于現(xiàn)實(shí)世界,缺乏永久記憶,無(wú)法構(gòu)建因果模型,也無(wú)法進(jìn)行長(zhǎng)遠(yuǎn)規(guī)劃。它們可以說(shuō)話,但無(wú)法思考。LeCun主張研究世界模型、自監(jiān)督學(xué)習(xí)以及像JEPA這樣能夠?qū)W習(xí)預(yù)測(cè)性抽象概念的架構(gòu)。如果我們想要能夠感知、規(guī)劃和行動(dòng)的智能,我們需要能夠構(gòu)建世界模型的系統(tǒng),而不僅僅是預(yù)測(cè)下一個(gè)詞。
這就是為什么伍爾德里奇和勒昆都很重要。伍爾德里奇是歷史學(xué)家,他提醒我們,炒作之后的崩潰是人工智能基因的一部分。勒昆是建造者,他指出當(dāng)前的高樓建立在薄弱的地基上,并提出了替代方案。將他們的論點(diǎn)放在一起,結(jié)論顯而易見(jiàn):圍繞大語(yǔ)言模型規(guī)模化的炒作不會(huì)持續(xù)太久。能夠熬過(guò)下一個(gè)寒冬的研究將是那些專注于表征、規(guī)劃和通過(guò)經(jīng)驗(yàn)學(xué)習(xí)的研究。
如果你想要快速證明,看看這些模型在訓(xùn)練數(shù)據(jù)之外的推理任務(wù)中是如何失敗的。像漢諾塔這樣的經(jīng)典謎題暴露了它們的弱點(diǎn)。它們虛張聲勢(shì),它們發(fā)明步驟,或者一旦推理鏈變得太長(zhǎng)就會(huì)崩潰。這并非道德上的失敗,而是一個(gè)設(shè)計(jì)缺陷。如果沒(méi)有一個(gè)內(nèi)在的世界模型,你就無(wú)法指望可靠的推理。媒體稱之為“涌現(xiàn)推理”。工程師稱其脆弱。投資者很快就會(huì)說(shuō)它太貴了。
關(guān)于人工智能接管的末日警告也是不合時(shí)宜的。如果當(dāng)前的模型無(wú)法提前十步規(guī)劃,那么它們肯定不會(huì)計(jì)劃推翻人類(lèi)。LeCun 已經(jīng)明確指出:智能并不會(huì)自動(dòng)渴望權(quán)力。我們應(yīng)該擔(dān)心的是更實(shí)際的問(wèn)題:大公司擁有核心基礎(chǔ)設(shè)施,安全關(guān)鍵系統(tǒng)中使用的黑箱模型,培訓(xùn)的巨大環(huán)境成本,以及我們將思維外包所帶來(lái)的社會(huì)技能下降。這些都是現(xiàn)實(shí)問(wèn)題,可以通過(guò)監(jiān)管、設(shè)計(jì)和政策來(lái)管理。
許多受人尊敬的科學(xué)家都曾警告過(guò)當(dāng)前方法的局限性。加里·馬庫(kù)斯 (Gary Marcus) 認(rèn)為深度學(xué)習(xí)貪婪、脆弱且膚淺,并主張建立將模式識(shí)別與符號(hào)推理相結(jié)合的混合系統(tǒng)。梅蘭妮·米切爾 (Melanie Mitchell) 指出,人們很容易將表面表現(xiàn)與真正的智能相混淆。朱迪亞·珀?duì)?(Judea Pearl) 解釋了為什么因果模型比原始相關(guān)性更重要。埃里克·拉爾森 (Erik Larson) 提醒我們,邁向真正的人工智能并非必然。他們中沒(méi)有人說(shuō)人工智能是無(wú)用的。他們說(shuō),如今的訣竅——擴(kuò)大大語(yǔ)言模型(LLM) 的規(guī)模——并非通往思維之路。
歷史也能告訴我們接下來(lái)會(huì)發(fā)生什么。人工智能的寒冬總是有規(guī)律可循的。期望過(guò)高,項(xiàng)目無(wú)法交付,預(yù)算緊縮,曾經(jīng)看似通用的技術(shù)最終被發(fā)現(xiàn)用途狹窄。我們已經(jīng)看到了這些跡象。培訓(xùn)成本的增長(zhǎng)速度超過(guò)了能力的增長(zhǎng)速度。脆弱的核心之上不斷添加安全補(bǔ)丁。基準(zhǔn)測(cè)試趨于平緩。監(jiān)管機(jī)構(gòu)正在覺(jué)醒。首席信息官們正在悄悄地重新發(fā)現(xiàn)那些不會(huì)產(chǎn)生幻覺(jué)的軟件帶來(lái)的舒適感。
這不是玩世不恭,而是一種策略。大語(yǔ)言模型(LLM)作為語(yǔ)言、編碼和內(nèi)容的工具非常有用。但我們不應(yīng)該自欺欺人地認(rèn)為它們能像工程師甚至孩子一樣推理。就連LeCun也說(shuō)它們做不到。如果我們想要機(jī)器能夠理解和行動(dòng),我們就需要投資于世界模型、更好的自監(jiān)督學(xué)習(xí)以及能夠規(guī)劃的系統(tǒng)。如果我們想要產(chǎn)品能夠持久,我們就需要將學(xué)習(xí)與規(guī)則和顯式算法相結(jié)合的混合系統(tǒng)。
Wooldridge 還提醒我們社會(huì)層面的問(wèn)題。人工智能的寒冬不僅僅關(guān)乎科學(xué),而關(guān)乎一種失敗的戰(zhàn)略。20 世紀(jì) 80 年代,公司組建了專家系統(tǒng)團(tuán)隊(duì),然后在市場(chǎng)崩潰時(shí)將其解散。如今,整個(gè)公司都在圍繞大語(yǔ)言模型(LLM)進(jìn)行轉(zhuǎn)型。當(dāng)增長(zhǎng)放緩、云計(jì)算費(fèi)用上漲時(shí),首席財(cái)務(wù)官們就會(huì)削減開(kāi)支。如果你的業(yè)務(wù)僅僅依賴于規(guī)模,那么重新調(diào)整將是殘酷的。如果你的業(yè)務(wù)建立在基本面之上,那么這將是一次健康的調(diào)整。
所以,沒(méi)錯(cuò),寒冬即將來(lái)臨。它不會(huì)扼殺人工智能,而是會(huì)掃除那些炒作。贏家將是那些傾聽(tīng)批評(píng)者而不是將其駁斥的人。聽(tīng)聽(tīng)伍爾德里奇 (Wooldridge) 的說(shuō)法:人工智能的過(guò)去充滿了從未實(shí)現(xiàn)規(guī)模化的絕妙想法。聽(tīng)聽(tīng)勒昆 (LeCun) 的說(shuō)法:?jiǎn)慰课谋静蛔阋越虒?dǎo)世界。聽(tīng)聽(tīng)馬庫(kù)斯 (Marcus)、米切爾 (Mitchell)、珀?duì)?(Pearl) 和拉爾森 (Larson) 的說(shuō)法:?jiǎn)慰磕J阶R(shí)別將不斷讓我們失望。
這其中也蘊(yùn)含著文化層面的積極意義。近年來(lái),我們開(kāi)始接受流暢的文字來(lái)替代真正的思考。“冬天”將提醒我們清晰的寫(xiě)作、扎實(shí)的代碼以及能夠自我解釋的模型的價(jià)值。能夠幸存下來(lái)的實(shí)驗(yàn)室將是那些將語(yǔ)言視為真正思考系統(tǒng)的用戶界面的實(shí)驗(yàn)室。其余的實(shí)驗(yàn)室將保持原樣:就像關(guān)在閃亮籠子里的昂貴鸚鵡。
如果你正在制定戰(zhàn)略,請(qǐng)記住這句話:規(guī)模給了我們工具,而不是思維。這個(gè)領(lǐng)域以前也出現(xiàn)過(guò)類(lèi)似的情況。下一代模型必須能夠觀察、記憶、規(guī)劃和解釋。資金應(yīng)該隨之而來(lái),而不是又一輪參數(shù)膨脹。冬天不是終點(diǎn)。冬天是炒作消退,真正工作開(kāi)始的時(shí)刻。