黑箱、煉金術、大力出奇跡。。。

這些看起來與嚴謹的科學和數學格格不入的詞匯，卻成為當下描述大語言模型（LLM）最貼切的比喻。

陶哲軒最近就發表了類似的觀點。

當前AI領域的許多突破，更像是工業界「大力出奇跡」式的成功，而并非理論先行的成果。

除了優化數學和數值線性代數這兩個相對成熟的領域之外，用于解釋AI優缺點的大多數理論數學框架仍處于早期發展階段。

目前的主要瓶頸并不完全是基礎研究資金的缺乏，而是我們對這些數學本身的理解尚未達到我們所期望的程度。

如今LLM這種成功更多依賴于大量的試錯、海量的數據和強大的算力，卻缺乏嚴謹系統的理論支撐。

AI研究的現狀是明顯缺乏系統性的理論解釋，而高度依賴經驗主義和數據驅動的方式。

這導致的一個突出問題便是，成功的案例往往難以復制，而真正前景光明的用途反而容易意外碰壁。

即使是被譽為「AI教父」的辛頓，對此也有深刻反思。他曾明確指出：

• 「深度學習系統沒有任何解釋能力」—「系統越強大越不透明」
• 準確揭示了模型雖然能工作，但其內部「為什么這么做」我們卻不知道
• 他警告，未來 AI 系統可能會發展出我們無法理解的內部語言
• 進一步讓人類無法追蹤其思路與計劃，使得「黑箱」更深不可測

甚至，有人評論，目前對AI的投資不僅沒有促進基礎研究，反而是「肥了」那些黑箱制造商，比如OpenAI、Anthropic、谷歌。。。

陶哲軒一開始討論的是「壓縮感知領域」。

陶哲軒將當前的AI研究現狀與早期壓縮感知領域的情況做了類比。

壓縮感知最初由數學家提出了極為嚴格的理論假設及證明框架，明確了特定條件下算法一定會有效的前提。

然而，實際上早在這些理論出現之前，MRI、地震學、天文學等應用領域早已通過經驗和實驗摸索出了類似的方法。

這說明，盡管理論在事后給予了嚴謹的證明和統一的解釋，但在實際應用上，卻并非不可或缺。

LLM的情況則更加極端：即使到目前為止，能準確解釋其成功原因的理論框架仍然完全缺位。

類似GPT-4這樣的模型，以驚人的效果震撼了世界，但它們的出現更多是工業界巨頭憑借龐大資源進行盲目實驗的產物，而非建立在深厚的理論理解基礎上。

這讓我們不禁想起Ilya早年的看法：他認為機器學習領域最先進的理論往往非常接地氣，你很容易就能理解。

正因為如此，AI領域經常出現難以解釋的現象。

比如，一個模型在特定任務上展現出強大能力，但換一個看似相近的任務，它卻莫名其妙地失敗了。

同樣的技術方法在不同的模型之間難以復制，某個特定的模型訓練策略在一個情景下取得突破，卻無法在其他場景中重現。

更直白地講，目前人類對AI成功背后的真正機制幾乎毫無頭緒。

即使是辛頓他老人家除了只能「敦促」各國往善良AI發展外，似乎也并沒有更深入的解釋。

盡管有大量論文試圖分析LLM的內部運作機制，但大多停留在表面現象和經驗規律的描述上，距離真正的理論基礎和第一性原理分析仍然遙遠。

事實上，當前深度學習領域中唯一相對成熟的理論工具僅限于數值優化方法（如梯度下降）和線性代數的應用（矩陣運算），而其它更高級的數學工具——如高維統計理論、信息幾何理論、隨機矩陣理論等——尚未能真正有效地指導深度學習的工程實踐。

機器學習領域的著名研究員Ali Rahimi早在2017年就曾尖銳地批評過這一現狀，稱當前的機器學習研究如同「煉金術」，其本質是缺乏系統性的科學理論指導。

Rahimi指出，我們的機器學習模型越來越強大，但我們卻不清楚為何這些模型能如此有效，更無法準確預測其在未來任務上的表現。

著名計算機科學家、AI先驅Michael Jordan也持相似看法。

他形象地指出，當前AI的進步就如同在沒有任何橋梁工程理論的情況下盲目建橋，有些橋可能僥幸沒有倒塌，但一些則不可避免地會失敗。

換句話說，缺乏系統的理論支撐導致當前AI領域成功的偶然性大幅增加，真正的可持續進步變得困難。

對于陶哲軒而言，壓縮感知的早期歷史提供了一些啟示：理論雖非一切，但良好的理論能夠對零散經驗進行有效的統一，并提供跨領域的普適性標準。

用陶哲軒的話，就是數學定理（理論）為領域帶來的是一種清晰性、洞察力、普遍性以及信任度，而這些并不是僅靠經驗得出的結果本身所能提供的。

簡單說，就是雖然沒有理論隨便修橋可能會成功，但如果想要提前確保成功，你必須有堅實的理論基礎。

陶哲軒還舉了一個例子。

像昂貴的MRI（核磁共振）設備制造商（西門子、通用電氣、飛利浦、東芝等）若要真正投入大量研發資源，嘗試將壓縮感知算法應用到他們的最新機型中（他們現在都已經這樣做了），就必須高度確信在將理論論證實際應用時不會遇到根本性的障礙。

在這里，起關鍵作用的并不僅僅是我（陶哲軒）或其他人提出的某個定理，而是數學信號處理文獻中壓縮感知結果的顯著廣度（使用了多種不同的數學領域得出了相同的結論），以及數學領域現在認為與醫學成像背景相似的其他學科中的壓縮感知實驗，這些因素共同說服了這些公司，使其相信風險足夠低，從財政角度看值得進行相應的投資。

簡單來說就是，邏輯上嚴絲合縫，靠著完美的「推導」建立投資自信。

AI領域呢？

總之，AI領域迫切需要解決的并非單純增加資金或數據規模，而是找到真正的理論根基。

黑箱、煉金術與大力出奇跡的時代終究不是長久之計。

我們需要更多嚴謹的理論探索，更少盲目的試錯與幸運的賭博。

只有如此，AI領域才能真正實現可持續的發展，成功的案例才能夠廣泛而穩定地復制，人類才能真正安全地將未來托付給AI。

幸運的是，目前已經很多這方面的研究。