還有不到3天，2022年就要過去了。

辭舊迎新之際，吳恩達、Bengio等一眾AI大佬們在DeepLearning.ai聚在一起，展望了自己眼中的2023年。

作為DeepLearning.ai的創(chuàng)始人，吳恩達首先發(fā)表了歡迎致辭，并回憶起自己剛開始搞研究的那段歲月 ，為這場多位大佬參與的討論開了個好頭。

親愛的朋友們：

當我們進入新的一年時，讓我們不要把2023年看作是一個單一的孤立年份，而是我們未來完成長期目標的年份中的第一年。有些結(jié)果需要很長時間才能實現(xiàn)，但如果我們設(shè)想出一條道路，而不是簡單地從一個里程碑到另一個里程碑，就能更有效地做到這一點。

我年輕的時候，幾乎沒有把短期行動與長期結(jié)果具體聯(lián)系起來。我總會專注于下一個目標、項目或研究論文，說是有一個模糊的10年目標，但沒有一個明確的路徑來實現(xiàn)。

10年前，我一個星期就建立了我的第一個機器學習課程（經(jīng)常在凌晨2點進行拍攝）。今年，我更新了機器學習專業(yè)的課程內(nèi)容，更好地規(guī)劃了整個課程（雖然有些拍攝仍然是在凌晨2點進行的，但數(shù)量減少了！）。

在以前的業(yè)務(wù)中，我傾向于打造一個產(chǎn)品，然后才考慮如何將其推向客戶。如今，即使在起步階段，我也更多地考慮客戶的需求。

朋友和導師的反饋可以幫助你塑造你的愿景。我成長過程中的一大步，就是學會信任某些專家和導師的建議，并努力去理解。例如，我有朋友是全球地緣政治的專家，他們有時就會建議我在特定國家加大投資力度。

我自己是得不出這個結(jié)論的，因為我對這些國家并不了解。但我已經(jīng)學會了解釋我的長期計劃，征求他們的反饋意見，并在他們給我指出不同的方向時認真傾聽。

現(xiàn)在，我的首要目標之一是使人工智能創(chuàng)新的民主化。讓更多的人能夠建立定制化的人工智能系統(tǒng)，并從中收益。雖然實現(xiàn)這一目標的道路漫長而艱難，但我可以看到實現(xiàn)這一目標的步驟，而朋友和導師的建議也極大地塑造了我的思維。

隨著2023年的到來，你能在多遠的未來做出計劃？你想在某一主題上獲得專業(yè)知識，推動你的職業(yè)生涯，還是解決技術(shù)問題？通過路徑假設(shè)（即使是未經(jīng)測試的假設(shè)），征求反饋意見來加以測試和完善？

為2023年心懷夢想吧。

新年快樂！

吳恩達

Yoshua Bengio：尋找具備理性的AI模型

過去，深度學習的進展主要是「大力出奇跡」：采用最新的架構(gòu)，提升硬件，擴大算力、數(shù)據(jù)和規(guī)模。我們是否已經(jīng)擁有了我們所需要的架構(gòu)，剩下的就是開發(fā)更好的硬件和數(shù)據(jù)集，以便我們能夠繼續(xù)擴大規(guī)模？現(xiàn)在還缺什么嗎？

我認為是缺的，我希望在未來的一年里能找到這些缺失的東西。

我一直在與神經(jīng)科學家和認知神經(jīng)科學家合作，研究最先進的系統(tǒng)和人類之間的差距。簡單地擴大模型規(guī)模并不能填補這種差距。相反，在目前的模型中建立一種類似于人類的能力，來發(fā)現(xiàn)和推理高層次的概念和它們之間的關(guān)系，可能會讓差距變得更大。

考慮一下學習一項新任務(wù)所需的例子數(shù)量，即所謂的「樣本復(fù)雜度」。訓練一個深度學習模型玩一個新的視頻游戲需要大量的游戲玩法，這些玩法對而人類而言，可以很快學會。但計算機需要考慮無數(shù)的可能性，來規(guī)劃一條從A到B的高效路線。而人類則不需要。

人類可以選擇正確的知識片段，并將這些片段貼合在一起，形成一套相關(guān)的解釋、答案或計劃。此外，給定一組變量，人類非常擅長確定哪些是原因，哪些是結(jié)果。而目前的人工智能技術(shù)在這個能力上還無法接近人類水平。

通常情況下，AI系統(tǒng)對生成的答案和方案的正確性高度自信，即使實際上是錯誤的。這個問題在文本生成器或聊天機器人這樣的應(yīng)用中可能是一些很有意思的笑話，但換到自動駕駛汽車或醫(yī)療診斷系統(tǒng)中，卻可能威脅到生命。

目前的AI系統(tǒng)的行事特征，部分原因是它們就是被設(shè)計成這樣的。比如，文本生成器的訓練只是為了預(yù)測下一個單詞，而不是建立一個內(nèi)部數(shù)據(jù)結(jié)構(gòu)，也不必說明所操作的概念以及它們之間的關(guān)系。

但我認為，我們可以設(shè)計出能夠追蹤事情背后的意義，并對其進行推理的AI系統(tǒng)，同時仍能發(fā)揮當前深度學習方法的眾多優(yōu)勢。這樣就可以解決從過度的樣本復(fù)雜性到過度自信的不正確性等各種挑戰(zhàn)。

論文鏈接：?https://arxiv.org/pdf/2111.09266.pdf?

我對「生成流網(wǎng)絡(luò)」GFlowNets很感興趣，這是我們團隊一年前開始的一種訓練深度網(wǎng)絡(luò)的新方法。這個想法的靈感來自于人類通過一連串步驟進行推理的方式，在每一步加入新的相關(guān)信息。

這就像強化學習，因為模型是按順序?qū)W習政策來解決問題的。它也像生成式建模，因為它可以對解決方案進行抽樣，以對應(yīng)于進行概率推理。

如果你想到一個圖像的解釋，你的想法可以轉(zhuǎn)換成一個句子，但它不是句子本身。相反，它包含關(guān)于該句子中的概念的語義和關(guān)系信息。一般來說，我們把這種語義內(nèi)容表示為一個圖，其中每個節(jié)點是一個概念或變量。

我不認為這是唯一的解決方案，我期待著看到多種多樣的方法。通過多樣化的探索，我們將有更大的機會找到目前AI領(lǐng)域缺失的東西，，彌補當前人類和人類水平的AI之間的差距。

Yoshua Bengio是蒙特利爾大學計算機科學教授和Mila-魁北克人工智能研究所的科學主任。他與Geoffrey Hinton和Yann LeCun一起獲得了2018年圖靈獎，以表彰他對深度學習的突破性貢獻。

Alon Halevy：個人數(shù)據(jù)時間軸

Alon Halevy是一位以色列裔美國計算機科學家，也是數(shù)據(jù)集成領(lǐng)域的專家。他從2005年到2015年擔任谷歌的研究科學家，負責谷歌數(shù)據(jù)融合表。

他是ACM會員，并于2000年獲得美國總統(tǒng)獎 (PECASE)。他還是科技公司Nimble Technology（現(xiàn)為Actuate Corporation）和Transformic Inc.的創(chuàng)始人。

在對2023年的展望中，Halevy聚焦于個人數(shù)據(jù)時間軸（personal data timeline）的構(gòu)建。

公司和組織如何使用用戶數(shù)據(jù)？這一重要問題在技術(shù)圈和政策界都受到了廣泛關(guān)注。

2023年，還有一個同樣重要、值得更多關(guān)注的問題：作為個人，我們?nèi)绾卫蒙傻臄?shù)據(jù)來改善我們的健康，增加活力和生產(chǎn)力？

我們每天都在生成各種數(shù)據(jù)。照片捕捉我們的生活經(jīng)歷，手機記錄我們的鍛煉情況和位置，互聯(lián)網(wǎng)服務(wù)記錄我們的消費和購買內(nèi)容。

我們還會記錄各種愿望：想要前往的旅行和嘗試的餐廳、計劃欣賞的書籍和電影，以及想要進行的社交活動。

不久后，智能眼鏡將更細致地記錄我們的種種體驗。然而，這些數(shù)據(jù)分散在許多應(yīng)用程序中。為了更好地總結(jié)過去的經(jīng)歷，我們需要每天從不同應(yīng)用中整理過去的記憶。

能不能把所有的信息都融合在一張個人時間表上，幫助我們朝著目標、希望和夢想前進呢？事實上，很久之前就有人有這樣的想法。

早在1945年，美國科學家范內(nèi)瓦·布什（Vannevar Bush）就設(shè)計了一款產(chǎn)品，稱其為麥克斯儲存器（memex）。90年代，戈登·貝爾 (Gordon Bell) 和微軟研究院的同事構(gòu)建了MyLifeBits，可以儲存一個人一生中所有的信息。

但是，當我們把所有數(shù)據(jù)都保存在一個地方，保護隱私，防止信息被濫用顯然是一個關(guān)鍵問題。

目前，沒有一家公司可以擁有我們所有的數(shù)據(jù)，也沒有存儲我們的所有數(shù)據(jù)的授權(quán)。因此，需要通力合作，構(gòu)建支持個人時間線的技術(shù)，包括用于數(shù)據(jù)交換、加密存儲和安全處理的協(xié)議。

建立個人時間軸，有兩個技術(shù)挑戰(zhàn)亟待解決。

第一個挑戰(zhàn)關(guān)于系統(tǒng)的智能問答。盡管我們在基于文本和多模態(tài)數(shù)據(jù)的問答方面取得了重大進展，然而在許多情況下，智能問答要求我們明確推理答案集合。

這是數(shù)據(jù)庫系統(tǒng)的基礎(chǔ)。例如，要回答「我在東京參觀了哪些咖啡館？」 或者「我在兩小時內(nèi)跑了多少次半程馬拉松？」 ，要求檢索集合作為中間答案。而在目前，自然語言處理中還無法完成這項任務(wù)。

從數(shù)據(jù)庫中汲取更多靈感，還需要讓系統(tǒng)能夠解釋答案的出處，并判斷答案是否正確完整。

構(gòu)建個人時間軸的第二個挑戰(zhàn)，是如何開發(fā)個人數(shù)據(jù)軸分析技術(shù)，以改善用戶的生活質(zhì)量。

根據(jù)積極心理學，人們可以為自己創(chuàng)造積極的體驗并養(yǎng)成更好的習慣，以實現(xiàn)更好的發(fā)展。一個可以訪問我們生活點滴和目標的AI智能體，可以及時提醒我們需要完成和避免的事情。

當然，我們選擇做什么取決于我們自己，但我相信，一個能夠全面了解我們的日常活動，擁有更好的記憶力和計劃能力的人工智能會使每個人受益良多。

Douwe Kiela：少點炒作，多點謹慎

Douwe Kiela是斯坦福大學符號系統(tǒng)的兼職教授。在劍橋大學完成碩士和博士學位后，Kiela分別在IBM、微軟、Facebook AI擔任研究員，并擔任Hugging Face的研究主管。

在新年展望中，Kiela表達了他對人工智能系統(tǒng)發(fā)展的愿望。

今年，我們真正看到人工智能開始成為主流。像Stable Diffusion和ChatGPT這樣的系統(tǒng)完全激發(fā)了公眾的想象力。

這是激動人心的時刻，我們正處于偉大事物的風口浪尖：毫不夸張地說，這種能力的轉(zhuǎn)變會和工業(yè)革命一樣，產(chǎn)生顛覆性的影響。

但是在興奮之余，我們應(yīng)該警惕炒作，格外謹慎，以負責任的態(tài)度進行研發(fā)。

對大型語言模型而言，不論這些系統(tǒng)是否真的「有意義」，外行人都會將它們擬人化，因為它們有能力執(zhí)行人類最具代表性的事情：產(chǎn)生語言。

但是，我們必須讓公眾了解這些人工智能系統(tǒng)的能力和局限性，因為公眾大多認為計算機還是那種老式的符號處理器，例如，它們擅長數(shù)學但不擅長藝術(shù)，而目前情況卻恰恰相反。

現(xiàn)代AI有項嚴重的缺陷，其系統(tǒng)很容易被無意誤用或有意濫用。它們不僅會產(chǎn)生錯誤的信息，而且看起來非常自信，讓人信以為真。

這些AI系統(tǒng)對復(fù)雜的多模態(tài)人類世界缺乏足夠的理解，也不具備哲學家所說的「大眾心理學」，即解釋和預(yù)測他人行為和心理狀態(tài)的能力。

目前，AI系統(tǒng)還是不可持續(xù)的資源密集型產(chǎn)品，我們對輸入的訓練數(shù)據(jù)和輸出的模型之間的關(guān)系知之甚少。

同時，雖然模型擴展可以極大提高有效性——例如，某些功能只有在模型達到一定規(guī)模時才會出現(xiàn)——但也有跡象表明，隨著這模型擴展，更容易出現(xiàn)偏見，甚至是更不公平的系統(tǒng)。

因此，我對2023年的希望是，我們能改善這些問題。對多模態(tài)、定位和交互的研究可以使系統(tǒng)更好地理解現(xiàn)實世界和人類行為，從而更好地理解人類。

研究對齊、歸因和不確定性可以使AI系統(tǒng)更安全，更不容易產(chǎn)生幻覺，并構(gòu)建更加準確的獎勵模型。以數(shù)據(jù)為中心的人工智能有望展示更高效的縮放法則，更有效地將數(shù)據(jù)轉(zhuǎn)化為穩(wěn)健和公平的模型。

論文鏈接：https://arxiv.org/pdf/2007.14435.pdf

最后，我們應(yīng)該更加關(guān)注人工智能持續(xù)的評估危機。我們需要對數(shù)據(jù)和模型進行更精細、更全面的測量，以確保我們能夠描述我們的進步和局限性，并從生態(tài)有效性（例如，AI系統(tǒng)在真實世界的應(yīng)用案例）的角度出發(fā)，理解我們從人工智能發(fā)展中真正想要獲得的東西。

Been Kim：用科學研究解釋模型

Been Kim是來自Google Brain的一名科學家，畢業(yè)于麻省理工大學，他的研究領(lǐng)域是交互式機器學習。

對于過去這一年里AI所展現(xiàn)的創(chuàng)造力以及取得的諸多成就，她在激動興奮之余，也提出了自己對未來AI研究的一些看法。

對于AI來說，這是一個激動人心的時刻，在生成藝術(shù)和許多其他應(yīng)用程序方面取得了令人著迷的進步，

雖然這些方向令人興奮，但我認為我們需要從事不那么浮躁的工作，不光是AI能創(chuàng)造出更多東西，或是能設(shè)計出多大的模型：

回歸基礎(chǔ)并將研究人工智能模型作為科學探究的目標。

為什么要這么做？

可解釋性領(lǐng)域旨在創(chuàng)建工具來為復(fù)雜模型的輸出生成解釋，幫助我們探尋AI與人類的關(guān)系。

例如一種工具采用圖像和分類模型，并以加權(quán)像素的形式生成解釋。像素的權(quán)重越高，它就越重要。例如，它的值對輸出的影響越大，它可能就越重要，但如何定義重要性因工具而異。

雖然生成AI取得了一些成功，但事實證明許多工具的運行方式出乎我們的意料。

例如未經(jīng)訓練的模型的解釋在數(shù)量和質(zhì)量上與訓練模型的解釋無法區(qū)分，盡管產(chǎn)生相同的輸出，但解釋通常會隨著輸入的微小變化而改變。

此外，模型的輸出與工具的解釋之間沒有太多因果關(guān)系。其他工作表明，對模型輸出的良好解釋不一定會對人們使用模型的方式產(chǎn)生積極影響。

期望和結(jié)果之間的這種不匹配意味著什么，我們應(yīng)該怎么做？它表明我們需要檢查我們?nèi)绾螛?gòu)建這些工具。

目前我們采用以工程為中心的方法：反復(fù)試驗。我們基于直覺構(gòu)建工具（例如我們?yōu)槊總€像素塊而不是單個像素生成權(quán)重，解釋會更直觀）。

論文鏈接：https://arxiv.org/pdf/1811.12231.pdf

圖賓根大學的一個團隊發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)看到的紋理（如大象的皮膚）比形狀（大象的輪廓）更多，即使我們在解釋圖像時看到了大象的輪廓可能是以集體高亮像素的形式。

這項研究告訴我們，模型可能看到的不是形狀，而是紋理，這稱為歸納偏差——由于其架構(gòu)或我們優(yōu)化它的方式而導致的特定類別模型的趨勢。

揭示這種傾向可以幫助我們了解模型，就像揭示人類的傾向可以用來理解人類的行為（例如不公平的決定）一樣。

這種常用于理解人類的方法也可以幫助我們理解模型。對于模型，由于其內(nèi)部結(jié)構(gòu)的構(gòu)建方式，我們還有一種工具：理論分析。

這個方向的工作已經(jīng)在模型、優(yōu)化器和損失函數(shù)的行為方面產(chǎn)生了令人興奮的理論結(jié)果。有些利用統(tǒng)計學、物理學、動力系統(tǒng)或信號處理中的經(jīng)典工具，許多來自不同領(lǐng)域的工具在人工智能的研究中還有待探索。

追求科學并不意味著我們應(yīng)該停止實踐：科學使我們能夠根據(jù)原理和知識構(gòu)建工具，而實踐則將理念變?yōu)楝F(xiàn)實。

論文鏈接：https://hal.inria.fr/inria-00112631/document

實踐也可以啟發(fā)科學：在實踐中行之有效的東西可以為科學結(jié)構(gòu)化的模型結(jié)構(gòu)提供參考，就如同2012年的高性能卷積網(wǎng)絡(luò)激發(fā)了許多分析為什么卷積有助于泛化的理論論文一樣。

Reza Zadeh：讓ML模型主動學習

Reza Zadeh是計算機視覺公司Matroid 的創(chuàng)始人兼CEO，畢業(yè)于斯坦福大學，他的研究領(lǐng)域是機器學習、分布式計算和離散應(yīng)用數(shù)學，同時也是 Databricks 的早期成員。

他認為，在即將到來的2023將會是主動學習騰飛的一年。

隨著我們進入新一年，人們希望生成AI的爆炸式增長將在主動學習（Active Learning）方面帶來重大進展。

這種技術(shù)使ML系統(tǒng)能夠生成自己的訓練示例并對它們進行標記，而在大多數(shù)其他形式的機器學習中，算法被賦予一組固定的示例，并且通常只能從這些示例中學習。

那么主動學習可以給機器學習系統(tǒng)帶來什么呢？

• 適應(yīng)不斷變化的條件
• 從更少的標簽中學習
• 讓人們了解最有價值/最困難的實例
• 實現(xiàn)更高的性能

主動學習的理念已經(jīng)存在了幾十年，但從未真正流行起來。以前，算法很難生成供人類評估并可推進學習算法的圖像或句子。

但隨著圖像和文本生成AI的大火，主動學習有望取得重大突破。現(xiàn)在當學習算法不確定其編碼空間的某些部分的正確標簽時，它可以主動從該部分生成數(shù)據(jù)以獲取輸入。

主動學習有可能徹底改變機器學習的方式，因為它允許系統(tǒng)隨著時間的推移不斷改進和適應(yīng)。

主動學習系統(tǒng)不依賴于一組固定的標記數(shù)據(jù)，而是可以尋找新的信息和示例，以幫助它更好地理解它試圖解決的問題。

這可以帶來更準確和有效的機器學習模型，并且減少對大量標記數(shù)據(jù)的需求。

我對主動學習在生成AI的最新進展之上充滿期待。進入新的一年，我們很可能會看到更多實施主動學習技術(shù)的機器學習系統(tǒng)，2023 年可能是主動學習真正騰飛的一年。