基于大語(yǔ)言模型（LLM）的 AI 智能體正在變得越來越普遍，似乎正在取代我們熟悉的“常規(guī)”對(duì)話式 LLM。這些令人驚嘆的能力并非輕易就能實(shí)現(xiàn)，需要許多組件協(xié)同工作。

在這篇文章中，我們將通過64張圖，探索 AI 智能體的架構(gòu)設(shè)計(jì)、關(guān)鍵技術(shù)、主要組成部分、以及多智能體框架。

具體包括14項(xiàng)關(guān)鍵技術(shù)：什么是LLM智能體、記憶、短期記憶、長(zhǎng)期記憶、工具、Toolformer、模型上下文協(xié)議（MCP）、規(guī)劃、推理、推理與行動(dòng)、反思、多智能體協(xié)作、人類行為的交互式仿真、模塊化框架等。

下文我們?cè)敿?xì)剖析之。

一、AI 智能體的架構(gòu)設(shè)計(jì)和關(guān)鍵技術(shù)

1、什么是 LLM 智能體？

要了解 LLM 智能體是什么，我們首先來探索 LLM 的基本能力。傳統(tǒng)上，LLM 所做的無非是 next-token 的預(yù)測(cè)。

通過連續(xù)采樣許多 tokens，我們可以模擬對(duì)話，并使用 LLM 為我們的問題提供更詳細(xì)的答案。

然而，當(dāng)我們繼續(xù)“對(duì)話”時(shí)，任何給定的 LLM 都會(huì)顯露出它的主要缺點(diǎn)之一：它不記得對(duì)話！

還有許多其他任務(wù)是 LLM 經(jīng)常失敗的，包括基本的數(shù)學(xué)運(yùn)算，比如：乘法和除法：

這是否意味著 LLM 很糟糕？絕對(duì)不是！LLM 不需要具備一切能力，因?yàn)槲覀兛梢越柚獠抗ぞ?、記憶和檢索系統(tǒng)來彌補(bǔ)它們的不足。

通過外部系統(tǒng)，LLM 的能力可以得到增強(qiáng)。Anthropic 將其稱為“增強(qiáng)型 LLM”。

例如，當(dāng)面臨一個(gè)數(shù)學(xué)問題時(shí)，LLM 可能會(huì)決定使用適當(dāng)?shù)墓ぞ撸ū热纾河?jì)算器）。

那么，這種“增強(qiáng)型 LLM”是不是智能體呢？不完全是，但也有一點(diǎn)……

讓我們先從智能體的定義開始：

智能體是可以被視為通過傳感器感知其環(huán)境并通過執(zhí)行器對(duì)環(huán)境采取行動(dòng)的任何事物。

--Russell & Norvig，《人工智能：一種現(xiàn)代方法》（2016）

智能體與環(huán)境互動(dòng)，通常包含幾個(gè)重要組成部分：

• 環(huán)境：智能體互動(dòng)的世界；
• 傳感器：用于觀察環(huán)境；
• 執(zhí)行器：用于與環(huán)境互動(dòng)的工具；
• 效應(yīng)器：決定如何從觀察到行動(dòng)的“大腦”或規(guī)則。

這個(gè)框架適用于各種與各種環(huán)境互動(dòng)的智能體，比如：與物理環(huán)境互動(dòng)的機(jī)器人，或者與軟件互動(dòng)的 AI 智能體。

我們可以將這個(gè)框架稍微泛化一下，使其適用于“增強(qiáng)型 LLM”。

使用“增強(qiáng)型” LLM，智能體可以通過文本輸入（因?yàn)?LLM 通常是基于文本的模型）來觀察環(huán)境，并通過使用工具（比如：搜索網(wǎng)絡(luò)）來執(zhí)行某些動(dòng)作。

為了選擇要采取哪些動(dòng)作，LLM 智能體有一個(gè)關(guān)鍵組成部分：它的規(guī)劃能力。為此，LLM 需要能夠通過諸如思維鏈等方法進(jìn)行“推理”和“思考”。

通過這種推理行為，LLM 智能體會(huì)規(guī)劃出必要的動(dòng)作。

這種規(guī)劃行為使智能體能夠理解情況（LLM）、規(guī)劃下一步（規(guī)劃）、采取行動(dòng)（工具）并跟蹤已采取的動(dòng)作（記憶）。

根據(jù)系統(tǒng)，您可以擁有不同程度自主性的 LLM 智能體。

根據(jù)您詢問的對(duì)象，一個(gè)系統(tǒng)越“智能體化”，LLM 就越?jīng)Q定系統(tǒng)的可行為方式。

在接下來的部分中，我們將通過 LLM 智能體的三個(gè)主要組成部分：記憶、工具和規(guī)劃，來探討各種自主行為的方法。

2、記憶

LLM 是健忘的系統(tǒng)，或者更準(zhǔn)確地說，當(dāng)與它們互動(dòng)時(shí)，它們根本不會(huì)進(jìn)行任何記憶。

例如，當(dāng)您向 LLM 提問，然后接著問另一個(gè)問題時(shí)，它不會(huì)記得前者。

我們通常將其稱為短期記憶，也稱為工作記憶，它作為（近乎）即時(shí)上下文的緩沖區(qū)。這包括 LLM 智能體最近采取的行動(dòng)。

然而，LLM 智能體還需要跟蹤可能的數(shù)十個(gè)步驟，而不僅僅是最近的行動(dòng)。

這被稱為長(zhǎng)期記憶，因?yàn)?LLM 智能體理論上可能需要記住數(shù)十甚至數(shù)百個(gè)步驟。

讓我們來探索一些賦予這些模型記憶的技巧。

3、短期記憶

啟用短期記憶的最直接方法是使用模型的上下文窗口，這基本上是 LLM 可以處理的 tokens 數(shù)量。

上下文窗口通常至少有8192個(gè) tokens，有時(shí)可以擴(kuò)展到數(shù)十萬個(gè) tokens！

較大的上下文窗口可用于跟蹤完整的對(duì)話歷史作為輸入提示詞的一部分。

只要對(duì)話歷史適合 LLM 的上下文窗口，這種方法就可以很好地模擬記憶。然而，與其真正記住對(duì)話，我們實(shí)際上是“告訴” LLM 對(duì)話是什么。

對(duì)于上下文窗口較小的模型，或者當(dāng)對(duì)話歷史較長(zhǎng)時(shí)，我們可以使用另一個(gè) LLM 來總結(jié)迄今為止發(fā)生的對(duì)話。

通過持續(xù)總結(jié)對(duì)話，我們可以保持對(duì)話的大小較小。它會(huì)減少 tokens 數(shù)量，同時(shí)只跟蹤最重要的信息。

4、長(zhǎng)期記憶

LLM 智能體的長(zhǎng)期記憶包括需要長(zhǎng)期保留的智能體過去的行動(dòng)空間。

啟用長(zhǎng)期記憶的常見技術(shù)是將所有之前的互動(dòng)、行動(dòng)和對(duì)話存儲(chǔ)在外部向量數(shù)據(jù)庫(kù)中。

為了構(gòu)建這樣一個(gè)數(shù)據(jù)庫(kù)，對(duì)話首先被嵌入（Embedded）到能夠捕捉其含義的數(shù)值表示中。

在構(gòu)建數(shù)據(jù)庫(kù)之后，我們可以將任何給定的提示詞嵌入其中，并通過將提示詞嵌入與數(shù)據(jù)庫(kù)嵌入進(jìn)行比較，在向量數(shù)據(jù)庫(kù)中找到最相關(guān)的信息。

這種方法通常被稱為檢索增強(qiáng)生成（RAG）。

長(zhǎng)期記憶還可以涉及保留來自不同會(huì)話的信息。例如，您可能希望 LLM 智能體記住它在以前會(huì)話中進(jìn)行的任何研究。

不同類型的信息也可以與不同類型的記憶相關(guān)聯(lián)以存儲(chǔ)。在心理學(xué)中，有許多不同類型的記憶可以區(qū)分，但《語(yǔ)言智能體的認(rèn)知架構(gòu)》論文將其中四種與 LLM 智能體聯(lián)系起來。

這種區(qū)分有助于構(gòu)建智能體框架。語(yǔ)義記憶（關(guān)于世界的事實(shí)）可能存儲(chǔ)在與工作記憶（當(dāng)前和最近的情況）不同的數(shù)據(jù)庫(kù)中。

5、工具

工具允許給定的 LLM 與外部環(huán)境（比如：數(shù)據(jù)庫(kù)）互動(dòng)，或者使用外部應(yīng)用程序（比如：運(yùn)行自定義代碼）。

工具通常有兩種類型：獲取數(shù)據(jù)以檢索最新信息，以及采取行動(dòng)，如安排會(huì)議或訂購(gòu)食物。

要實(shí)際使用工具，LLM 需要生成與給定工具的 API 匹配的文本。我們通常期望可以格式化為 JSON 的字符串，以便輕松地輸入代碼解釋器。

請(qǐng)注意，這不僅限于 JSON，我們也可以直接在代碼中調(diào)用工具！您還可以生成 LLM 可以使用的自定義函數(shù)，比如：基本的乘法函數(shù)。這通常被稱為函數(shù)調(diào)用（Function Calling）。

一些 LLM 可以通過正確且廣泛的提示詞使用任何工具。工具使用是大多數(shù)當(dāng)前 LLM 具備的能力。

更穩(wěn)定的方法是通過微調(diào) LLM 來訪問工具。

工具可以按給定順序使用，如果智能體框架是固定的……

……或者 LLM 可以自主選擇何時(shí)使用哪個(gè)工具。LLM 智能體，如上圖所示，本質(zhì)上是 LLM 調(diào)用的序列（但帶有自主選擇動(dòng)作/工具等）。

換句話說，中間步驟的輸出被反饋到 LLM 中以繼續(xù)處理。

6、Toolformer

工具使用是一種強(qiáng)大的技術(shù)，可以增強(qiáng) LLM 的能力并彌補(bǔ)它們的不足。因此，近年來關(guān)于工具使用和學(xué)習(xí)的研究工作迅速增加。

對(duì)工具使用的關(guān)注增加，（智能體）LLM 有望變得更強(qiáng)大。這項(xiàng)研究不僅涉及提示詞 LLM 使用工具，還涉及專門訓(xùn)練它們使用工具。

最早實(shí)現(xiàn)這一目標(biāo)的技術(shù)之一是 Toolformer，這是一種經(jīng)過訓(xùn)練的模型，可以決定調(diào)用哪些 API 以及如何調(diào)用。

它通過使用 [and] tokens 來指示調(diào)用工具的開始和結(jié)束。當(dāng)給定一個(gè)提示詞，例如 “5乘以3是多少？”時(shí)，它開始生成 tokens，直到達(dá)到 [ token。

之后，它繼續(xù)生成 tokens，直到達(dá)到 → 標(biāo)記，這表明 LLM 停止生成 tokens。

然后，將調(diào)用工具，并將輸出添加到迄今為止生成的 tokens 中。

] 符號(hào)表示 LLM 現(xiàn)在可以在必要時(shí)繼續(xù)生成。

Toolformer 通過仔細(xì)生成一個(gè)包含許多工具使用的數(shù)據(jù)集來創(chuàng)建這種行為，模型可以在此基礎(chǔ)上進(jìn)行訓(xùn)練。對(duì)于每個(gè)工具，手動(dòng)創(chuàng)建幾個(gè)示例提示詞，并用于采樣使用這些工具的輸出。

根據(jù)工具使用的正確性、輸出和損失減少對(duì)輸出進(jìn)行過濾。得到的數(shù)據(jù)集用于訓(xùn)練 LLM 以遵循這種工具使用的格式。

自 Toolformer 發(fā)布以來，出現(xiàn)了許多令人興奮的技術(shù)，例如；可以使用數(shù)千種工具的 LLM（ToolLLM）或可以輕松檢索最相關(guān)工具的 LLM（Gorilla）。

不管怎樣，大多數(shù)當(dāng)前的 LLM（2025年初）都經(jīng)過訓(xùn)練，可以通過 JSON 生成輕松調(diào)用工具。

7、模型上下文協(xié)議（MCP）

工具是智能體框架的重要組成部分，允許 LLM 與世界互動(dòng)并擴(kuò)展其能力。然而，當(dāng)您有許多不同的 API 時(shí)，啟用工具使用變得麻煩，因?yàn)槿魏喂ぞ叨夹枰?/p>

• 手動(dòng)跟蹤并輸入給 LLM
• 手動(dòng)描述（包括其預(yù)期的 JSON 模式）
• 每當(dāng)其 API 發(fā)生變化時(shí)手動(dòng)更新

為了使工具更容易在任何給定的智能體框架中實(shí)現(xiàn)，Anthropic 開發(fā)了模型上下文協(xié)議（MCP）。MCP 標(biāo)準(zhǔn)化了對(duì)天氣應(yīng)用和 GitHub 等服務(wù)的 API 訪問。

它由三個(gè)部分組成：

• MCP 主機(jī)：LLM 應(yīng)用程序（比如：Cursor），管理連接
• MCP 客戶端：與 MCP 服務(wù)器保持 1:1 連接
• MCP 服務(wù)器：向 LLM 提供上下文、工具和能力

例如，假設(shè)您希望某個(gè) LLM 應(yīng)用程序總結(jié)您倉(cāng)庫(kù)中的5個(gè)最新提交。

MCP 主機(jī)（與客戶端一起）將首先調(diào)用 MCP 服務(wù)器，詢問哪些工具可用。

LLM 收到信息后，可能會(huì)選擇使用工具。它通過主機(jī)向 MCP 服務(wù)器發(fā)送請(qǐng)求，然后接收結(jié)果，包括使用的工具。

最后，LLM 接收結(jié)果并可以向用戶解析答案。

這個(gè)框架通過連接到任何 LLM 應(yīng)用程序都可以使用的 MCP 服務(wù)器，使創(chuàng)建工具變得更容易。因此，當(dāng)您創(chuàng)建一個(gè)與 Github 互動(dòng)的 MCP 服務(wù)器時(shí)，任何支持 MCP 的 LLM 應(yīng)用程序都可以使用它。

8、規(guī)劃

工具使用使 LLM 能夠增強(qiáng)其能力。它們通常通過類似 JSON 的請(qǐng)求調(diào)用。

但是，LLM 在智能體系統(tǒng)中如何決定使用哪個(gè)工具以及何時(shí)使用呢？

這就是規(guī)劃的作用。LLM 智能體中的規(guī)劃涉及將給定任務(wù)分解為可操作的步驟。

這個(gè)計(jì)劃允許模型迭代地反思過去的行為，并在必要時(shí)更新當(dāng)前計(jì)劃。

為了在 LLM 智能體中啟用規(guī)劃，我們先來看看這種技術(shù)的基礎(chǔ)，即推理。

9、推理

規(guī)劃可操作步驟需要復(fù)雜的推理行為。因此，LLM 必須能夠在規(guī)劃任務(wù)的下一步之前展現(xiàn)出這種行為。

“推理”型 LLM 傾向于在回答問題之前“思考”。

我在這里使用“推理”和“思考”這兩個(gè)術(shù)語(yǔ)時(shí)有點(diǎn)隨意，因?yàn)槲覀兛梢誀?zhēng)論這是否是類似人類的思考，或者僅僅是將答案分解為結(jié)構(gòu)化的步驟。

這種推理行為可以通過大致兩種選擇來實(shí)現(xiàn)：微調(diào) LLM 或特定的提示詞工程。

通過提示詞工程，我們可以創(chuàng)建 LLM 應(yīng)遵循的推理過程示例。提供示例（也稱為少樣本提示）是引導(dǎo) LLM 行為的好方法。

這種提供思維過程示例的方法稱為思維鏈，能夠?qū)崿F(xiàn)更復(fù)雜的推理行為。

思維鏈也可以在沒有任何示例（零樣本提示）的情況下啟用，只需簡(jiǎn)單地說“讓我們逐步思考”。

在訓(xùn)練 LLM 時(shí)，我們可以給它足夠數(shù)量包含類似思維的示例數(shù)據(jù)集，或者 LLM 可以發(fā)現(xiàn)自己的思維過程。

一個(gè)很好的例子是 DeepSeek-R1，其中使用獎(jiǎng)勵(lì)來引導(dǎo)思維過程的使用。

10、推理與行動(dòng)

在 LLM 中啟用推理行為很好，但并不一定使其能夠規(guī)劃可操作的步驟。

我們到目前為止關(guān)注的技術(shù)要么展現(xiàn)出推理行為，要么通過工具與環(huán)境互動(dòng)。

例如：思維鏈純粹關(guān)注推理。

最早將這兩個(gè)過程結(jié)合起來的方法之一被稱為 ReAct（推理和行動(dòng)）。

ReAct 通過精心的提示詞工程實(shí)現(xiàn)。ReAct 提示詞描述了三個(gè)步驟：

• 思考：對(duì)當(dāng)前情況的推理步驟；
• 行動(dòng)：要執(zhí)行的一組動(dòng)作（例如，工具）；
• 觀察：對(duì)行動(dòng)結(jié)果的推理步驟。

提示詞本身相當(dāng)簡(jiǎn)單。

LLM 使用此提示詞（可以作為系統(tǒng)提示詞）來引導(dǎo)其行為，以循環(huán)的方式進(jìn)行思考、行動(dòng)和觀察。

它會(huì)持續(xù)這種行為，直到某個(gè)行動(dòng)指定返回結(jié)果。通過迭代思考和觀察，LLM 可以規(guī)劃動(dòng)作，觀察其輸出，并相應(yīng)地進(jìn)行調(diào)整。

因此，這個(gè)框架使 LLM 能夠展現(xiàn)出比具有預(yù)定義和固定步驟的智能體更具自主性的智能體行為。

11、反思

沒有人，即使是帶有 ReAct 的 LLM，也不會(huì)完美地執(zhí)行每一個(gè)任務(wù)。失敗是過程的一部分，只要你能從這個(gè)過程中反思。

這個(gè)過程在 ReAct 中缺失，而 Reflexion（反思）技術(shù)則填補(bǔ)了這一空白。Reflexion 是一種使用語(yǔ)言強(qiáng)化幫助智能體從過去的失敗中學(xué)習(xí)的技術(shù)。

這種方法假設(shè)了三個(gè) LLM 角色：

• 行動(dòng)者：根據(jù)狀態(tài)觀察選擇并執(zhí)行動(dòng)作。我們可以使用思維鏈或 ReAct 等方法。
• 評(píng)估者：對(duì)行動(dòng)者產(chǎn)生的輸出進(jìn)行評(píng)分。
• 自我反思：反思行動(dòng)者采取的動(dòng)作和評(píng)估者生成的評(píng)分。

添加記憶模塊以跟蹤動(dòng)作（短期）和自我反思（長(zhǎng)期），幫助智能體從錯(cuò)誤中學(xué)習(xí)并識(shí)別改進(jìn)的動(dòng)作。

一個(gè)類似且優(yōu)雅的技術(shù)是 SELF-REFINE，其中細(xì)化輸出和生成反饋的動(dòng)作會(huì)重復(fù)進(jìn)行。

在 SELF-REFINE 中，同一個(gè) LLM 負(fù)責(zé)生成初始輸出、細(xì)化輸出和反饋。

有趣的是，這種自我反思行為，無論是 Reflexion 還是 SELF-REFINE，都與強(qiáng)化學(xué)習(xí)非常相似，后者根據(jù)輸出的質(zhì)量給予獎(jiǎng)勵(lì)。

12、多智能體協(xié)作

我們探索的單智能體存在幾個(gè)問題：工具過多可能會(huì)使選擇復(fù)雜化，上下文變得過于復(fù)雜，任務(wù)可能需要專業(yè)化。

相反，我們可以轉(zhuǎn)向多智能體，即多個(gè)智能體（每個(gè)智能體都有自己的工具、記憶和規(guī)劃）相互互動(dòng)以及與環(huán)境互動(dòng)的框架：

這些多智能體系統(tǒng)通常由專業(yè)化的智能體組成，每個(gè)智能體都配備了自己的一套工具，并由一個(gè)主管監(jiān)督。主管管理智能體之間的通信，并可以為專業(yè)化的智能體分配特定的任務(wù)。

每個(gè)智能體可能有不同的工具類型可供使用，但也可能有不同的記憶系統(tǒng)。

在實(shí)踐中，有幾十種多智能體架構(gòu)，它們的核心有兩個(gè)組成部分：

• 智能體初始化：如何創(chuàng)建單個(gè)（專業(yè)化的）智能體？
• 智能體協(xié)調(diào)：如何協(xié)調(diào)所有智能體？

讓我們探索各種有趣的多智能體框架，并突出這些組成部分的實(shí)現(xiàn)方式。

13、人類行為的交互式仿真

可以說最具影響力且非?？岬亩嘀悄荏w論文之一是《生成式智能體：人類行為的交互式仿真》。

在這篇論文中，他們創(chuàng)建了模擬可信人類行為的計(jì)算軟件智能體，他們稱之為生成式智能體。

每個(gè)生成式智能體被賦予的檔案使其表現(xiàn)出獨(dú)特的方式，并有助于創(chuàng)造更有趣和動(dòng)態(tài)的行為。

每個(gè)智能體都初始化了三個(gè)模塊（記憶、規(guī)劃和反思），非常類似于我們之前看到的 ReAct 和 Reflexion 的核心組成部分。

記憶模塊是這個(gè)框架中最重要的組成部分之一。它存儲(chǔ)了規(guī)劃和反思行為，以及迄今為止的所有事件。

對(duì)于任何給定的下一步或問題，記憶會(huì)被檢索并根據(jù)其最近性、重要性和相關(guān)性進(jìn)行評(píng)分。評(píng)分最高的記憶將與智能體共享。

一起，它們?cè)试S智能體自由地進(jìn)行行為并相互互動(dòng)。因此，幾乎沒有智能體協(xié)調(diào)，因?yàn)樗鼈儧]有特定的目標(biāo)需要努力實(shí)現(xiàn)。

論文中有太多令人驚嘆的信息片段，但我想強(qiáng)調(diào)他們的評(píng)估指標(biāo)。

他們的評(píng)估主要以智能體行為的可信度為指標(biāo)，由人類評(píng)估者進(jìn)行評(píng)分。

這展示了觀察、規(guī)劃和反思對(duì)于這些生成式智能體的表現(xiàn)是多么重要。正如我們之前探討的，規(guī)劃如果沒有反思行為是不完整的。

14、模塊化框架

無論您選擇哪種框架來創(chuàng)建多智能體系統(tǒng)，它們通常都由幾個(gè)要素組成，包括其檔案、對(duì)環(huán)境的感知、記憶、規(guī)劃和可用動(dòng)作。

實(shí)現(xiàn)這些組成部分的流行框架有 Spring AI Alibaba、AutoGen、MetaGPT 和 CAMEL。然而，每個(gè)框架在每個(gè)智能體之間的通信方式上略有不同。

以 CAMEL 為例，用戶首先創(chuàng)建問題并定義 AI 用戶和 AI 助手角色。AI 用戶角色代表人類用戶，并將引導(dǎo)整個(gè)過程。

之后，AI 用戶和 AI 助手將通過相互互動(dòng)來解決查詢問題。

這種角色扮演方法實(shí)現(xiàn)了智能體之間的協(xié)作溝通。

AutoGen 和 MetaGPT 有不同的溝通方式，但歸根結(jié)底，它們都具有協(xié)作性質(zhì)的溝通。智能體有機(jī)會(huì)相互交流，以更新它們當(dāng)前的狀態(tài)、目標(biāo)和下一步行動(dòng)。

在過去的一年里，尤其是在過去的幾周里，這些框架的增長(zhǎng)呈爆炸式增長(zhǎng)。

2025年將是令人興奮的一年，因?yàn)檫@些框架不斷成熟和發(fā)展！

總結(jié)，以上就是 LLM Agents 的探索之旅！希望這篇文章能讓你更好地理解 LLM Agents 的構(gòu)建方式。

好了，這就是我今天想分享的內(nèi)容。

本文轉(zhuǎn)載自??玄姐聊AGI??  作者：玄姐