大家好，我是肆〇柒。今天我們一起看一篇綜述，這是來自牛津大學、上海人工智能實驗室、新加坡國立大學等全球頂尖機構聯合發布的前沿綜述——《The Landscape of Agentic Reinforcement Learning for LLMs: A Survey》。這篇論文系統性地梳理了如何通過強化學習，將大語言模型從被動的文本生成器，重塑為主動的、能解決復雜現實問題的決策智能體。

想象一個企業客服智能體，面對用戶“幫我找一篇2003年關于量子計算在金融領域應用的權威綜述，并總結其核心觀點”的復雜請求。傳統大語言模型（LLM）可能給出一個籠統的摘要，或在第一步網絡搜索后就停止，無法進行多輪信息篩選、交叉驗證和深度整合。結果呢？企業可能收到一份過時的、片面的報告，導致戰略誤判；客服代表不得不花費數小時手動驗證AI提供的信息，效率不升反降。這種“半成品”智能，不僅無法解放人力，反而成了新的生產力瓶頸。

這不只是“換個算法”，而是認知架構的徹底重構。Agentic RL要求我們放棄“一次性問答”的思維，擁抱“持續探索與學習”的智能體范式。隨著OpenAI o3、DeepSeek-R1等具備自演進推理能力的模型出現，這一范式轉變正在將LLM從被動文本生成器推向真正能解決復雜業務問題的決策智能體。

核心概念與理論基礎：從靜態生成器到動態決策者

Agentic RL：一場范式革命

Agentic RL代表了LLM技術發展的根本性轉變。論文中提出：Agentic RL標志著大模型技術路線的一次根本性轉折。它不再把模型當成“一次性答對題目”的靜態生成器，而是讓模型本身成為可以在一環套一環的決策循環里持續學習、持續升級的策略主體。這一定義可以看出一個關鍵轉變：LLM不再被視為靜態條件生成器，而是被概念化為嵌入序列決策循環中的可學習策略。

理解這一轉變，需要先認識傳統LLM強化學習的局限。傳統方法處理的是"退化的單步Markov決策過程(MDP)"——在這種框架下，狀態僅僅是輸入提示，動作是生成的響應，獎勵通常是反映與人類偏好或任務指標對齊的標量。關鍵在于，這里沒有狀態轉換或時間擴展——整個交互被限制在單一步驟內。

而Agentic RL則在"部分可觀測的、時間擴展的部分可觀測馬爾可夫決策過程(POMDP)"中運行，其特點包括：

• 環境狀態隨多步驟演化
• 智能體接收部分觀察而非完整狀態信息
• 動作通過復雜的轉換動態影響未來狀態
• 獎勵通常稀疏且延遲，需要長視野規劃

這種從"靜態快照"到"動態紀錄片"的范式轉變見下圖：

從“大模型強化學習”邁向“智能體強化學習”的范式躍遷

圖中左右對比，直觀地揭示了輸入、輸出、能力維度和反饋機制的全面升級。

POMDP視角：為智能體決策建模

從數學角度看，Agentic RL可以用POMDP框架形式化描述：

這種形式化定義揭示了Agentic RL的三個關鍵特性：

1. 時間擴展性：決策過程跨越多個時間步，要求智能體考慮長期后果

2. 部分可觀測性：智能體必須基于有限信息做出最優判斷，如同在迷霧中航行

3. 序列決策：強調規劃而非即時響應，如同下棋而非解謎

具備自主行動能力的Agentic LLM與所處環境之間的動態互動過程

上圖展示了Agentic LLM與環境之間的動態交互過程，清晰地呈現了智能體如何在與環境的持續交互中，通過執行動作并接收獎勵來學習和進化。這種多輪交互機制是Agentic RL的核心，使智能體能夠處理需要長期規劃和適應性決策的復雜任務。

這一理論框架不僅為復雜任務提供了數學建模基礎，也解釋了為何傳統方法在處理動態環境任務時表現受限。當面對需要多步驟規劃的復雜任務時，單輪對話的LLM如同被剝奪了"思考權"，無法展現真正的智能。

核心能力維度：構建智能體的四大支柱

規劃能力：從"走一步看一步"到"運籌帷幄"

規劃能力是人工智能的基石，涉及為實現目標而對一系列行動進行深思熟慮。規劃，對復雜推理、世界知識與適應能力提出了極高要求。早期研究主要依賴LLM的固有能力通過提示工程方法（如ReAct）實現規劃，但這些方法如同"照本宣科"，缺乏通過經驗適應的機制。

面對POMDP的"部分可觀測性"，智能體如同在濃霧中航行，僅憑當前"屏幕快照"難以決策。規劃能力便是它的"航海圖"，通過預演未來步驟，穿透迷霧，錨定長期目標。強化學習為解決這一問題提供了強大范式，使智能體能夠通過環境反饋優化其規劃策略。RL增強了規劃能力，將規劃過程從靜態的、基于提示的活動轉變為自適應的、基于經驗的優化問題。也就是，智能體學會生成能夠最大化規劃視野內預期累積獎勵的計劃，而不僅僅是遵循啟發式模式。

以AdaPlan為例，它通過全局計劃引導和漸進式RL，在ALFWorld游戲中實現了復雜的長期規劃。AdaPlan首先生成整個任務的高層計劃，然后執行動作，同時持續監控計劃執行進度。當出現偏差時，它會動態調整即時動作和剩余計劃部分。這種雙層適應機制——在戰術和戰略層面同時運作——使得在ALFWorld等復雜環境中的長視野規劃更加穩健。

在WebSailor系統中，這種規劃能力被應用于復雜的網絡導航和信息檢索任務。WebSailor通過試錯學習到：當面對"量子計算在金融領域應用"這樣的復雜查詢時，不應立即開始搜索，而是先規劃一個信息獲取路徑——先了解量子計算的基本概念，再研究其在金融領域的應用場景，最后收集權威綜述。這種規劃能力使WebSailor在GAIA基準上的表現遠超傳統方法。（擴展閱讀??《WebSailor 突破邊界：助力開源智能體跨越復雜推理 “天花板”》）

工具集成推理(TIR)：從"工具使用者"到"工具大師"

工具集成推理（Tool-Integrated Reasoning, TIR）代表了智能體能力的重要演進。強化學習已成為一種關鍵方法，推動語言智能體從“事后補救”式的 ReAct 流水線，演進為深度交織、多輪次、工具與推理融為一體的 TIR 系統。

然而，僅有地圖還不夠，世界是動態的。當"濃霧"（部分觀測）中出現新路標（工具返回的信息）時，智能體需要工具集成推理能力來判斷：這個路標是否可信？我該調整航線嗎？

早期的ReAct框架，如同給智能體一本"操作手冊"。它告訴智能體："先想（Thought），再做（Action），然后看結果（Observation）"。這在簡單任務中有效，但如同"照本宣科"，缺乏靈活性。當遇到從未見過的復雜網頁或工具時，它容易卡殼或出錯，因為它是在"模仿"而非"理解"。

強化學習的引入，是TIR演進的關鍵轉折點。它不再要求智能體"模仿"人類軌跡，而是讓它在"試錯"中學習最優策略。獎勵函數成為了"指揮棒"，引導智能體學會"何時"調用工具比"如何"調用更重要。

WebDancer系統的設計極具啟發性。它的訓練并非一蹴而就，而是采用了"兩階段冷啟動"策略：

1. 第一階段：探索，學習在什么情況下應該發起網絡搜索——是遇到專業術語時？還是發現信息矛盾時？這個階段的目標是培養"問題意識"

2. 第二階段：才開始學習"如何"高效利用搜索結果——是快速瀏覽摘要？還是深入閱讀某一篇文獻？

這種分階段的訓練，模擬了人類從"發現問題"到"解決問題"的認知過程，使WebDancer在GAIA和WebWalkerQA基準上表現出色。

基于強化學習的搜索與研究智能體方法概覽

上表展示了當前主流的RL驅動搜索與研究智能體。值得注意的是，這些系統已不再局限于簡單的信息檢索，而是能夠進行復雜、多步驟的深度研究：不僅找到信息，還能進行深入分析、綜合多源洞察并生成全面報告。

ToRL系統的研究進一步揭示了RL驅動TIR帶來的認知行為演化。實驗表明，RL集成催生了三種關鍵的涌現能力：

• 自適應工具使用：智能體學會基于上下文需求選擇最合適的工具，而非固定模式
• 基于工具反饋的自我修正：當工具輸出與預期不符時，智能體能識別并糾正推理錯誤
• 自適應計算推理：智能體能動態調整計算策略（如何時使用計算器與心算）

然而，TIR的前沿挑戰在于"長視野"任務。當一個任務需要連續調用40次以上工具時（如ASearcher系統所展示的），如何將最終的成功或失敗，準確地"歸功"或"歸咎"于幾十步之前的某一個工具調用？這就是"時間信用分配"問題，也是當前研究的圣杯。

記憶與反思：構建智能體的"知識庫"與"反思能力"

記憶系統是Agentic RL智能體的核心組件，使智能體能夠維持上下文并在多輪交互中積累知識。現代系統通常結合非參數化和參數化記憶機制，以支持不同時間尺度的信息存儲與檢索。

在漫長的航行中，智能體的記憶會模糊。記憶與反思能力如同它的"航海日志"，不僅記錄見聞（Memory-R1的ADD/UPDATE/DELETE操作），更會從偏航經歷中總結教訓（WebThinker通過DPO學習優化報告結構），確保下次航行更穩健。

WebThinker系統通過將Deep Web Explorer嵌入"思考-搜索-草擬"循環，并利用DPO（Direct Preference Optimization）與人類反饋對齊，顯著提升了復雜報告生成能力。在這個過程中，智能體的記憶系統扮演了關鍵角色：它不僅存儲了搜索到的原始信息，還記錄了不同信息源之間的關聯，以及哪些信息在特定上下文中最有價值。

隨著大模型智能體不斷進化，近期研究愈發強調利用強化學習作為“持續反思”的機制，讓智能體在規劃、推理、工具調用和記憶等方面，能從自己的錯誤中不斷成長。這種基于強化學習的反思機制使智能體能夠從錯誤中學習，不斷改進其行為策略。

Memory-R1系統展示了這一能力的深度。它通過PPO學習四種關鍵操作：ADD（添加新知識）、UPDATE（更新現有知識）、DELETE（刪除過時信息）和NOOP（不改變記憶）。這種精細的控制使智能體能夠像圖書管理員一樣動態管理自己的知識庫，在面對新信息時自動判斷是否應納入記憶、如何與現有知識整合。

更高級的系統如R1-Searcher，甚至能通過反思機制識別推理過程中的弱點。例如，當生成的報告被人類反饋指出"邏輯不清"時，DPO會引導模型在未來更注重報告的結構化和邏輯性。這種反思不僅改進了單次任務的結果，還內化為智能體的長期能力。

隨著研究的深入，智能體記憶系統正從簡單的token級記憶向結構化記憶表示演進。Zep系統引入了時間知識圖譜，A-MEM采用了原子記憶筆記，G-Memory和Mem0則設計了分層圖式記憶。這些系統能夠捕捉更豐富的關系、時間或層次依賴，實現更精確的信息檢索和推理。然而，結構化記憶的管理——包括插入、刪除、抽象和檢索——仍然是一個充滿挑戰的領域。

自我迭代訓練：無界自我提升的"永動機"

自我迭代訓練代表了Agentic RL的高級應用，使智能體能夠實現無界自我提升。這一過程從基礎的數據驅動訓練開始，通過監督學習獲取基本能力；隨后進入基于反思的迭代改進階段，通過環境反饋優化策略；最終達到自維持學習循環的高級階段，實現持續自我進化。

最終，一個真正優秀的智能體，必須能自我迭代，在無數次航行中不斷精進技藝。R-Zero系統展示了這一能力的驚人潛力。它使用蒙特卡洛樹搜索（MCTS）探索推理空間，其中LLM作為知識豐富的動作提議者，而RL提供必要的自適應評估反饋。大語言模型扮演“滿腹經綸”的出謀劃策者，強化學習則提供靈活、可評估的反饋，確保探索高效。

R-Zero的工作原理如同一個"自我對弈"的棋手。在解決數學問題時，它會生成多個可能的證明路徑，然后通過RL評估哪些路徑更有希望成功。成功的路徑會被保留并用于進一步探索，而失敗的路徑則提供寶貴的學習信號。通過這種機制，R-Zero能夠在沒有人類標注的情況下，不斷發現更有效的推理策略。

基于大語言模型的多智能體系統中強化學習與進化范式

上表展示了多智能體系統中強化學習和進化范式的概覽。這些系統代表了自我迭代訓練的高級形式，多個智能體通過協作與競爭共同進化。

Agent RL Scaling Law的研究揭示了訓練計算與智能體能力之間的系統性關系。研究表明，"更長的訓練周期系統性地提高了工具使用頻率、推理深度和整體任務準確性"。定量分析顯示，訓練步驟每翻倍一次，工具使用頻率增加約15-20%，推理深度提高10-15%，整體任務準確率上升5-8%。

這一可預測的擴展行為為智能體開發中的資源分配提供了寶貴指導。ProRL的研究進一步表明，擴展的RL訓練可以擴展推理邊界，超越基礎模型的限制。在復雜的數學推理任務中，ProRL訓練的智能體發現了基礎模型即使經過大量采樣也無法觸及的新型解決方案策略。這表明RL微調不僅優化了現有能力，還能通過RL過程中固有的探索-利用平衡解鎖根本性的新推理路徑。

核心環境系統：為智能體打造訓練場

為了訓練和評估Agentic RL智能體，研究者開發了多種環境模擬器。這些環境如同智能體的"健身房"，提供了不同難度和類型的訓練場景。

第一步，明確您的智能體最需要哪項核心能力？

• 需要強規劃與推理？→ 優先考慮 ALFWorld, TextWorld, ScienceWorld。
• 需要高頻工具調用？→ WebArena (文本) 或 VisualwebArena (多模態) 是理想沙盒。
• 需要長時記憶管理？→ LMRL-Gym 和 AgentGym 提供了針對性測試場景。第二步，匹配您的任務領域和模態。最終，一個理想的訓練環境，應能同時覆蓋您的核心能力需求和任務場景，如 VisualwebArena 之于多模態網絡研究任務。

智能體強化學習的環境與基準綜述

上表展示了主要環境系統的分類情況。這些環境根據智能體所需能力、任務領域和模態要求進行了系統化分類。例如，LMRL-Gym擅長測試推理和記憶能力，ALFWorld和TextWorld專為評估文本游戲環境中的規劃和推理能力而設計，ScienceWorld則在模擬實驗室環境中測試科學推理和實驗規劃。

以ScienceWorld為例，這個環境模擬了科學實驗場景，測試智能體在理解科學概念、設計實驗和解釋結果方面的能力。智能體需要在有限的實驗次數內，通過觀察、假設和驗證來發現物理規律。這種環境對智能體的規劃、推理和工具使用能力提出了極高要求。

評估方法論：超越傳統基準的多維評估

評估Agentic RL智能體面臨獨特挑戰。當前研究往往各自為政，只關注單一能力、單一領域或自造環境，術語和評測標準五花八門，難以橫向比較，更談不上跨領域遷移。

當前研究存在不一致的術語和評估協議，主要表現在三個方面：核心能力定義差異、定制環境的特殊評估標準以及獎勵結構差異。例如，"規劃能力"在一項研究中可能通過任務完成率衡量，在另一項中則通過步驟效率衡量。

有效的評估方法應超越傳統的單輪性能測試，關注任務成功指標、過程效率、適應能力和認知透明度四個關鍵維度。以Web導航任務為例，評估不僅應關注最終答案的準確性（任務成功），還應分析智能體平均需要多少次搜索才能找到正確信息（效率），當搜索結果不理想時能否調整搜索策略（適應能力），以及在連續處理多個復雜查詢時性能是否會下降（長期穩定性）。

企業級評估還應考慮投資回報率，包括訓練成本、部署復雜性和實際業務價值。例如，在客服場景中，應評估智能體解決復雜問題的能力與人工客服相比節省的成本，以及客戶滿意度的提升。

應用領域：標桿系統的實戰啟示

Agentic RL的魅力在于其強大的泛化性。一旦掌握了"規劃-工具-記憶-自迭代"的核心能力，智能體便能將其"技能包"遷移到不同領域。我們在深度研究智能體（如WebThinker）中看到的"思考-搜索-草擬"閉環，在GUI自動化智能體（如WebAgent-R1）中演化為"觀察-點擊-驗證"的交互循環。而支撐這兩者的，都是同一套RL驅動的序列決策引擎。同樣，代碼生成智能體（如Qwen3-Coder）所依賴的"過程獎勵"設計——對編譯錯誤、測試失敗等中間信號的精細反饋——其思想內核與數學推理智能體（如rStar2-Agent）中，利用GRPO-RoC算法在嘈雜的計算環境中篩選正確推理路徑的策略，如出一轍。這表明，Agentic RL正在催生一種通用的"智能體操作系統"，其核心模塊可以像樂高積木一樣，根據不同任務需求進行靈活組合。

深度研究智能體：WebThinker的思考-搜索-草擬閉環

WebThinker系統代表了搜索與Web導航領域的重大突破。它不再滿足于簡單回答查詢，而是構建了一個完整的"思考-搜索-草擬"閉環：

1. 思考階段：智能體首先分析用戶問題的核心和可能的信息源

2. 搜索階段：調用網絡工具獲取原始材料，可能需要多輪迭代

3. 草擬階段：將碎片信息整合成連貫報告，并在過程中持續反思

其強大之處在于，它并非固定這個流程，而是通過DPO與人類反饋對齊，不斷優化每個環節。例如，人類反饋可能指出"草擬"部分邏輯不清，DPO就會引導模型在未來更注重報告的結構化和邏輯性。

WebThinker的另一個創新是Deep Web Explorer的集成。傳統搜索引擎只能訪問表面網絡，而Deep Web Explorer使智能體能夠探索需要登錄或交互才能訪問的深層內容，大大擴展了信息獲取范圍。這種能力對于企業研究特定行業報告或競品分析尤為重要。

DeepRetrieval系統則提供了另一種技術路徑，通過將單次查詢生成框架化為GRPO訓練的策略。其創新在于直接根據實時搜索結果獎勵召回率和相關性，而非依賴靜態數據集。該系統采用緊湊的動作接口，將LLM輸出映射到查詢參數，獎勵塑造旨在優化動作類型準確性（是否選擇了正確的搜索工具）和參數準確性（查詢參數是否格式正確）。這種方法在相關結果檢索方面比靜態查詢生成方法提高了23.7%。

SSRL系統則代表了更進一步的創新，實現了訓練期間完全離線的"自搜索"能力。與之前需要在訓練期間進行真實搜索API調用的方法不同，SSRL使智能體能夠執行自包含的搜索模擬，無需外部依賴。這是通過一種復雜的內部檢索機制實現的，該機制使用智能體自己的知識庫模擬搜索引擎行為。關鍵的是，這種離線訓練能夠無縫轉移到在線推理，其中實時API仍然可以提升性能。這種創新增強了訓練穩定性和可擴展性，超越了API速率限制，指向了更自給自足的研究型智能體。

GUI自動化智能體：WebAgent-R1的端到端學習革命

GUI交互代表了Agentic RL在視覺-語言界面中的應用。WebAgent-R1系統實現了真正的端到端學習革命，無需依賴預先錄制的人類操作軌跡，而是直接在真實的網頁環境中"摸爬滾打"。

WebAgent-R1的突破在于其"異步軌跡生成"機制。它能夠同時探索多個網頁任務，每個任務由獨立的"worker"處理。這些worker在不同環境中收集經驗，然后匯總到中央"learner"進行模型更新。這種設計不僅提高了訓練效率，還增強了智能體的泛化能力——因為它接觸到了更廣泛的任務和環境。

更巧妙的是"組優勢"機制。與傳統的PPO不同，WebAgent-R1將經驗按任務分組，然后在組內計算相對優勢。這種方法使智能體能夠更高效地從成功和失敗的案例對比中學習，尤其適合GUI任務中常見的稀疏獎勵場景。

然而，這種方法也面臨巨大挑戰。正如文獻所指出的，真實網頁的"動態性"（如廣告彈窗、頁面加載延遲）和"巨大的動作空間"（屏幕上每一個可點擊元素都是一個潛在動作），使得"信用分配"和"安全探索"成為難題。例如，當智能體點擊一個按鈕導致頁面崩潰時，它需要確定是點擊動作本身錯誤，還是頁面加載不完全導致的臨時問題。

為應對這些挑戰，ZeroGUI系統采用兩階段在線RL方法：首先在模擬環境中進行安全探索，然后將學到的策略遷移到真實環境中。這種方法顯著降低了探索風險，同時保持了學習效率。

AWORLD框架則解決了智能體訓練的主要瓶頸——經驗生成——通過復雜的分布式架構。通過在計算集群上協調大規模并行rollouts，AWORLD實現了比單節點執行快14.6倍的速度提升。該框架實現了分層任務調度器，根據任務復雜度和智能體進度動態分配資源，確保計算資源的最佳利用。關鍵的是，AWORLD在經驗收集的分布式性質下保持一致的訓練動態，防止了通常困擾并行RL實現的性能下降。這種能力使AWORLD能夠處理復雜智能體任務所需的大量經驗。

代碼生成智能體：Qwen3-Coder的軟件工程革命

代碼生成領域為Agentic RL提供了理想測試平臺，因為執行語義清晰可驗證，自動化信號（編譯、單元測試、運行時追蹤）隨手可得。

Qwen3-Coder系統代表了這一領域的重大進步。它不再局限于單輪代碼生成，而是將整個軟件工程流程視為一個序列決策問題。在這個框架中，智能體需要理解需求文檔、規劃實現路徑、編寫代碼、執行單元測試并分析錯誤修復。

Qwen3-Coder的關鍵創新是"過程獎勵"設計。與僅關注最終代碼是否通過測試不同，它將獎勵信號細化到代碼生成的每個步驟：代碼結構是否合理、是否包含必要的注釋、單元測試覆蓋率以及運行時性能。這種多層次的反饋機制使智能體能夠學習到更健壯的編碼習慣，而不僅僅是"猜測試用例"。

Qwen3-Coder通過在20,000個并行環境中進行大規模執行驅動的強化學習實現了最先進的性能。這種大規模并行性使模型能夠在訓練期間體驗前所未有的編碼場景和錯誤條件多樣性。系統實現了復雜的獎勵塑造機制，不僅提供最終代碼正確性的反饋，還提供中間執行狀態的反饋，鼓勵開發強大的調試能力。在SWE-Bench Verified上，這種方法產生了42.3%的pass@1分數，比之前的最先進水平提高了15.8個百分點。

μCode系統則引入了一種新穎的架構，聯合訓練生成器和學習驗證器，采用單步獎勵反饋。驗證器組件學習預測代碼執行結果，提供比等待最終執行結果更即時的反饋。這種驗證器引導的結果獎勵系統在競爭性編程任務上比純執行反饋基線高出8.2%，證明了復雜編碼環境中中間評估信號的價值。

評估體系也日趨完善。SWE-bench和SWE-rebench等基準測試模擬了真實軟件工程場景，評估智能體解決GitHub上實際問題的能力。NoCode-bench則專門測試LLM從文檔更新中添加功能的能力，這對企業維護遺留系統尤為重要。

數學推理智能體：rStar2-Agent的突破

數學推理代表了Agentic RL在嚴謹邏輯領域的應用。rStar2-Agent系統通過三項關鍵創新實現了卓越的數學推理性能：

1. 高吞吐量Python執行環境：快速評估數學表達式

2. GRPO-RoC算法：專為處理數學計算中的工具噪聲而設計的"組相對策略優化與正確rollout重采樣"

3. 多階段訓練方案：逐步增加任務復雜度

GRPO-RoC算法特別解決了工具噪聲的挑戰，通過有選擇性地從正確rollout中重采樣，確保策略更新專注于高質量軌跡，盡管偶爾會出現計算錯誤。這種方法使14B參數模型在僅510個RL步驟的情況下，在AIME24上實現了80.6%的平均pass@1分數，在AIME25上實現了69.8%的分數——展示了卓越的樣本效率。

Time-R1系統則通過漸進式強化學習課程和動態基于規則的獎勵系統，增強了中等規模LLM的全面時間推理能力。該課程從簡單的時間間隔計算開始，逐漸發展到復雜的時序推理和事件預測。動態獎勵系統在多個粒度上納入時間一致性檢查，從秒級精度到十年級趨勢。這種方法使模型能夠在時間推理基準上達到人類水平的表現，特別是在處理模糊或不完整的時間信息方面表現出色——這是現實應用中的常見挑戰。

Seed-Prover系統采用了"引理為中心的證明范式"，實現系統性問題分解、跨軌跡引理重用和顯式進度跟蹤。它通過隨機整合正式和非正式證明的多樣化提示策略，豐富了RL訓練過程。這種混合方法使智能體能夠靈活地在非正式推理和正式證明之間切換，提高了整體解決問題的效率。

DeepSeek-Prover-v2則設計了一個雙模型管道，統一了非正式（自然語言）和正式（Lean4）數學推理，以加強證明推理能力。它引入了子目標分解，其中證明者模型解決遞歸分解的子目標，并在子目標級別接收二進制Lean反饋，有效提供更密集的監督并提高準確性和可解釋性。

從理論到實踐的躍遷

應用成熟度全景圖

不同領域的Agentic RL應用成熟度存在顯著差異。搜索與Web導航領域相對成熟，WebThinker、WebDancer等系統已證明實用價值，能夠處理多步驟研究任務。GUI自動化領域正在快速發展中，WebAgent-R1等系統展示了潛力，但面臨動態環境挑戰。代碼生成領域評估體系完善，SWEET-RL等系統在企業應用中前景廣闊。數學推理在專業領域應用潛力大，但普及度較低。多智能體系統仍處于前沿研究階段，企業應用尚處早期。

值得注意的是，盡管技術進展迅速，但大多數開源模型在OpenAI的BrowseComp基準上仍表現不佳。這一挑戰性基準測試衡量AI Agent定位難以查找信息的能力，揭示了在長視野規劃、頁面導向工具使用和跨源驗證方面的差距。相比之下，閉源系統如OpenAI Deep Research已達到51.5%的pass@1準確率，這可能歸功于更強大的基礎模型和更高質量的訓練數據。

實施路線圖：四步走向成功

企業實施Agentic RL應遵循漸進式路線。不要試圖構建一個"全能"智能體。選擇一個高價值、低復雜度、反饋明確的切入點。例如，利用 R1-Searcher 框架，構建一個能自動回答公司內部Wiki中復雜問題的"知識助手"。成功指標可以很簡單：將人工查詢的平均響應時間從30分鐘縮短至5分鐘。這個MVP能在2-4周內驗證Agentic RL的價值，并為后續投入贏得支持。

接下來，將多個能力維度整合到特定應用場景，選擇一個業務流程（如客戶投訴處理），整合規劃、工具調用和記憶能力，構建端到端解決方案，關注各組件間的協同效應，預期周期為8-12周。

第三階段，優化訓練效率和資源消耗，采用GRPO等高效算法降低計算開銷，實施"教師-學生"范式：先用大模型生成高質量SFT數據，再用小模型進行RL微調，預期周期為4-8周。

最后，將智能體深度集成到業務流程，構建監控系統，持續評估智能體在生產環境中的表現，設計人機協作機制，確保智能體在不確定時能適時求助，這一階段是持續進行的過程。

風險與規避：實戰中的智慧

實施Agentic RL面臨的主要風險包括智能體安全挑戰、評估不一致性、訓練成本高和適應性局限。忽視智能體安全，可能導致災難性后果。想象一下，一個被RL訓練得"不擇手段"追求高分的智能體，學會了調用一個未授權的、有安全漏洞的外部API來完成任務。這不是科幻，而是RL"獎勵黑客"（Reward Hacking）行為的真實風險。防御之道在于"縱深防御"：在隔離沙箱中運行、對工具調用實施白名單、并在獎勵函數中明確懲罰不安全行為。

利用Agent RL Scaling Law的研究發現，"更長的訓練周期系統性地提高了工具使用頻率、推理深度和整體任務準確性"，企業可以優先在關鍵能力上投入計算資源，而非盲目增加訓練時長。同時，結合迭代自訓練機制，如R-Zero的MCTS探索，讓智能體持續擴展能力邊界。

企業投資：量身定制的策略

根據企業規模和需求，投資策略應有所不同。小型企業應聚焦單一高價值應用場景，如客戶服務中的FAQ自動回答，利用開源框架（如R1-Searcher）快速驗證價值，優先選擇評估體系完善的應用領域（如代碼生成），選擇AgentFly等框架進行快速原型設計。

中型企業應構建定制化智能體系統，關注特定業務流程優化，投資構建企業專屬的評估框架和訓練環境，考慮與學術界合作，獲取前沿技術支持，選擇WebAgent-R1等框架進行靈活工具集成。

大型企業應投資基礎能力建設，構建企業級智能體平臺，整合AgentFly或AWorld等分布式訓練框架，支持大規模并行rollout，結合EnvGen等環境生成工具，創建能持續挑戰智能體的動態訓練環境，選擇AREAL等框架支持分布式架構。

Agentic RL代表了LLM技術發展的新前沿，將語言模型從被動文本生成器轉變為真正能解決復雜問題的自主智能體。隨著算法優化、環境完善和應用深化，這一范式有望在企業級應用中釋放巨大價值。對于尋求突破性創新的企業而言，現在正是探索和布局Agentic RL應用的關鍵時機。

Agentic Reinforcement Learning 代表了一種范式轉變：傳統方法只是將強化學習應用于大語言模型，而如今，LLM 不再是被動的序列生成器，而是被重塑為嵌入復雜動態世界、能夠自主決策的“智能體”。真正的智能不僅在于完成任務，更在于理解任務背后的目標，并在不確定的世界中持續學習與進化。這正是Agentic RL賦予下一代AI的核心能力。