檢索增強生成（RAG）已被證明可以提高大型語言模型（LLMs）的事實準確性，但現有方法在有效使用檢索到的證據方面往往存在有限的推理能力，特別是當使用開源LLMs時。

引入了一個新穎的框架OPEN-RAG，增強基于開源大型語言模型的檢索增強推理的能力，特別是處理復雜推理任務時的有限推理能力。

方法

1.LLMs轉MOE

模型轉換：OPEN-RAG將任意密集的LLM轉換為參數高效的稀疏專家混合（MoE）模型。該模型不僅能夠自我反思，還能處理復雜的推理任務，包括單跳和多跳查詢。

路由器R從頭開始訓練。FFN層保持凍結狀態，并由基于并行適配器的專家E進行調整。其他層被復制。

路由模塊：路由模塊負責根據輸入的歸一化輸出選擇Top-k專家。使用Softmax函數來計算每個專家的激活概率。

適配器模塊：每個專家的適配器模塊負責調整專家的輸出，以更好地適應當前的查詢。適配器模塊的參數是在訓練過程中更新的，而原始的FFN層參數保持不變。

輸出：MoE模型的輸出是激活的專家輸出的加權和。

訓練策略：在微調過程中使用QLora適配器，它具有負載平衡目標和標準條件語言建模目標。在訓練和推理期間，只有部分專家（例如2個專家）是活躍的。

通過上述步驟，OPEN-RAG成功地將一個密集型的大型語言模型轉換為一個參數高效的稀疏混合專家模型，使其能夠更有效地處理復雜的推理任務。這種轉換不僅提高了模型的性能，還保持了模型的規模和參數效率。

2.混合自適應檢索

大型語言模型（LLMs）在處理復雜問題時，需要從外部知識源檢索信息以提高回答的準確性。然而，頻繁的檢索會降低模型的推理速度，因此需要一種方法來動態決定是否需要進行檢索。

提出了一種混合自適應檢索方法，根據模型置信度確定檢索的必要性，并在性能和速度之間取得平衡。該方法通過生成檢索/無檢索反射令牌來測量在強制無檢索設置下輸出的置信度，并根據這些置信度決定是否進行檢索。

OPEN-RAG模型在訓練時學習生成檢索（RT）和不檢索（NoRT）反射令牌。在推理時評估模型生成的輸出序列的置信度。

設計了兩種不同的置信度評分函數：

• fminp：輸出序列中各個標記概率的最小值。
• 
  
• fmeanp：輸出序列中各個標記概率的幾何平均值。
• 
  



• 
  
• 置信度評分函數

并且，使用一個可調的閾值γ來控制檢索頻率。如果置信度評分低于閾值γ，則觸發檢索。

3.推理過程

open-rag推理流程：首先，學習生成檢索/不檢索標記，對比相關和不相關上下文，并將答案歸類為部分支持、完全支持或不支持。然后在推理時，給定一個（多跳）用戶查詢，首先強制模型在輸入條件為不檢索的情況下生成答案，并根據模型的置信度動態決定是否需要檢索。

1. 接收輸入查詢：模型接收一個用戶輸入的查詢(q)。
2. 生成檢索令牌：模型首先判斷是否需要進行檢索來更好地回答這個查詢，并生成相應的檢索令牌([RT]/[NoRT])。
3. 無檢索生成答案：如果模型決定不需要檢索（[NoRT]），它將使用其內部知識（參數知識）來生成答案。
4. 執行自適應檢索：如果模型決定需要檢索（[RT]），則執行以下步驟：使用一個預定義的檢索器從外部知識源檢索最相關的文檔。根據需要，可以執行單次檢索或多跳檢索。
5. 處理檢索到的文檔：對于每個檢索到的文檔(s_t)，模型執行以下操作：

• 生成相關性令牌([Relevant]/[Irrelevant])，以判斷文檔是否與查詢相關。
• 如果文檔相關，生成基礎令牌([Fully Supported]/[Partially Supported])，以指示答案的準確性。
• 生成效用令牌([U:1]-[U:5])，以評估文檔對回答查詢的有用性。

6. 生成答案：模型并行處理所有檢索到的文檔，并根據相關性、基礎和效用令牌的加權置信度分數對所有可能的答案進行排序。選擇排名最高的答案作為最終輸出。
7. 輸出最終答案：模型輸出最終的答案。

實驗

實驗數據收集：為了使OPEN-RAG能夠處理無需檢索的查詢以及需要檢索的單跳和多跳查詢，研究者構建了包含各種類型任務和數據集的訓練數據。對于每個原始數據對(q,y)，研究者使用真實標注或批評LLM生成帶有反射令牌的新實例。

OPEN-RAG在所有監督微調的LLMs中展示了顯著的性能提升，甚至在許多較大的模型（如65B CoVE）上也表現出色。特別是在多跳推理任務中，如HotpotQA

OPEN-RAG在有檢索的開源RAG模型中也表現出色，始終優于現有的開源RAG模型，并且在大多數任務中達到了與專有模型相當的水平。

參考文獻

• OPEN-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models，??https://arxiv.org/pdf/2410.01782v1??

本文轉載自公眾號大模型自然語言處理  作者：余俊暉

原文鏈接：??https://mp.weixin.qq.com/s/RA-73OceCGZNvA2C7iqTrg??