VLMs已具備調用圖像中心工具的能力，稱為“thinkingwithimage”（以圖思考），通過支持細粒度推理提升模型對復雜視覺場景的理解能力。然而，開源VLMs在“需要試錯探索的復雜視覺搜索任務”中存在顯著短板，表現兩大問題：復雜任務上準確率極低高難度視覺搜索數據集熵（如DeepEyes）的準確率遠低于實際應用需求。推理模式單一+交互輪次有限現有開源模型（如DeepEyes）無法生成靈活的推理策略，僅能進行“單次定位觀察”的簡單流...

前文在??RAG常見13種分塊策略大總結（一覽表）???提到，分塊策略在RAG中至關重要，目的是提高效率、相關性和上下文保持。但也會帶來冗余。引發(fā)長上下文RAG應用的效率痛點：在RAG等依賴外部知識的任務（如多輪對話、長文檔總結）中，LLMs需要將檢索到的大量段落拼接為長上下文輸入，但這會引發(fā)兩大問題：高延遲與高內存消耗：長上下文需占用大量鍵值緩存（KVCache），且生成第一個token的時間（TTFT，TimetoFirstToken）隨...

多模態(tài)大模型在推理上雖然效果好，但會強制執(zhí)行“逐步思考”流程，導致輸出token量激增，冗余思考過程不會提升簡單任務的準確性，反而可能因“過度推理”引入噪聲?，F有模型無法根據任務復雜度自主選擇“思考模式”（需推理）或“非思考模式”（直接回答），需要手動觸發(fā)是否思考的條件（如qwen3的開關控制）或者如KeyeVL通過人工標注“任務復雜度標簽”觸發(fā)思考模式，但人工標注成本高、覆蓋場景有限，且推理時需額外輸出“復...

前期介紹了通過GRPO的方式解決多模態(tài)大模型OCR幻覺的思路《??GRPO強化學習緩解多模態(tài)大模型OCR任務的幻覺思路及數據生成思路???》。由于多模態(tài)大模型的OCR感知能力不是特別強，容易像LLM一樣產生幻覺即生成輸入圖像中并不存在的詞匯。LVLMs設計用于通用目的，在OCR任務上的表現往往不如在特定領域數據集上訓練的專家模型?；糜X例子下面來看一個方案，首先通過利用自身的OCR能力識別輸入圖像中的內容，然后調用其他工具（即...

改進點概述：InternVL3.5系列縫合最新開源模型：主要是語言模型側的替換，如：qwen3和GPTOSS引入視覺分辨率路由器（ViR）模塊，該模塊可動態(tài)選擇視覺token的最小分辨率，從而實現更好的推理效率解耦視覺語言部署（DvD），提升推理速度級聯強化學習，提升模型性能InternVL3.5模型架構延續(xù)了InternVL的“ViT–MLP–LLM”范式，同時針對性能增強和效率優(yōu)化目標，衍生出基礎版InternVL3.5和高效版InternVL3.5Flash兩個分支。本文僅...

前面介紹了《??多模態(tài)大模型Ovis核心技術點、訓練方法、數據細節(jié)???》，最近看到更新了Ovis2.5，來看下有哪些改進及策略。改進點概述：Ovis2采用固定分辨率ViT，需將圖像分割為固定大小的子圖（tiling）處理，這會破壞復雜視覺內容的全局布局連貫性和細粒度細節(jié)，Ovis2.5直接以圖像原始分辨率（無需分塊）輸入，支持448217922像素。（從代碼看，原生分辨率直接從qwen2.5vlcopy過來的）升級LLM為qwen3，增加思考推理能力...

現有自進化LLMs的訓練嚴重依賴人類標注的任務和標簽（通過微調或強化學習等方式），成本高、難以擴展。（左）：RZero在挑戰(zhàn)者和求解者之間采用了協同演化環(huán)。（右）：RZero在沒有任何預定義任務或人類標簽的情況下實現了顯著的基準提升。提出了RZero框架，從零外部數據出發(fā)，通過初始化具有不同角色的Challenger（挑戰(zhàn)者）和Solver（求解者），讓兩者獨立優(yōu)化并協同進化：Challenger因生成接近Solver能力邊緣的任務而獲得獎勵，...

在AI應用極速發(fā)展的當下，LLM與RAG系統已成為構建智能問答、知識管理等高階應用的核心引擎。然而，許多團隊在項目落地時遭遇了現實的挑戰(zhàn)：模型的實際表現往往難以達到預期。究其根源，是一個常被低估的關鍵環(huán)節(jié)：文檔解析的質量?，F實中的知識載體——PDF報告、掃描文件、圖文結合的技術文檔——本質上是高度非結構化的。傳統OCR工具就像個“近視的搬運工”，只能機械地把圖像上的文字“摳”下來，當缺乏結構、語義斷裂的“原...

記錄下一些結論：通過對OpenAI的GPTOSS模型（20B和120B參數，混合專家架構）與6個主流開源大語言模型（涵蓋14.7B235B參數，含密集型和稀疏型架構）的跨領域評估，得出以下結論：GPTOSS模型的InverseScaling現象：參數更少的GPTOSS20B在多個基準測試中持續(xù)優(yōu)于更大的GPTOSS120B，違背了傳統的模型縮放定律（參數越多性能越好）。GPTOSS模型在當前開源大語言模型中處于中等水平，整體性能落后于最新架構代碼生成表現相對突出，20B...

本文通過將這些方法可視化呈現為旋轉操作和維度拆分，能讓旋轉位置編碼（RoPE）、二維旋轉位置編碼（2DRoPE）以及多模態(tài)旋轉位置編碼（MRoPE）的核心概念更直觀、更易于理解。為什么需要位置嵌入？假設有兩個語言模型：一個一次只能處理一個詞，另一個則可以并行處理所有詞?，F在，有一個詞序列，比如“Dogeatsfood”。對于第一個模型，輸入的順序很重要，因為它必須先處理“Dog”，再處理“eats”，最后處理“food”。但顯然，...

快速看一下GLM4.1V多模態(tài)方面架構和數據方面的特點。模型架構核心特點1、視覺編碼器特點初始化模型：AIMv2Huge作為視覺編碼器的基礎。3D卷積適配：為提升視頻處理效率，參考Qwen2VL的設計，將原始2D卷積替換為3D卷積。這一改動使視頻輸入的時間維度下采樣2倍，減少計算量；對于單張圖像，通過復制圖像幀保持處理一致性。動態(tài)分辨率支持：a.引入2DRoPE到ViT的自注意力層，使模型能夠處理極端寬高比（超過200:1）或高分辨率（4K以...

針對高質量、精確對齊的圖像文本對稀缺，提出一種新的數據生成管道SynthVLM，用于生成圖像caption對：SynthVLM100K，并通過微調模型，SynthVLM100K上預訓練的模型就超越了依賴LLaVA558K的基準方法，方法簡單直接，下面看看。方法SynthVLM通過兩個步驟構建高質量的圖像文本數據集：SynthVLM數據合成方法的流水線如下：首先，篩選高質量的圖像標題對；接著，合成高質量數據，并依據CLIP得分進行后續(xù)篩選。1、合成數據集構建數據來...

現有布局生成方法多針對特定任務（如海報設計、文檔布局等），缺乏跨任務的靈活性和通用性，難以統一處理不同場景下的布局需求。布局生成任務的分類，多樣的布局生成任務可分為四類：(a)BFEF（無背景與無元素）,(b)BCEF（背景約束與無元素）,(c)BFEC（無背景且元素約束）和(d)BCEC（背景約束與元素約束）。不同任務需要不同的模型，這缺乏靈活性。在每個任務內部，存在指標性能與人類感知之間的差異：（“生成布局1”）指標較好...

前期幾篇內容介紹了原生分辨率及相關評估：《??多模態(tài)大模型中圖像分辨率packing策略及原生分辨率NaViT的部分結論????》和《???多模態(tài)大模型中不同分辨率策略研究與原生分辨率的有效性評估???》，再來看一個關于多模態(tài)大模型處理不同分辨率的trick，提到現有多模態(tài)大模型在處理高分辨率圖像時，因固定劃分圖像為全局和局部區(qū)域導致視覺token數量過多、推理效率低下，且無法根據任務需求自適應調整視覺粒度的問題。...

傳統上，ViT會將輸入圖像調整為固定的正方形縱橫比，然后分割為固定數量的patches。但這種做法存在局限性，例如可能破壞圖像的原始縱橫比，影響模型對圖像內容的理解，且在訓練和推理效率上有提升空間。前期《???多模態(tài)大模型中不同分辨率策略研究與原生分辨率的有效性評估???》評估結論也通過評估得到，原生分辨率對于多模態(tài)大模型有增益，再來看下NaVit的原生分辨率packing策略，該工作由23年提出，但應該是比較早的原...

目前多模態(tài)在圖像分辨率輸入上的方法主要有以下幾種：1.上采樣方法：通過提升位置編碼的分辨率，整合多尺度圖像表征。代表：QwenVL、S2extension，通過擴展視覺特征的分辨率范圍適配高分辨率輸入。2.基于裁剪的方法圍繞圖像的預處理，包括歸一化、縮放、裁剪、根據寬高比動態(tài)處理等操作如下圖：預設一個默認分辨率，稱之為tile，隨后將圖片切分成子圖，每個子圖的shape與tile一致，再在batch維度做拼接。tiling還會將原圖也res...

多模態(tài)大模型MLLMs能夠處理高分辨率圖像、長視頻序列和冗長音頻輸入等復雜上下文，但自注意力機制的二次復雜度使得大量輸入token帶來了巨大的計算和內存需求。如下圖，上：圖像、視頻和音頻數據類型可以在其表示維度上進行擴展，從而導致token數量的相應增加。下：表現最佳的多模態(tài)大模型無法滿足現實世界的需求，因為多模態(tài)輸入（尤其是視頻）的token數量遠遠超過文本，并且大多數視覺token是冗余的。因此token壓縮對于解決這...

VLMs在多模態(tài)推理中雖表現強大，但在處理特定場景時易產生“幻覺”，如：復雜場景適配問題：面對第一視角圖像（如智能眼鏡拍攝的實時畫面）、長尾實體（罕見物體概念）、多跳推理問題（需多步邏輯推導）時，模型易因知識不足或誤判生成錯誤結論；知識時效性問題：模型依賴內部先驗知識，對涉及時效性的內容（如實時事件、動態(tài)變化的信息）易輸出過時答案。比賽鏈接：https:www.aicrowd.comchallengesmetacragmmchallenge2025方...

前面筆者介紹了《??大模型在知識圖譜問答上的核心算法詳細思路及實踐????》，一般的Text2SparqlText2SQL技術路線圖如下，目標是獎自然語言轉話為可查詢的SQL語句。目前基于KG+LLM+Agent的KBQA方案，在多語言場景未得到充分探索。下面來看一個智能體框架mKGQAgent，通過模擬人類推理過程將自然語言問題轉化為SPARQL查詢。mKGQAgent架構mKGQAgent工作流演示（在線階段）。在評估階段，mKGQAgent利用經驗池中的實例來優(yōu)化規(guī)...

多模態(tài)大模型在“看不清”文字時瞎編答案，稱為“OCR幻覺”，如下圖，主要有幾點：（1）預訓練階段缺乏相關數據：關鍵信息提?。↘IE）數據以及退化視覺場景的清晰標注顯著不足，限制了模型處理復雜視覺輸入的能力。指令微調階段忽視退化場景：現有研究通常假設OCR任務輸入為非退化圖像，導致模型缺乏處理真實世界退化文檔（如模糊、遮擋、低對比度）所需的推理能力。Qwen2.5VL7B（左）與GPT4o（右）在解讀退化文本圖像中的表現...