今天凌晨1點(diǎn)，OpenAI進(jìn)行了技術(shù)直播，發(fā)布了最強(qiáng)、最智能模型o4-mini和滿(mǎn)血版o3。

o4-mini和o3是兩款多模態(tài)模型，能同時(shí)處理文本、圖像和音頻，并且能作為Agent智能體自動(dòng)調(diào)用網(wǎng)絡(luò)搜索、圖像生成、代碼解析等工具以及深度思考模式（思維鏈中可以思考圖像）。

根據(jù)OpenAI公布的測(cè)試數(shù)據(jù)顯示，o4-mini在AIME2024和2025中，分別達(dá)到了93.4%和92.7%，比滿(mǎn)血版o3還強(qiáng)，成為目前準(zhǔn)確率最高的模型；在Codeforces測(cè)試中達(dá)到了2700分，成為全球前200名最強(qiáng)程序員。

o3和o4-mini簡(jiǎn)單介紹

傳統(tǒng)大模型往往局限于對(duì)輸入數(shù)據(jù)的直接處理和生成輸出結(jié)果，而OpenAI首次賦予o3 和 o4-mini調(diào)用外部工具的能力。

在訓(xùn)練過(guò)程中，模型不僅學(xué)習(xí)如何生成文本，還學(xué)習(xí)如何在面對(duì)復(fù)雜任務(wù)時(shí)選擇合適的工具來(lái)輔助推理。例如，在解決復(fù)雜的數(shù)學(xué)問(wèn)題時(shí)，模型可以調(diào)用計(jì)算器工具來(lái)完成復(fù)雜的計(jì)算過(guò)程；在處理圖像數(shù)據(jù)時(shí)，可以調(diào)用圖像處理工具來(lái)完成裁剪、旋轉(zhuǎn)等操作。

這種工具使用能力的實(shí)現(xiàn)，使得模型能夠處理更加復(fù)雜的任務(wù)場(chǎng)景，而不僅僅局限于簡(jiǎn)單的文本生成。

多模態(tài)推理能力則是 o3和 o4-mini 模型的另外一大亮點(diǎn)，可以同時(shí)處理文本、圖像、音頻等，并將這些不同模態(tài)的數(shù)據(jù)進(jìn)行有機(jī)整合。架構(gòu)上，OpenAI使用了創(chuàng)新的神經(jīng)網(wǎng)絡(luò)架構(gòu)，使模型能夠?qū)D像和文本數(shù)據(jù)分別編碼為統(tǒng)一的特征表示。

例如，對(duì)于圖像數(shù)據(jù)，模型通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取圖像的特征；對(duì)于文本數(shù)據(jù)，模型使用 Transformer 編碼器提取文本的語(yǔ)義信息。

然后，模型通過(guò)一個(gè)融合模塊將這些不同模態(tài)的特征進(jìn)行整合，生成統(tǒng)一的特征表示，從而在推理過(guò)程中實(shí)現(xiàn)多模態(tài)數(shù)據(jù)的聯(lián)合處理。

o3和 o4-mini多模態(tài)處理模塊的另一個(gè)重要特點(diǎn)是其對(duì)不同模態(tài)數(shù)據(jù)的動(dòng)態(tài)處理能力。模型可以根據(jù)任務(wù)的需求，動(dòng)態(tài)地調(diào)整對(duì)不同模態(tài)數(shù)據(jù)的處理權(quán)重。

例如，在處理一個(gè)以圖像為主的任務(wù)時(shí)，模型會(huì)更多地關(guān)注圖像數(shù)據(jù)的特征；而在處理一個(gè)以文本為主的任務(wù)時(shí)，模型會(huì)更多地關(guān)注文本數(shù)據(jù)的語(yǔ)義信息。

在訓(xùn)練過(guò)程中，OpenAI 采用了大規(guī)模的無(wú)監(jiān)督學(xué)習(xí)和少量的監(jiān)督學(xué)習(xí)相結(jié)合的方式。無(wú)監(jiān)督學(xué)習(xí)部分，模型通過(guò)大量的文本和圖像數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，學(xué)習(xí)到語(yǔ)言和圖像的基本特征和模式；監(jiān)督學(xué)習(xí)部分，則通過(guò)標(biāo)注數(shù)據(jù)和工具使用數(shù)據(jù)，對(duì)模型進(jìn)行微調(diào)，使其能夠更好地理解和使用工具。

o3和o4-mini測(cè)試數(shù)據(jù)

在基準(zhǔn)測(cè)試方面，o3和o4-mini模型的表現(xiàn)非常強(qiáng)。在AIME 2024測(cè)試中，在不使用外部工具的情況下，o3準(zhǔn)確率為91.6%，o4-mini為93.4%；AIME 2025測(cè)試中，o3準(zhǔn)確率為88.9%，o4-mini為92.7%。

而在編程競(jìng)賽（Codeforces）測(cè)試中，o4-mini達(dá)到了驚人的2719分，能夠位列全球前200名參賽者之列；o3則為2706分。

在博士級(jí)問(wèn)題解答GPQA測(cè)試中，在不使用工具的情況下，o3模型的準(zhǔn)確率達(dá)到了83%，o4-mini為81.4%；人類(lèi)最終測(cè)試中，o3為20.32分，o4-mini為24.9分都略低于OpenAI發(fā)布的Agent模型Deep research。

在多模態(tài)任務(wù)方面，o3和o4-mini在MMU Math、Vista、Charive 和 Vstar 等多模態(tài)基準(zhǔn)測(cè)試中同樣表現(xiàn)非常出色。

除了常規(guī)測(cè)試之外，OpenAI還根據(jù)科研人員的使用，分享了一些實(shí)際使用測(cè)試結(jié)果。

在科學(xué)研究領(lǐng)域，模型能夠幫助研究人員快速分析實(shí)驗(yàn)數(shù)據(jù)、查閱文獻(xiàn)并提出新的研究思路。例如，在一個(gè)物理學(xué)研究項(xiàng)目中，模型通過(guò)分析實(shí)驗(yàn)數(shù)據(jù)和查閱相關(guān)文獻(xiàn)，成功地幫助研究人員完成了一個(gè)復(fù)雜的物理量估計(jì)任務(wù)。

這一過(guò)程僅用了幾分鐘，而人類(lèi)研究人員可能需要數(shù)天甚至數(shù)周的時(shí)間來(lái)完成。不僅展示了模型在處理復(fù)雜科學(xué)問(wèn)題時(shí)的高效性，更證明了其在實(shí)際科學(xué)研究中的巨大潛力。

在軟件開(kāi)發(fā)領(lǐng)域，模型能夠幫助開(kāi)發(fā)者快速定位和修復(fù)代碼中的錯(cuò)誤。通過(guò)調(diào)用代碼分析工具和調(diào)試工具，模型能夠快速地識(shí)別出代碼中的問(wèn)題，并提出有效的解決方案。

在實(shí)際測(cè)試中，模型在處理一個(gè)復(fù)雜的Python包問(wèn)題時(shí)，通過(guò)調(diào)用容器工具和代碼分析工具，成功地定位并修復(fù)了一個(gè)復(fù)雜的錯(cuò)誤，這一過(guò)程也僅用了幾分鐘。

從今天開(kāi)始，ChatGPT Plus、Pro和Team 用戶(hù)將在模型選擇器中看到 o3、o4-mini 和 o4-mini-high。ChatGPT Enterprise 和 Edu 用戶(hù)將在一周后獲得訪問(wèn)權(quán)限，所有計(jì)劃的速率限制與之前的模型保持不變。

滿(mǎn)血o3和o4-mini也通過(guò) Chat Completions API 和 Responses API 向開(kāi)發(fā)者開(kāi)放。Responses API 支持推理摘要功能，能夠在函數(shù)調(diào)用時(shí)保留推理標(biāo)記以提升性能，并且很快將支持內(nèi)置工具，包括網(wǎng)頁(yè)搜索、文件搜索和代碼解釋器，以增強(qiáng)模型的推理能力。

本文轉(zhuǎn)自 AIGC開(kāi)放社區(qū)  ，作者：AIGC開(kāi)放社區(qū)

原文鏈接:??https://mp.weixin.qq.com/s/CUAgtHZot88s9j-uNzRuEw??