Grok-1官宣開源不過半月，新升級的Grok-1.5出爐了。

剛剛，馬斯克xAI官宣，128K上下文Grok-1.5，推理能力大幅提升。

并且，很快就會上線。

11天前，Grok-1模型的權重和架構開源，展示了Xai在去年11月之前取得的進展。

Grok-1有3140億參數，是Llama 2的4倍大，而且采用的是MoE架構，8個專家中2個是活躍專家。

Xai介紹，也就是從那時起，團隊改進了最新模型Grok-1.5的推理和解決問題的能力。

OpenAI前開發者關系負責人表示，從xAI重大發布的時間可以看出他們前進的步伐和緊迫感。令人振奮！

128K上下文，Grok-1.5數學推理能力暴漲

根據官方介紹，Grok-1.5改進了推理能力，上下文長度為128K。

Grok-1.5最顯著的改進之一是，它在編碼和數學相關任務中的表現。

在測試中，Grok-1.5在數學基準上取得50.6%的得分，在GSM8K基準上獲得了90%，這兩個數學基準涵蓋了從小學到高中的各種競賽問題。

此外，在評估代碼生成和解決問題能力的HumanEval基準測試中，Grok-1.5獲得了74.1%的高分。

從下圖中，與Grok-1相比，可以看出Grok-1.5在數學方面的能力得到大幅提升，GSM8K上從62.9%改進到90，MATH上從23.9%提升到50.6%。

128K長語境理解，擴增16倍

Grok-1.5另一全新特點是，能夠在其上下文窗口內處理高達128K token的文本。

這使Grok的內存容量，增加到以前上下文長度的16倍，從而使它能夠利用更長的文檔中的信息。

此外，新模型還可以處理更長和更復雜的提示，同時在其上下文窗口擴展時仍保持其指令跟隨能力。

在Needle In A Haystack（NIAH）評估中，Grok-1.5 展示了強大的檢索能力，可檢索長度達 128K 字節的上下文中的嵌入文本，并取得了完美的檢索結果。

Grok-1.5基礎設施

Grok-1.5構建在基于JAX、Rust和Kubernetes的定制分布式訓練框架之上。

這個訓練堆棧可以讓xAI團隊能夠以最少的投入，大規模構建創意，以及訓練新的架構。

在大型計算群集上進行訓練LLM的一個主要挑戰是，最大限度地提高訓練任務的可靠性和正常運行時間。

xAI定制的訓練編排器，可確保自動檢測有問題的節點，并將其從訓練任務剔除。

與此同時，他們還優化了檢查點、數據加載和訓練任務的重啟，以最大限度地減少發生故障時的停機時間。

xAI表示，Grok-1.5將很快提供給早期測試者，以幫助改進模型。

博客還預告了Grok-1.5將在未來幾天里推出幾個新功能。

最后，xAI還是一如既往地po出了招募信息。