前兩天，字節發布了Seedream4.0模型，跟NanoBanana一樣，從生成到編輯實現一站式創作，有很強的一致性和可控性，相較于之前版本有極大程度的提高。沒想到，剛寫完NanoBanana，就迎來了我第二篇生圖文章，哈哈哈哈。體驗之后，覺得多圖融合、參考生圖還是復雜的圖像編輯效果都很好，同時在NanoBanana不擅長的中文顯示上也賊強。Seedream4.0模型在豆包、即夢、火山方舟上都能使用，我是直接在火山方舟的體驗中心測試，??https:e...

也許是最近開源模型太多（Qwen3、K2、Step3、GLM4.5等等），也許是大家等R2時間太久，DeepSeek開源V3.1模型，竟然能被狂噴，這點我是沒有想到的。如果說是APP、客戶端，那沒辦法，畢竟DS的顯卡資源有限，我反正能理解。API的話，就真不至于，因為DeepSeekV3.1模型本身就開源，完全可以自己部署之前版本，或者用火山引擎、阿里百煉、硅基流動等等等云模型廠商的老版本API。然后從昨晚到今天，也是看了不少帖子，褒貶不一。跟不少...

7月就很卷了，見國內開源大模型整理，8月沒想到依然卷。從一開始的騰訊開源小模型，到Qwen開源Image模型，再到小紅書dots.vlm1、面壁MiniCPMV4.0，然后今天智譜又發布了GLM4.5V。對，就這樣卷，利好開源社區、利好我們這些開發者！那么今天來看看這個GLM4.5V模型到底如何？先上測試，再聊模型細節！測試除了OCR識別、表格識別、理解計算、網頁復刻、報告分享、目標識別、目標對比、數學做題、圖片排序、空間邏輯、空間變換、色...

實話實說，本來沒有這篇稿子，我并沒有太關注BaichuanM2這個模型，因為最近開源社區太火爆了，各家都在卷。7月份見?開源模型盤點，而8月剛過半，已經有QwenImage、dots.vlm1、MiniCPMV4.0、GLM4.5V等等等。那么，BaichuanM2這個垂域模型就顯得不那么驚艷了（很多人都更關心通用模型），還有百川上次開源M1已經是五六個月前了，當時在群里發AI日報，一眾小伙伴都驚訝百川還在發模型。PS：不過我群里有個內應，說他們項目挺多的...

騰訊HunYuan又開源了4個端側小模型0.5B、1.8B、4B、7B，共4個尺寸，主打輕量端側。Hunyuan0.5B：https:huggingface.cotencentHunyuan0.5BInstructHunyuan1.8B：https:huggingface.cotencentHunyuan1.8BInstructHunyuan4B：https:huggingface.cotencentHunyuan4BInstructHunyuan7B：https:huggingface.cotencentHunyuan7BInstructHunYuan也開始走全系列開源的路子了，是不是跟Qwen干上了呀！我是真沒想到，騰訊也開始大規模開源...

騰訊前兩天開源了混元A13B模型，A13B模型是一個MoE模型，總參數80B，激活參數13B，同時支持快慢思考兩種模式切換。Paper：https:github.comTencentHunyuanHunyuanA13BblobmainreportHunyuanA13BTechnicalReport.pdfHF：https:huggingface.cocollectionstencenthunyuana13b685ec38e5b46321e3ea7c4be騰訊之前開源3D生成模型關注度很高，文本大模型上一次開源已經是5個月前的HunYuan7B和HunYuanLarge模型了。由于Qwen3的系列模型沒...

大家好，我是劉聰NLP。最近開源社區好起來了，先是華為、百度、騰訊，相繼開源模型，然后昨天智譜又開源了模型，GLM4.1VThinking，又是被刷屏朋友圈了！但是說實話，一開始因為這個標題，我都不想測試GLM4.1VThinking了，感覺就很夸張，并且一猜就是干掉了Qwen2.5VL72B。PS：我Qwen天天被吊打！！不過，有個好友非要讓我測一下，因為他告訴我，我之前的表格識別，這個9B模型好像可以了。不測不知道，一測嚇一跳，沒想到真出來了...

大家好，今天給大家分享一個圖像生成的新工作—MarryingAutoregressiveTransformerandDiffusionwithMultiReferenceAutoregression，后面我們簡稱TransDiff。首先，TransDiff是目前最簡潔的、將ARTransformer與Diffusion結合用于圖像生成方法。TransDiff將離散輸入（如類別、文本等）、連續輸入（圖像等）經過ARTransformer編碼為圖像語義表征，而后將表征通過一個較小的DiffusionDeocder解碼為圖片。其次，我們提出了一種新的自...

上周五，Qwen團隊又開源了Embedding模型，真是人民需要什么，它開源什么呀！現在好了，文本、多模態、embedding都齊了，別人沒得玩了！上周朋友就問，作為Qwen課代表的我，咋沒分享Qwen3Embedding，哈哈哈哈！這不就來了嘛，主要是前兩天我還在測試。Embedding模型的測試，并不像LLM那樣直觀，給了問題之后直接看答案就可以分辨出好壞，Embedding模型還是要測試在某個數據集下整體得召回率。雖然這次Qwen開源了3個尺寸的模型，0...

自適應推理模型的核心就是讓模型自己根據用戶問題的來判斷是否進行推理預測。Arm存在三種格式：直接回答、短CoT或代碼、長CoT，同時引入AdaGRPO解決傳統GRPO中的格式崩潰問題。除了自適應模式，Arm還支持另外兩種模式；指令引導模式，用戶明確強制選擇某一種指定推理格式共識引導模式，聚合直接回答、短CoT或代碼三種格式的輸出，當答案一致時，直接返回，否則認為任務較復雜，切換到LongCoT推理模式。模型的訓練分為兩個階段，...

大家好，我是劉聰NLP。是的，沒錯，Qwen團隊又開源了，這次是偏好模型WorldPM。偏好模型，就是也可以理解為獎勵模型，在強化學習中用來打分的那個模型！HF：https:huggingface.cocollectionsQwenworldpm6826f363e9c62f97a0b437e6Paper：https:arxiv.orgabs2505.10527WorldPM，是在1500萬條訓練樣本上進行偏好訓練，模型規模從1.5B到72B，同時發現偏好模型遵循與語言模型類似的縮放規律。模型的訓練數據來自多個公共論壇，包括St...

大家好，我是劉聰NLP。從Llama4隕落之后，國內開源模型是世界第一，誰贊成，誰反對！反對無效！應該也沒人反對吧。模型尺寸、榜單指標、首個混合推理模型，這篇就不重復介紹了，去看我上一篇內容吧。這篇主要是針對Qwen3實測，看看真實測試效果到底如何！測試可以在兩個地方都可以??https:huggingface.cospacesQwenQwen3Demo??或者??https:chat.qwen.ai??主要測試think和nothink兩種情況。正式測試開始。常規測試Qwen32...

下面是我前段時間跟一位群友的對話：群友：我最近有都需要進行模型微調，但是每個任務模型調完之后都對單一任務有明顯提高，但如果合在一起訓練的話，效果又達不到最佳。所以在使用階段，部署了多個模型，但是顯卡資源真的吃不消，有什么好的解決辦法嗎？我：你是Lora微調，還是全量參數微調的。群友：Lora微調，全量參數微調，也沒那么多訓練資源。我：你既然是Lora微調，那么你在部署的時候，可以只部署一個底座模型，然后多...

MetaAI發布了Llama4模型，終于來啦！開源社區也是等了很久。本次共兩系列模型Scout和Maverick模型，兩個模型均為MoE架構模型，DeepSeek得含金量還在提高，哈哈哈！榜單效果反正是杠杠滴。HF模型路徑：https:huggingface.cocollectionsmetallamallama467f0c30d9fe03840bc9d0164模型的總體信息如上圖所示，模型MoE架構中，無論是Scout還是Maverick，激活的路由專家數據均為1，有點奇怪，之前MoE架構一般激活路由專家數據都是2或更...

國內Qwen是汪峰，國外Google是汪峰，昨天Google更新，放出新模型Gemini2.5Pro，凌晨OpenAI更新GPT4o，上新圖像生成功能，難受住了。GPT4o沒測，但是網上的效果也太好了吧，倒影啥的都太自然了吧。。這篇主要測試Gemini2.5Pro的能力，整體測試通過Google的AIStudio上測試，每天免費50次，正常使用夠了，爽玩還是不夠的。https:aistudio.google.comGemini2.5Pro在Benchmark上效果還是很好的，甚至在lmsys的對戰榜單上，現在是第一...

今早看到了百度文心大模型4.5和X1可以免費使用啦！之前說4月1號免費，這提前半個月，估計是最近大模型廠商一直都在開源，壓力太大了！話說回來，2025年是真卷，幾乎每一周都有新東西，也都有爆款。之前我是隨機更，現在都變成日更啦！文心4.5是個多模態大模型，可以對文字、圖片、音頻、視頻等內容進行綜合理解。文心X1是深度思考的推理大模型，但支持多模態和工具使用，具有更強的理解、規劃、反思、進化的能力。從榜單上看效...

今天給大家帶來一篇探討大模型預訓練與微調之間關系的文章，主要通過微調預訓練階段各個checkpoint，來發現預訓練本身或對下游微調有哪些影響。大模型在預訓練過程中的性能如何變化？更多步數的預訓練對下游微調有何影響？大模型微調學到了什么，又忘記了什么？Paper:https:arxiv.orgabs2408.06663由于目前開源模型中，開放全量checkpoints的模型較少，并且實驗成本較大，以下分析結果主要基于OLMo1B模型（同時訓練細節、預訓練...

言簡意賅，發現月之暗面開源MoE模型，總參數量15.29B，激活參數2.24B，使用Muon優化器，在5.7TTokens的訓練數據下，拿到了很好的效果。Github：https:github.comMoonshotAIMoonlightHF：https:huggingface.comoonshotaiMoonlight16BA3BPaper：https:github.comMoonshotAIMoonlightblobmasterMoonlight.pdf效果如下：比較Muon和Adam的擴展定律實驗，發現Muon的樣本效率比Adam高2倍。Muon優化器原理如下：同時，Moonlight16BA3B的...

最近DeepSeekR1蒸餾太火了，昨天在群里跟群友們問白嫖R1接口的事情，想著多點搞免費額度蒸餾一波滿血版DeepSeekR1，來做做試驗。結果一個小伙伴，跟我講，他們（無問芯穹）的滿血版DeepSeekR1API是免費調用的，不僅如此，還有DeepSeekV3、Deepseek蒸餾版本模型R1DistillQwen32b也是免費的。當然，現在DeepSeek流量真的爆炸，公眾號標題帶DeepSeek流量都會更高一些，算是現象級模型了。在這里為春節期間同樣努力奮斗，放出新模型...

今天看到vLLM的朋友圈發布了DeepSeekR1的PP支持，立刻開始我的搗鼓之旅，假如我訓練的超大MoE上線了，也得做好技術準備工作是不嘛。把踩坑經驗給大家分享一下，希望能夠相比于官方文檔更白話一點。DistributedInferenceandServing:https:docs.vllm.aienlatestservingdistributedserving.htmlrunningvllmonmultiplenodes知乎游凱超說一定要讓整個過程變得絲滑無比，我倆配合做了幾個驗證，現在應該只需要Step0和Step3就可以run起...