NVIDIA 今日(12)推出 NVIDIA Nemotron 3 Super模型,這是一款具備 1200 億參數的開放模型,其中包含 120 億個活躍參數(active parameters),專為大規模運行複雜的代理型 AI 系統而設計。此模型現已開放使用,結合先進推理能力,可讓自主代理以高效率完成任務並維持高準確度。
以下是輝達發布完整內容:
現正最夯:預告將釋戰略油儲! 川普:美軍擊毀58艘伊朗艦艇、會戰到任務完成
AI 原生企業:Perplexity 已為其用戶提供 Nemotron 3 Super,用於搜尋功能,並將其作為 Computer 產品中 20 個協作模型之一。提供軟體開發代理的公司,如 CodeRabbit、Factory 與 Greptile,也正將該模型與自家模型整合至 AI 代理中,以降低成本並同步提升準確度。此外,Edison Scientific 與 Lila Sciences等生命科學與頂尖 AI 機構,則將運用 Nemotron 3 Super 模型驅動其代理系統,用於深度文獻搜尋、資料科學研究,以及分子層級的理解任務。
企業軟體平台:Amdocs、Palantir、Cadence、達梭系統與西門子等業界領導廠商正在部署並客製化 Nemotron 3 Super 模型,用於電信、資安、半導體設計與製造等領域的工作流程自動化。
隨著企業從聊天機器人邁向多代理應用,正面臨兩大主要限制。
當前熱搜:藍白猛攻卓榮泰自費赴日!謝長廷:是卓院長自己要求走松指部的嗎
首先是情境膨脹(context explosion)問題。多代理工作流程所產生的詞元數量,可能是一般聊天互動的 15 倍,因為每次互動都必須重新傳送完整歷史紀錄,包括工具輸出與中間的推理過程。
在處理時間較長的任務中,龐大的情境資料量會增加成本,且可能導致代理偏離原始目標。
第二項是思考稅(thinking tax)。複雜代理需要在每個步驟進行推理,但若是每個子任務都使用大型模型,將使多代理應用成本過高且運行緩慢,難以在實務環境中部署。
Nemotron 3 Super 提供 100 萬個詞元的情境窗口,使代理能將完整工作流程狀態保留在記憶中,進而避免目標偏移。
Nemotron 3 Super 亦樹立全新效能標準,在效率與開放性方面於 Artificial Analysis 評比中排名第一,並在同級模型中展現領先的準確度。
該模型也同時讓 NVIDIA AI-Q 研究代理在 DeepResearch Bench 與 DeepResearch Bench II 排行榜上榮登榜首。這兩項基準測試皆用於衡量 AI 系統在處理大型文件集時,進行全面多步驟研究,並維持推理連貫性的能力。
混合式架構
Nemotron 3 Super 採用混合式專家(MoE)架構,整合三大關鍵創新,相較前一代 Nemotron Super 模型,資料輸送量提升最高達 5 倍,準確度提升最高達 2 倍。
混合式架構(Hybrid Architecture):Mamba 層可提供高達 4 倍的記憶體與運算效率,而 Transformer 層則驅動進階推理。
混合專家(MoE):在推論階段時,1200 億參數中僅有 120 億參數將處於活躍狀態。
潛在混合專家(Latent MoE):這項創新技術能在推論階段,以一個專家的成本啟動四個專家模型來產生下一個詞元,進一步提升準確度。
多詞元預測(Multi-Token Prediction):可同步預測多個未來詞元,使推論速度提升 3 倍。
在 NVIDIA Blackwell 平台上,該模型以 NVFP4 精度運行。此舉可降低記憶體需求,並將推論速度提升至 NVIDIA Hopper 平台上 FP8 精度運算的 4 倍,同時維持相同準確度。
開放權重、資料與訓練方法
NVIDIA 以寬鬆授權方式釋出 Nemotron 3 Super 模型的開放權重。開發者可在工作站、資料中心或雲端環境部署並客製化該模型。
Nemotron 3 Super 模型使用由前沿推理模型生成的合成資料進行訓練。NVIDIA 同時完整公開研究方法,包括超過 10 兆詞元的訓練前與訓練後資料集、15 個強化學習訓練環境及評估流程。研究人員也可進一步運用 NVIDIA NeMo 平台對模型進行微調,或自行建構全新模型。
在代理型系統中的應用
Nemotron 3 Super 專為處理多代理系統中的複雜子任務而設計。
軟體開發代理可將完整程式碼庫一次性載入情境,實現端到端程式碼生成與除錯,且無需分割文件。
在財務分析場景中,該模型可將數千頁報告載入記憶體,避免在長時間對話中反覆推理,從而提升效率。
Nemotron 3 Super 亦具備高準確度的工具調度能力,使自主代理能可靠地在龐大的函式庫中選擇正確功能,以避免在資安領域中的自動化安全編排等高風險環境發生執行錯誤。
上市時程
NVIDIA Nemotron 3 Super 模型為 Nemotron 3 系列模型成員,目前已可透過 build.nvidia.com、Perplexity、OpenRouter 與 Hugging Face 存取。戴爾科技集團正將該模型導入 Hugging Face 上的 Dell Enterprise Hub,並針對 Dell AI Factory 的地端部署進行最佳化,以推動多代理 AI 工作流程。慧與科技亦將 NVIDIA Nemotron 引入其代理平台(agents hub),協助企業大規模採用代理型 AI。
企業與開發者可透過以下合作夥伴部署 Nemotron 3 Super 模型:
雲端服務供應商:Google Cloud Vertex AI、Oracle Cloud Infrastructure,以及即將支援的 Amazon Web Services(透過 Amazon Bedrock)與 Microsoft Azure。
NVIDIA 雲端合作夥伴:Coreweave、Crusoe、Nebius 與 Together AI。
推論服務供應商:Baseten、CloudFlare、DeepInfra、Fireworks AI、Inference.net、Lightning AI、Modal 與 FriendliAI。
資料平台與服務:Distyl、Dataiku、DataRobot、德勤、安永與塔塔顧問服務。