NVIDIA 今日(6)宣布,作為全端 NVIDIA BlueField 平台一部分的 NVIDIA BlueField®-4 資料處理器,將驅動NVIDIA 推論情境記憶儲存平台(NVIDIA Inference Context Memory Storage Platform)。此平台為全新一代的人工智慧(AI)原生儲存基礎架構,專為開拓下一個 AI 前沿而設計。
以下是重點摘要內容:
當前熱搜:F-16沒裝防撞系統 徐巧芯:鳳展計畫付了錢、系統裝機1架都沒
NVIDIA BlueField-4 驅動NVIDIA 推論情境記憶儲存平台(NVIDIA Inference Context Memory Storage Platform),這是一種專為千兆級推論而設計的全新 AI 原生儲存基礎架構,可加速並擴充代理型 AI。
全新的儲存處理器平台專為長情境處理代理式 AI 系統而設計,配備超快速的長期與短期記憶。
推論情境記憶儲存平台可延伸 AI 代理的長期記憶,並可在機架規模 AI 系統叢集之間實現高頻寬的情境共享,提升每秒處理的詞元數量,且能源效率最高提升5倍。透過 NVIDIA Spectrum-X 乙太網路,多回合 AI 代理的延伸情境記憶可提升回應能力、提高每 GPU 的輸送量,並支援代理型推論的有效擴充。
全站首選:跨境鎮壓!又增兩位台灣官員被國台辦列為「台獨頑固分子」
以下是完整內容:
隨著 AI 模型擴展至數兆個參數與多步驟推理,產生大量情境資料,以鍵值(KV)快取表示,對準確性、使用者體驗與連續性至關重要。
KV 快取無法長期儲存在 GPU 上,因為這會對多代理系統中的即時推論造成瓶頸。 AI 原生應用需要全新類型的可擴充基礎架構,以儲存並分享這些資料。
NVIDIA 推論情境記憶儲存平台可擴展 GPU 記憶容量,實現節點間高速共享,將每秒處理的詞元(token)數量提升多達 5 倍;相較於傳統儲存裝置,提供高達 5 倍的能源效率,可提供情境記憶體的基礎架構。
NVIDIA 創辦人暨執行長黃仁勳表示:「AI 正在徹底革新整個運算堆疊,而現在輪到儲存空間。AI 不再僅是一次性使用的聊天機器人,而是智慧協作夥伴,能夠理解物理世界、進行長期推理、以事實為基礎、使用工具完成實際工作,並保留短期與長期記憶。透過 BlueField-4,NVIDIA 與軟硬體合作夥伴,正重新改造儲存堆疊,迎向 AI 的下一個前沿。」
NVIDIA 推論情境記憶儲存平台可提升 KV 快取容量,並加速機架級 AI 系統叢集間的情境共享,同時多回合 AI 代理的持續情境可改善回應能力、提高 AI 工廠輸送量,並支援長情境、多代理推論的有效擴展。
NVIDIA BlueField-4 平台的主要功能包括:
NVIDIA Rubin 叢集級 KV 快取容量,可提供長情境、多回合代理推論所需的規模與效率。
相較於傳統儲存裝置,可將能源效率提升高達 5 倍。透過 NVIDIA DOCA™ 框架,可在 AI 節點間智慧加速 KV 快取共享,並與 NVIDIA NIXL 函式庫和 NVIDIA Dynamo 軟體緊密整合,可最大化每秒的詞元生成量、縮短首次生成詞元的時間,並改善多回合回應能力。由 NVIDIA BlueField-4 管理的硬體加速 KV 快取放置,可消除詮釋資料(metadata)成本、減少資料移動,並確保從 GPU 節點的安全隔離存取。
NVIDIA Spectrum-X™ 乙太網路支援的高效資料共享與檢索,為基於 RDMA 的 AI 原生 KV 快取存取提供高效能的網路架構。包括 AIC、Cloudian、DDN、戴爾科技集團、慧與科技、Hitachi Vantara、IBM、Nutanix、Pure Storage、Supermicro、VAST Data 與 WEKA等創新的儲存公司,率先利用 BlueField-4 打造新一代 AI 儲存平台,並將於 2026 年下半年上市。