NVIDIA 與 Oracle 今日(28)宣布，計劃將搭載 NVIDIA Vera Rubin NVL72 系統的 Oracle Cloud Infrastructure（OCI）Supercluster 擴展至數百萬瓩規模，以滿足客戶對人工智慧（AI）訓練、推論及代理型應用日益成長的需求。Oracle 與 NVIDIA 亦進一步擴大雙方在 AI 基礎設施領域的合作，NVIDIA Vera Rubin NVL72 與 NVIDIA Vera CPU 現已在 OCI 上正式開放使用。
以下是輝達發布最新動向與完整內容：
此次擴大合作將為客戶提供所需的基礎設施，不僅支援高度仰賴 GPU 的前沿模型訓練與模型服務工作，也能處理代理在模型呼叫之間執行的 CPU 密集型任務，包括執行工具、測試程式碼及擷取資料。客戶可依據工作負載需求，分別擴展 CPU 與 GPU 資源，有助於減少閒置運算資源，並提高基礎設施的使用效率。
OCI Supercluster 助企業以數百萬瓩規模加速前沿 AI 上市
OCI Superclusters 結合 NVIDIA NVL72 機架級系統、搭配 NVIDIA Spectrum-X™ 乙太網路的 Oracle Acceleron 網路技術，以及數百萬瓩級的電力與冷卻系統，以支援最大規模 AI 模型的訓練與服務。NVIDIA Spectrum-X 乙太網路採用 NVIDIA Spectrum™-6 交換器與 NVIDIA BlueField -4 DPU。每個機架透過 NVIDIA NVLink™ 垂直擴展網路連接 72 顆 GPU，而 OCI 具備韌性的多平面網路則可水平擴展至數十萬顆 GPU。
規劃中的 Vera Rubin 擴展計畫，是以 OCI 現有的 NVIDIA 加速基礎設施為基礎，包括 NVIDIA GB200 與 GB300 NVL72 系統。NVIDIA 共通的 CUDA 軟體基礎及持續進行的軟體最佳化，有助於客戶在不同世代的硬體上，支援不斷演進的模型與工作負載。
OCI 亦計劃導入 NVIDIA HGX Rubin NVL8，在採用 x86 架構的伺服器配置中，透過 NVLink 連接八顆 Rubin GPU。
這項規劃中的平台搭載兩顆各具 64 核心的 Intel Xeon 6 CPU、4TB DDR5 記憶體，以及頻寬達 6.4 Tbps 的高速 RDMA 網路，為 AI 訓練、微調及推論提供彈性的部署選項。HGX Rubin NVL8 讓客戶能以較小規模的八 GPU 配置採用新一代 Rubin GPU 技術，同時維持與 x86 架構應用程式的相容性。
這項彈性讓客戶能隨著需求演變，調整 AI 基礎設施以因應不同模型與工作負載，並透過在訓練與推論作業中皆運用加速運算能力，進一步提升基礎設施投資的使用效益。
OpenAI 已展示這項基礎設施如何支援前沿 AI。在美國德州阿比林（Abilene），OpenAI 利用搭載超過 10 萬顆 NVIDIA Blackwell GPU 的 OCI Supercluster，對 GPT-6 Astra 進行訓練並提供服務。
OpenAI 運算基礎設施工程主管 Sreekanth Pothanis 表示：「隨著我們的前沿模型不斷進步，我們需要能跟上發展腳步的基礎設施。OCI 上的 NVIDIA Vera Rubin 提供我們所需的運算效能與規模，讓我們得以加速模型訓練，並處理需求日益提高的 AI 工作負載。」
OCI 上的 NVIDIA Vera CPU 加速 AI 代理背後的運算工作
AI 代理不僅能產生回應，還能呼叫工具、執行程式碼及擷取資訊，以完成各項任務。若這些 CPU 密集型作業執行速度過慢，可能延遲結果產出，並導致 GPU 在模型呼叫之間處於閒置狀態。
搭載 NVIDIA Vera CPU 的 OCI Compute 結合高單執行緒效能與高記憶體頻寬，協助代理更快完成 CPU 密集型任務。高單執行緒效能可加速個別工具呼叫與程式碼執行，而高記憶體頻寬則可在代理同時執行多項任務時，確保 CPU 核心持續取得所需資料。這些能力有助於減少 GPU 閒置時間，並在工作負載規模擴大時維持穩定效能。為進一步支援這些工作負載，OCI Kubernetes Engine 讓客戶能分別擴展 CPU 與 GPU 資源，而 Oracle Acceleron 則為執行不受信任的 AI 生成程式碼之工作負載，提供硬體層級的隔離機制。
包括 OpenAI 在內，已率先取得 OCI 上 NVIDIA Vera CPU 使用權限的客戶，正探索其在各類 AI 工作負載中的應用潛力。
OpenAI 運算技術長 Uday Ruddarraju 表示：「OCI 上的 NVIDIA Vera CPU 提供世界級的負載效能，足以在我們快速成長的代理型沙盒工作負載中，執行程式碼並運行工具。我們正在 OCI 上將 Vera 投入正式營運環境，以大規模支援這些工作負載。」
Oracle Cloud Infrastructure 總裁 Mahesh Thiagarajan 表示：「Oracle Cloud Infrastructure 為客戶提供推進前沿 AI 所需的效能、安全性與規模。我們與 NVIDIA 的合作，將這些能力延伸至訓練、推論及代理型 AI。透過將 NVIDIA Vera Rubin GPU 與 Vera CPU，結合 Oracle Acceleron 網路技術及針對 AI 最佳化的資料中心，我們正協助客戶在需求增長之際，確保 GPU 維持高效運作、安全無虞，並能有效擴展。」
NVIDIA 超大規模運算與高效能運算副總裁 Ian Buck 表示：「AI 工廠必須具備生產力、耐用性與可替換性，不僅要提供高效的運算能力，還需要隨著軟體的持續進步維持實用價值，並能因應需求變化來支援不同模型與工作負載。透過與 Oracle 的合作，我們將 Vera Rubin 與 Vera CPU 導入 OCI，協助客戶在當下充分運用更多基礎設施資源，同時在 AI 演進的過程中，維持其長期價值。」