在耶誕節前,輝達(NVIDIA)日前推出了新款生成式 AI超級電腦「Jetson Orin Nano Super」。該款硬體不僅體積小、也主打「平價」,更可透過軟體升級方式,以更低價格提供更高效能。

由執行長黃仁勳主持新品展示影片,並親自從「烤箱」拿出新款超級電腦,輝達的 Jetson Orin Nano Super 僅手掌一般大小。不論是商業 AI 開發人員、業餘人士或學生,都可享受到更棒的生成式 AI 功能和更高效能。

相較於前一代產品,這款新上市的超級電腦能夠將生成式 AI 的推論效能提高 1.7倍、運算效能提高 70%,記憶體頻寬加大 50%至每秒 102 GB。而該電腦的價格也從 499美元降至 249美元。無論是以強化版的「檢索生成技術」來建立 LLM 聊天機器人、建立視覺 AI 代理,還是部署 AI 機器人,Jetson Orin Nano Super 都能辦得到。

▲輝達的新款超級電腦 Jetson Orin Nano Super。 圖:輝達/提供

此外,新款 Jetson Orin Nano Super 還可透過軟體更新服務,也能提高運行生成式 AI 效能。該款電腦適合有興趣發展生成式 AI、機器人或電腦視覺技能的人士使用。隨 AI 世界正從特定任務模型朝著基礎模型的方向轉變,它也提供了一個容易使用的平台,能協助將想法轉化成現實。

這款超級電腦包含一個 Jetson Orin Nano 8GB系統模組(SoM)與一個參考設計載板,提供開發邊緣 AI 應用原型的理想平台。其搭載輝達 Ampere 架構的 GPU 及 Tensor 核心,以及安謀(ARM)六核心的 CPU,能夠同時運行多個 AI 應用管道,與進行高效能推論作業。它最多還可支援 4具攝影機,提供比過去版本更高的解析度與幀率。

由於生成式 AI 正迅速發展。輝達 Jetson AI Lab 可立即支援由開源社群所發展出的尖端模型,並提供簡單易用的教學內容。開發人員也可以從規模更大的「Jetson」社群得到更多支援,及從開發人員建立的項目裡獲得靈感。

不僅能執行輝達 AI軟體,包括用於機器人的輝達 Isaac、用於視覺 AI 的輝達 Metropolis,及用於處理感應器資料的輝達 Holoscan。使用輝達 Omniverse Replicator 來產生合成資料,以及使用用於微調 NGC 目錄裡預先訓練好的 AI 模型的輝達 TAO Toolkit 可縮短開發時間。

「Jetson」生態系合作夥伴提供額外的 AI 與系統軟體、開發者工具,及開發專屬軟體。他們也能協助提供攝影機和其他感測器,及載板和產品解決方案的設計服務。此外,Jetson Orin NX 與 Orin Nano 系列系統模組同樣能夠藉由軟體更新服務,將運行生成式 AI 的效能提高 1.7倍。