無廠半導體公司輝達(Nvidia),近期發文宣佈了「黃氏定律」(Huang's Law),稱 GPU AI 推理性能過去 10 年內增長了 1,000 倍。
根據《IT 之家》今(2)日的報導,輝達表示,在過去 10 年中,輝達 GPU AI 處理能力增長了 1,000 倍。「黃氏定律」代表,在「單晶元推理性能」中看到的加速不會逐漸消失,而是會繼續出現。
文章指出,輝達首席科學家戴利(Bill Dally)所描述的「後摩爾定律時代計算機性能如何實現的結構性轉變」主要基於人類的聰明才智。這一特徵似乎難以建立一條定律,但戴利認為,一份指出 GPU AI 推理性能在過去 10 年內大幅進化的圖表,正標誌著「黃氏定律」的開始。
戴利認為,一份指出 GPU AI 推理性能在過去 10 年內大幅進化的圖表,正標志著「黃氏定律」的開始。 圖:翻攝自 IT 之家戴利稱,該圖表顯示,過去 10 年 GPU AI 推理性能增長了 1,000 倍。戴利補充,Transformer 引擎的 Nvidia Hopper 架構的到來,帶來巨大的性能推動。據稱,Hopper 使用 8 位和 16 位浮點與整數數學的動態組合,實現了 12.5 倍的性能飛躍,並且節省了能源。
事實上「黃氏定律」並非輝達的首創說法。《IEEE綜覽》(IEEE Spectrum) 第一個提出以輝達執行長黃仁勛命名的「黃氏定律」。
輝達執行長黃仁勳。(資料照片) 圖:翻攝自輝達YouTube頻道