這不,英特爾近日公開了自己的Aurora genAI模型,據(jù)稱參數(shù)量高達(dá)1萬億。
給超算準(zhǔn)備的大模型
用英特爾自己的話來說,Aurora genAI由英特爾、HPE和Argonne聯(lián)手開發(fā)。未來將用于科學(xué)計算領(lǐng)域,包括生物學(xué)、癌癥、大氣科學(xué)、天文學(xué)、高分子化學(xué)等多個領(lǐng)域。
為什么是“科學(xué)計算領(lǐng)域”?因為這個AI大模型名字的來源就是臺超級計算機——Aurora。
自打2021年,英特爾就宣布為美國阿貢國家實驗室打造一臺Aurora超級計算機。這之后歷經(jīng)多次更改計算平臺和工藝架構(gòu),所以遲遲不見落地,對其性能也是秘而不宣。
而在近日的德國漢堡舉行的高性能計算展上,英特爾終于正式揭露了這臺超算的一些參數(shù)。
Aurora超級計算機采用英特爾Xeon(至強)CPU Max和Xeon GPU Max系列芯片的支持,并將計算能力從最初的1 Exaflop(100億億次)提升至2 Exaflop(200億億次),使其與基于AMD芯片的Frontier超級計算機媲美(Frontier是目前已公布的地球上最強超級計算機)。
Aurora超算有10624個節(jié)點,每個節(jié)點2組CPU和6組GPU。CPU采用Sapphire Rapids-SP架構(gòu),總共21248個;GPU采用Intel的最強Ponte Vecchio,總共63744個。
Aurora genAI就是Aurora超級計算機的配套模型。Aurora genAI 模型以 Megatron 和 DeepSpeed 為基礎(chǔ),其規(guī)模達(dá)到了 1 萬億參數(shù),相比之下 ChatGPT 的規(guī)模僅為 1750 億參數(shù),當(dāng)然還遠(yuǎn)不及GPT4的百萬億參數(shù)。
Aurora genAI 模型將在通用文本、科學(xué)文本、科學(xué)數(shù)據(jù)和與該領(lǐng)域相關(guān)的代碼上進行訓(xùn)練。按照設(shè)想,它的潛在應(yīng)用范圍大概是:
推動清潔能源聚變研究
催化劑研究
癌癥研究
航空航天研究
神經(jīng)科學(xué)研究
宇宙學(xué)研究等
押寶AI芯片,對決英偉達(dá)
據(jù)英特爾自己介紹,由于英特爾數(shù)據(jù)中心GPU Max系列處理器的加持,實現(xiàn)了超過英偉達(dá)(NVIDIA)A100和AMD Instinct MI250X加速器的最快SimpleFOMP性能。英特爾也強調(diào)這款系統(tǒng)的表現(xiàn)會優(yōu)于使用英偉達(dá)H100芯片的HPC。
眾所周知,現(xiàn)在各個大模型訓(xùn)練算力幾乎全部來自英偉達(dá)的A100和H100GPU。
所以從公布的信息中,能發(fā)覺英特爾不是單純地在說這臺超算的能力,而是矛頭直指GPU霸主英偉達(dá)。
當(dāng)然理想是美好的。和英偉達(dá)比起來,英特爾在AI芯片業(yè)務(wù)的市場份額幾乎為零。
2021年英特爾宣布Aurora超算時,對在上面應(yīng)用的“Ponte Vecchio”旗艦數(shù)據(jù)中心GPU寄予厚望。但之后項目不斷跳票,讓英特爾失去了先機。
現(xiàn)在英特爾將希望押注在全新的“Falcon Shores GPU”身上,它是在Aurora超算上使用的“Ponte Vecchio”的 Max 系列 GPU 繼任者。
這也代表了英特爾關(guān)于如何構(gòu)建下一代超級計算芯片的思維轉(zhuǎn)變。他們決定暫時擱置將 CPU 和 GPU 集成到 XPU的戰(zhàn)略計劃,專心搞好Falcon Shores,應(yīng)對接下來的挑戰(zhàn)。
英特爾既有遠(yuǎn)慮,又有近憂。
根據(jù)英特爾的計劃,F(xiàn)alcon Shores GPU最快也要2025年投產(chǎn)。而另外一個宿敵AMD將在今年晚些時候推出他們的Instinct MI300芯片,這被AMD視作挑戰(zhàn)英偉達(dá)H100的殺手锏,并將為勞倫斯利弗莫爾國家實驗室的 2 exaflops(峰值)超級計算機 El Capitan 提供動力。
此外,微軟、谷歌、亞馬遜也都開始下場研發(fā)AI芯片。粗略統(tǒng)計,這三家已經(jīng)推出或計劃發(fā)布8款服務(wù)器和AI芯片。雖然英特爾貴為芯片龍頭,但在AI領(lǐng)域畢竟涉獵未深。面對這幾位巨頭的持續(xù)發(fā)力,英特爾真的壓力山大。
而在幾年之后Falcon Shores成功出世之時,真正的強敵英偉達(dá)又會拿出怎樣的“核彈”來結(jié)束這場對決,還是未知數(shù)。