AI大模型的推理訓(xùn)練，最渴求的就是強(qiáng)勁的算力，可以來自CPU通用處理器，可以來自GPU加速器，可以來自ML/DL加速器，也可以是多種異構(gòu)硬件的組合。

當(dāng)下最火的當(dāng)然是NVIDIA GPU加速器，但一花獨(dú)放不是春，能夠提供強(qiáng)勁算力硬件方案的廠商很多。

縱觀整個(gè)AI江湖，唯一擁有全套方案、可真正替代NVIDIA的，只能是Intel：至強(qiáng)處理器、GPU Max、Gaudi加速器多管齊下，再加上強(qiáng)大豐富的開發(fā)工具、開放生態(tài)的開發(fā)平臺(tái)，要啥有啥，表現(xiàn)還相當(dāng)不賴。

今年6月，機(jī)器學(xué)習(xí)與人工智能開放產(chǎn)業(yè)聯(lián)盟MLCommons公布了AI性能基準(zhǔn)測試MLPerf Training 3.0的結(jié)果。

結(jié)果顯示，Intel四代至強(qiáng)內(nèi)置的各種加速器，使其成為在通用CPU處理器上運(yùn)行大量AI工作負(fù)載的理想方案，Gaudi2加速器則在生成式AI、LLM大語言模型方面有著優(yōu)秀的性能。

此外，Intel還提供了經(jīng)過優(yōu)化的、易于編程的開放軟件，降低AI部署門檻。

8月份，MLCommons又公布了針對(duì)60億參數(shù)大語言模型、計(jì)算機(jī)視覺與自然語言處理模型GPT-J的 MLPerf 3.1基準(zhǔn)測試結(jié)果，Intel的表現(xiàn)依然值得稱道。

其中在GPT-J模型上，Gaudi2加速器的GPT-J-99、GPT-J-99.9服務(wù)器查詢和離線樣本的推理性能分別為78.58次/秒、84.08 次/秒。

與競品比較，Gaudi2相對(duì)于NVIDIA上一代A100的性能優(yōu)勢可達(dá)2.4倍（服務(wù)器）、2倍（離線），而最新一代的H100相對(duì)于Gaudi2也只有1.09 倍（服務(wù)器）、1.28 倍（離線）的微弱優(yōu)勢。

同時(shí)，Intel四代至強(qiáng)在視覺、語言處理、語音、音頻翻譯模型，以及更大的DLRM v2深度學(xué)習(xí)推薦模型、ChatGPT-J模型上處理通用AI負(fù)載時(shí)，性能都非常出色。

比如使用GPT-J對(duì)大約1000-1500字新聞稿進(jìn)行100字總結(jié)的任務(wù)，四代至強(qiáng)在離線模式下每秒完成兩段，實(shí)時(shí)服務(wù)器模式下則可完成每秒一段。

此外，Intel還首次提交了至強(qiáng)CPU Max處理器的MLPerf測試結(jié)果，其集成最多64GB HBM3高帶寬內(nèi)存，對(duì)于GPT-J而言是唯一能夠達(dá)到99.9％準(zhǔn)確度的CPU，非常適合精度要求極高的應(yīng)用。

還有非常關(guān)鍵的一點(diǎn)：迄今為止，Intel是唯一一個(gè)使用行業(yè)標(biāo)準(zhǔn)深度學(xué)習(xí)生態(tài)軟件并公開提交CPU結(jié)果的廠商，Gaudi2是僅有的兩個(gè)向GPT-3大模型訓(xùn)練基準(zhǔn)提交性能結(jié)果的解決方案之一。

那么，Intel Gaudi2加速器、至強(qiáng)處理器為何能在AI算力上如此彪悍？Habana Labs中國區(qū)總經(jīng)理于明揚(yáng)做出了詳細(xì)解讀。

據(jù)介紹，MLPerf 3.1推理測試中，Gaudi2和H100一樣都采用了FP8精度，GPT-J測試結(jié)果非常令人滿意，準(zhǔn)確率高達(dá)99.9％，和H100的差距非常小。

這主要是因?yàn)镚audi2 MME支持FP8、BF16精度加速，而且結(jié)構(gòu)設(shè)計(jì)合理，可以高效提升推理能力。

同時(shí)，Gaudi2也和H100一樣使用了HBM高帶寬內(nèi)存，Intel也很好地預(yù)測了市場，并預(yù)估了額外的需求，因此基本保證了供應(yīng)和生產(chǎn)，可以滿足市場需求，不像NVIDIA那么頭疼產(chǎn)能。

至于A100，它并不支持FP8而僅支持FP16，所以Gaudi2比之優(yōu)勢非常明顯，這也顯示了Gaudi2架構(gòu)和軟件設(shè)計(jì)的領(lǐng)先性，以及資源利用率的高效性。

非常關(guān)鍵的是，Intel Gaudi2的性價(jià)比優(yōu)勢明顯，不像A100、H100那樣動(dòng)不動(dòng)幾十萬一塊，讓中小企業(yè)和個(gè)人開發(fā)者望洋興嘆。

Intel也已經(jīng)開放了開發(fā)者云，讓不同客戶可以訪問不同的Intel AI硬件，大大降低AI工作成本。

除了硬件性能的比拼，Intel也在軟件生態(tài)上持續(xù)大力投入，雖然暫時(shí)還做不到NVIDIA CUDA生態(tài)那樣有著獨(dú)一無二的優(yōu)勢，但也有自己的突出特點(diǎn)。

于明揚(yáng)強(qiáng)調(diào)，在軟件生態(tài)上，Intel一直主張開放，比如通過開發(fā)者社區(qū)與開發(fā)者互動(dòng)，提供優(yōu)化后的模型、開源驅(qū)動(dòng)和工具庫，并支持Pytorch、Deepspeed等開源框架，加入和維護(hù)開放生態(tài)，為客戶、合作伙伴和開發(fā)人員提供早期訪問和便捷、迅速的途徑。

Intel oneAPI也能提供更為開放的環(huán)境，支持不同層面的定制化開發(fā)，Intel和客戶都可以在軟件中添加新的加速算子，并且upstreaming到框架開源社區(qū)中。

值得一提的是，在軟件上CUDA的影響已經(jīng)大大縮小，對(duì)整體開發(fā)和應(yīng)用環(huán)境更加有利。

事實(shí)上，NVIDIA目前的強(qiáng)大只是GPU一條腿走路，CPU通用處理器是欠缺的。

雖然NVIDIA也開發(fā)了Grace CPU，并打造了所謂的“超級(jí)芯片”，可以將兩顆Grace CPU或一顆Grace CPU加一顆H100 GPU進(jìn)行整合，但畢竟是基于Arm架構(gòu)，性能較弱，而且缺乏通用性。

Intel則憑借多管齊下的多硬件組合，可以構(gòu)建強(qiáng)大、靈活異構(gòu)計(jì)算平臺(tái)，從而支持更大的模型規(guī)模，滿足更廣泛的系統(tǒng)需求。

于明揚(yáng)指出，至強(qiáng)可擴(kuò)展處理器有著最好的通用性，可以運(yùn)行各種AI工作負(fù)載。

四代至強(qiáng)還衍生出了的至強(qiáng)CPU Max系列，是行業(yè)唯一一款具有HBM高帶寬內(nèi)存的x86處理器，無需更改代碼，即可加速多種HPC、AI工作負(fù)載。

Gaudi系列加速器則專注于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的環(huán)境，以及未來對(duì)大語言模型的需求。

當(dāng)然還有數(shù)據(jù)中心GPU Max系列，雖然才剛剛誕生，但是擁有47個(gè)功能模塊、1000多億晶體管的它，有著巨大的潛力和廣闊的前景，在各種科學(xué)負(fù)載中相比H100可綜合領(lǐng)先30％，還已經(jīng)用于百億億次超級(jí)計(jì)算機(jī)“Aurora”。

這樣的豐富組合，別說NVIDIA，在整個(gè)行業(yè)內(nèi)都沒有可與之匹配的。

面向未來，Intel也自信滿滿地公布了Gaudi加速器、至強(qiáng)處理器的多年路線圖，讓人充滿期待。

Gaudi 3將把制造工藝從7nm升級(jí)到5nm，帶來的性能提升堪稱一次飛躍：

BF16算力提升4倍，計(jì)算性能提升2倍，網(wǎng)絡(luò)帶寬提升1.5倍，HBM高帶寬內(nèi)存容量提升1.5倍。

從示意圖上看，Gaudi3的主芯片將從單顆升級(jí)為兩顆整合，HBM內(nèi)存則從6顆增加到8顆。

再往后更是革命性的變化：Falcon Shores將是Intel第一次把x86 CPU、Xe GPU雙架構(gòu)融合在一起，官方稱之為XPU，類似AMD Instinct MI300A。

按照Intel之前給出的數(shù)字，對(duì)比當(dāng)今水平，F(xiàn)alcon Shores的能耗比提升超過5倍，x86計(jì)算密度提升超過5倍，內(nèi)存容量與密度提升超過5倍。

Emerald Rapids五代至強(qiáng)將在12月14日正式發(fā)布，這是至強(qiáng)歷史上第一次一年內(nèi)更新兩代，增加到最多64核心128線程，同樣功耗水平下可提供更高的性能和存儲(chǔ)速度。

2024年上半年，至強(qiáng)將首次采用E核能效核設(shè)計(jì)，代號(hào)Sierra Forest，最多達(dá)到驚人的288核心288線程，而且首次引入Intel 3制造工藝，預(yù)計(jì)可使機(jī)架密度提升2.5倍、每瓦性能(能效)提高2.4倍。

緊隨其后的是同樣Intel 3工藝、全部P核性能核設(shè)計(jì)的Granite Rapids，AI性能對(duì)比四代至強(qiáng)預(yù)計(jì)可提高2-3倍。

2025年，我們將看到代號(hào)Clearwater Forest的再下一代至強(qiáng)，純能效核設(shè)計(jì)，升級(jí)為Intel 18A制造工藝。

按照規(guī)劃，那個(gè)時(shí)候，Intel將重新奪回制程工藝的領(lǐng)先地位，對(duì)于提高AI硬件的能效大有裨益。

總之，未來在AI計(jì)算領(lǐng)域，Intel將會(huì)提供更加強(qiáng)大、可滿足不同應(yīng)用場景和TCO成本的AI產(chǎn)品組合，為客戶打造統(tǒng)一的開發(fā)平臺(tái)，形成完整的產(chǎn)品生態(tài)鏈。