近日，阿里云機器學習平臺PAI主導的論文《Whale: Efficient Giant Model Training over Heterogeneous GPUs》，高效大模型訓練框架Whale入選USENIX ATC'22。Whale通過對不同并行化策略進行統一抽象、封裝，在一套分布式訓練框架中支持多種并行策略，并進行顯存、計算、通信等全方位的優化，來提供易用、高效的分布式訓練框架。

USENIX Annul Technical Conference (USENIX ATC)，是計算機系統領域國際頂級學術會議 (CCF-A)，自1992年舉辦第一屆USENIX ATC會議以來，至今已成功舉辦30多屆，在學術和工業界都有巨大的影響力。USENIX ATC2022將于2022年7月11日召開。此次入選意味著阿里云機器學習平臺PAI自研的深度學習分布式模型訓練系統達到了全球業界先進水平，獲得了國際學者的認可，展現了中國機器學習系統技術創新在國際上的競爭力。

Whale是阿里云機器學習PAI平臺自研的高效、通用、硬件感知的大模型分布式訓練框架，現已開源，開源后的名稱是EPL(Easy Parallel Library)。Whale通過統一的策略抽象來實現各種分布式策略的表達，并通過硬件感知和自動計算圖改寫及優化完成高效的分布式模型實現。

隨著模型參數規模飛速增長，模型效果也在逐步提高，但同時也為訓練框架帶來更大的挑戰。當前的業界分布式訓練框架只支持少量的并行策略，缺乏一個統一的抽象來支持所有的并行策略及其混合策略。同時實現復雜的并行策略需要大量的模型代碼改造和對底層系統的理解，大大增加了用戶的使用難度。由于集群中異構GPU計算能力和顯存的差異，靜態的并行化策略無法充分利用異構資源實現高效訓練。

針對這些問題，Whale抽象并定義了兩個分布式原語(replicate和split) 。用戶可以通過在模型上添加幾行原語標記，即來表達和轉換各種并行化策略及其組合，極大降低了分布式框架的使用門檻。Whale runtime將用戶的標記信息融合到計算圖中，自動完成模型的并行化優化。同時Whale提供了基于硬件感知的自動化分布式并行策略，優化在異構GPU集群上分布式訓練性能。Whale的設計很好地平衡了模型用戶的干預和系統優化機會，讓每一個算法工程師都能輕松高效訓練分布式大模型任務。借助Whale，阿里達摩院M6模型使用512張V100 GPU在10天內即可完成10萬億多模態預訓練模型。

Whale起源于阿里內部業務，在阿里內部已經支持圖像、推薦、語音、視頻、自然語言、多模態等業務場景。并且能無感支持模型規模橫向擴展，最大完成了10萬億規模的M6模型訓練。同時Whale已經集成在阿里云機器學習平臺PAI中，大家可以在阿里云PAI平臺上使用Whale。機器學習平臺PAI是面向開發者和企業的AI工程化平臺，提供了覆蓋數據準備、模型開發、模型訓練、模型部署的全流程服務。

Whale(EPL)開源地址(https://github.com/alibaba/EasyParallelLibrary)，歡迎大家來試用和給出建議。

論文名稱：Whale: Efficient Giant Model Training over Heterogeneous GPUs

論文作者：賈賢艷，江樂，王昂，肖文聰，石子驥，張杰，李昕元，陳浪石，李永，鄭禎，劉小勇，林偉

開源鏈接：https://github.com/alibaba/easyparallellibrary

論文鏈接：https://www.usenix.org/conference/atc22/presentation/jia-xianyan