近日，阿里云機器學習平臺PAI和上海交通大學冷靜文老師團隊合作的論文《圖神經網絡統一圖算子抽象uGrapher》被ASPLOS 2023錄取。論文通過抽象統一的的高性能圖算子接口來自適應探索它們在不同圖數據集上的最佳并行執(zhí)行策略， 這是首個在圖神經網絡上利用自適應的并行策略，在不同圖數據和不同圖算子中探索高性能計算優(yōu)化的研究工作。

ASPLOS是計算機系統領域的頂級國際會議，涉及體系結構、編程語言和操作系統等多個方向，尤其重視不同方向之間的交叉，該會議曾推動了多核處理器、虛擬化、RAID、RISC、深度學習處理器等計算機系統領域的核心創(chuàng)新，在學術和工業(yè)界都有巨大的影響力。

此次入選意味著阿里云機器學習平臺PAI在圖神經網絡高性能計算優(yōu)化領域達到了全球業(yè)界先進水平，獲得了國際學者的認可，展現了中國機器學習系統技術創(chuàng)新在國際上的競爭力。

圖神經網絡相對于傳統深度學習引入了特有的新型不規(guī)則算子，即圖算子。隨著圖神經網絡算法演進，圖神經網絡所使用的圖算子的可變性和復雜性不斷增加，其計算也變得更加復雜。同時，具有差異化的分布特點的圖數據作為輸入也給圖神經網絡的計算帶來了特有的復雜性。現有的圖神經網絡框架依靠手寫靜態(tài)算子來實現圖算子的計算操作，難以在變化的圖神經網絡模型或輸入圖數據上維持較好的性能結果。

針對這一問題，uGrapher提出了一個統一的高性能接口，通過將所有圖算子抽象為一個統一的稀疏稠密混合循環(huán)的中間表達形式，解耦圖算子的計算和調度，并探索了對應于GPU 上不同圖算子的不同循環(huán)變換所得到的不同的執(zhí)行策略之間的權衡關系，以針對不同圖神經網絡算子和數據集的動態(tài)變化的場景自適應的提供高性能的計算支持。對比DGL[1], PyG[2], GNNAdvisor[3]，uGrapher平均可以取得3.5倍的性能提升。

目前，阿里云正在將uGrapher的關鍵設計集成進PAI自研的大規(guī)模圖神經網絡框架GraphLearn中，從而為工業(yè)級別的圖神經網絡應用帶來性能加速。

● 論文標題：

uGrapher: High-Performance Graph Operator Computation via Unified Abstraction for Graph Neural Networks

● 論文作者：

周楊杰，冷靜文，宋曜旭，盧淑文，王勉, 李超，過敏意, 沈雯婷，李永，林偉等

● 論文pdf鏈接：

https://dl.acm.org/doi/10.1145/3575693.3575723

● 參考文獻：

[1] M. Wang, D. Zheng, Z. Ye, Q. Gan, M. Li, X. Song, J. Zhou, C. Ma, L. Yu, Y. Gai et al., “Deep graph library: A graph-centric, highly-performant package for graph neural networks,” arXiv preprint arXiv:1909.01315, 2019.

[2] M. Fey and J. E. Lenssen, “Fast graph representation learning with pytorch geometric,” arXiv preprint arXiv:1903.02428, 2019.

[3] Y. Wang, B. Feng, G. Li, S. Li, L. Deng, Y. Xie, and Y. Ding, “GNNAdvisor: An adaptive and efficient runtime system for GNN acceleration on GPUs,” in 15th USENIX Symposium on Operating Systems Design and Implementation (OSDI 21), 2021, pp. 515–531.