快訊｜螞蟻GMLake技術成果入選ASPLOS24，能提高33%可用顯存
分類: 最新資訊
簽名詞典
編輯 : 簽名大全
發(fā)布 : 01-18
閱讀 :498
1月16日消息，近日，從螞蟻集團獲悉，螞蟻集團和上海交通大學合作的技術成果GMLake被計算機體系結構四大頂級會議之一的ASPLOS 24接收。據(jù)悉，這篇名為《GMLake: Efficient and Transparent GPU Memory Defragmentation for Large-scale DNN Training with Virtual Memory Stitching》的研究成果，針對業(yè)界普遍存在的大模型訓練顯存效率問題，提出了一種高效的動態(tài)顯存組合技術VMS（Virtual Memory Stitching），最高提高33%的GPU可用顯存，使顯存使用更為高效，進而緩解了“內存墻”問題。螞蟻集團和上海交通大學提出了一種高效的動態(tài)顯存組合技術框架，稱為GMLake。該框架采用虛擬、物理兩層指針，將碎片化的顯存靈活地拼接起來，從而實現(xiàn)了聚零為整。GMLake對典型大模型如GPT、GLM、Vicuna等進行了詳細評測，最高擴大了約33%的可用顯存，即在80GB的A100 GPU上節(jié)省約25GB的顯存，訓練吞吐提高最多4倍。據(jù)了解，GMLake前已在PyTorch框架上完成集成，對上層模型代碼和框架代碼完全透明，也就是說模型不需要修改任何代碼即可使用。目前，GMLake的代碼已經(jīng)開源到了GLake項目中。GLake是螞蟻集團自研的GPU顯存+傳輸優(yōu)化開源項目，在訓練、推理框架底層以及系統(tǒng)層對顯存和傳輸進行一體優(yōu)化，更好應對“內存墻”和“傳輸墻”挑戰(zhàn)。（一橙）本文系科技原創(chuàng)報道，更多新聞資訊和深度解析，關注我們。