4月9日-13日,第十三屆國際性能工程學大會(ICPE2022)在線召開。此次大會涉及AI建模及算法、算力提升、能效測量、新型計算架構、體系結構研究等多個主題。
浪潮信息人工智能與高性能應用軟件部高性能應用架構師李龍翔發表主題為《多層數據訪問優化》的演講指出,隨著近年CPU核心數增加及性能的不斷增強,在超大規模系統并行計算時,越來越多的應用運行性能主要受數據訪問速度限制。針對超大規模集群的數據存儲特點,他介紹了一種多層數據訪問 (Multi-Layered Data Access,MLDA) 優化方法,可以快速對超大規模并行計算性能瓶頸進行分析,通過對存儲、網絡、訪存、CPU等設備數據訪問過程優化,提升超大規模集群并行計算效率。
據悉,這只是浪潮信息解決超大規模系統挑戰多種技術之一,在中文巨量模型"源1.0"的訓練過程中,浪潮信息采用了多種面向超大規模并行計算技術的軟硬件協同優化手段,通過流水線并行、張量并行等手段自動地將模型多層數據切分到不同的節點中實現并行。"源1.0"模型包含的參數總量達 2457 億,是 GPT-3 的 1.404 倍。(環球)
免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。
下一篇:科學認識食糖 享受甜蜜生活