本文分享自華為云社區(qū)《如何使用MindStudio輕松搞定大模型全流程開發(fā)-云社區(qū)-華為云》，作者：華為云社區(qū)精選。

大模型的規(guī)模和能力在迅猛發(fā)展，更大的參數(shù)、更長的序列及更多的模態(tài)是未來大模型技術的發(fā)展趨勢。更大的規(guī)模的模型意味著更大規(guī)模的算力平臺，算力設備的部件與任務之間的復雜關系導致調試調優(yōu)的復雜度增加，需要系統(tǒng)的管理和收集訓練過程中各維度數(shù)據(jù)，才能快速鎖定模型精度及性能瓶頸，加速大模型訓練。

MindStudio全流程開發(fā)工具鏈是華為面向昇騰AI開發(fā)者提供的一站式開發(fā)環(huán)境和工具集。針對大模型分布式訓練復雜場景，MindStudio提供了從大模型遷移到精度調試到性能調優(yōu)的統(tǒng)一工具能力，幫助開發(fā)者輕松get大模型開發(fā)密碼。

如何使用MindStudio輕松搞定大模型全流程開發(fā)（mindustrymod制作）

一、模型遷移

由于不同硬件體系之間處理器架構、模型腳本存在差異性，基于GPU硬件體系原生開發(fā)的開源大模型，要想在昇騰處理器上運行，首先需要進行模型的遷移。

那么模型遷移主要遷哪些東西呢？

模型腳本的基本組成元素主要為“算子、API、三方庫”，通常在框架層會通過這幾個核心元素來搭建模型腳本，所以模型遷移的實質也是對“算子、API、三方庫”的遷移。

以同框架下遷移場景為例，MindStudio遷移工具會自動掃描并完成“算子、API、三方庫”兼容性分析，同時完成腳本代碼替換，并在遷移完成后生成評估報告，報告中會詳細說明替換信息以及是否存在無法直接替換的元素，譬如用戶自定義的算子。整個遷移過程僅需要幾分鐘。

如何使用MindStudio輕松搞定大模型全流程開發(fā)（mindustrymod制作）

二、精度調試

精度決定了大模型預測的準確性，因此精度調試是大模型訓練的關鍵步驟之一。

為了幫助開發(fā)人員快速解決算子精度問題，MindStudio通過溢出檢測、精度比對等核心工具，提供了自有實現(xiàn)的算子運算結果與業(yè)界標準算子運算結果之間進行多維度的精度差異對比的能力，提升訓練精度調測效率，單機和集群的精度問題定位時間縮短至周級。

精度預檢：預檢避免了常見精度工具在規(guī)模集群下的困境、對數(shù)據(jù)dump的依賴以及對整網(wǎng)累計誤差的感知。在預檢過程中，可以通過輕量化的流程提取單API統(tǒng)計量信息，同時，根據(jù)統(tǒng)計信息隨機生成數(shù)據(jù)輸入在NPU上運行，最大程度還原真實訓練場景。最終根據(jù)相對誤差、絕對誤差等指標綜合判定API精度是否達標，并提供真值比對選項，輸出評估報告。以上預檢流程可以在小時級的時間內完成，在訓前就解決80%以上的算子及API精度問題。

溢出檢測：應對大模型開發(fā)過程中產(chǎn)生大量溢出以及溢出導致參數(shù)不斷更新等復雜問題。通過溢出問題性質自動分類、典型溢出問題自動分析等能力，輸出問題算子報告并提供專家處理建議。

如何使用MindStudio輕松搞定大模型全流程開發(fā)（mindustrymod制作）

三、性能調優(yōu)

大模型領域性能是一個非常受到關注的指標，一個大模型的訓練可能需要成百上千張卡，耗時數(shù)個月才能完成，性能上的優(yōu)化能直接且顯著地降低訓練成本。

同時，大模型領域的性能調優(yōu)存在很多挑戰(zhàn)，譬如：采集數(shù)據(jù)量大、解析耗時長、TimeLine數(shù)據(jù)量限制、缺少自動拆解比對工具、卡間同步、慢卡慢鏈路等。

MindStudio提供了系統(tǒng)級的集群性能調優(yōu)能力，通過性能問題拆解、多維可視化Profiling及集群數(shù)據(jù)多界面可視化能力，幫助開發(fā)者迅速鎖定性能瓶頸。

如何使用MindStudio輕松搞定大模型全流程開發(fā)（mindustrymod制作）

性能拆解：將訓練數(shù)據(jù)拆解為“通信、算子、調度、內存”四個維度，通過對訓練耗時和內存占用的比對分析，定位到具體劣化的算子，良好地解決性能數(shù)據(jù)timeline信息量巨大用戶難以入手、算子詳細信息及搬運內存信息多等問題，用戶可直接確認性能的主要瓶頸。

多維可視化Profiling：針對PyTorch框架開發(fā)的性能數(shù)據(jù)采集和解析，提供Ascend PyTorch Profiler性能采集接口。用戶通過在PyTorch訓練腳本中插入Ascend PyTorch Profiler接口，執(zhí)行訓練的同時采集性能數(shù)據(jù)，完成訓練后直接輸出可視化的性能數(shù)據(jù)文件，支持單次加載多組數(shù)據(jù)并可靈活比對，內存級Profiling展示性能遠超原社區(qū)水平。同時，工具中提供了Tensorboard可視化、算子級內存Profiling兩個功能，支持調用棧、算子信息關聯(lián)，幫助開發(fā)者在代碼層級細粒度鎖定性能瓶頸。

如何使用MindStudio輕松搞定大模型全流程開發(fā)（mindustrymod制作）

集群數(shù)據(jù)多界面可視化：提供集群可視化調優(yōu)工具Ascend Insight來提升大模型集群性能調優(yōu)效率。通過Ascend Insight提供Timeline流水視圖、Memory視圖、Operator視圖、Summary視圖等多維視圖分析幫助用戶快速發(fā)現(xiàn)異常點，識別性能瓶頸：

1）Timeline流水視圖：支持多卡匯聚、按層過濾、數(shù)據(jù)對比、單卡時間校準、算子搜索以及統(tǒng)計信息

如何使用MindStudio輕松搞定大模型全流程開發(fā)（mindustrymod制作）