北京2024年10月29日 /美通社/ -- 當(dāng)前，隨著生成式人工智能和各行業(yè)的應(yīng)用快速融合，大模型在企業(yè)端被越來越多的采用，以提高效率、降低成本、增強(qiáng)創(chuàng)新能力。大模型開發(fā)首先要解決的，便是訓(xùn)練環(huán)境的搭建問題，在算力多元異構(gòu)、依賴庫眾多、配置步驟繁瑣的情況下，如何快速搭建滿足要求的訓(xùn)練環(huán)境，為底層算力平臺匹配最佳驅(qū)動，避免依賴庫及配置龐雜導(dǎo)致訓(xùn)練環(huán)境魯棒性低的問題，成為各類大模型開發(fā)企業(yè)需要面對的挑戰(zhàn)。

為此，浪潮信息推出「元腦服務(wù)器操作系統(tǒng)KOS Al定制版」（簡稱KOS Al定制版），通過簡單2步即可實現(xiàn)大模型訓(xùn)練環(huán)境部署，以搭建200節(jié)點(diǎn)訓(xùn)練環(huán)境為例，過往需要數(shù)天時間才能完成，通過KOS AI定制版20分鐘即可完成上線可用，極大提升了大模型開發(fā)部署效率。

大模型訓(xùn)練環(huán)境復(fù)雜 面臨兼容適配等多項挑戰(zhàn)

當(dāng)前階段，大模型的發(fā)展仍然遵循Scaling Law，不斷增加的參數(shù)規(guī)模、訓(xùn)練數(shù)據(jù)量以及計算資源，也讓大模型的部署環(huán)境變得十分復(fù)雜。大模型部署是一個系統(tǒng)性的問題，涉及到算力設(shè)備兼容、依賴庫配置、繁瑣的安裝步驟等等多個方面。

• 在硬件方面，算力設(shè)備的多樣性增加了兼容適配復(fù)雜性。在大模型訓(xùn)練環(huán)境中，集成了多種類型和規(guī)格的算力設(shè)備，如不同型號的GPU、高速互連網(wǎng)絡(luò)、高性能分布式存儲等。這些設(shè)備在硬件架構(gòu)、指令集和接口標(biāo)準(zhǔn)上存在差異，導(dǎo)致與操作系統(tǒng)、應(yīng)用軟件以及其他硬件設(shè)備的兼容適配變得極為復(fù)雜，同時驅(qū)動和應(yīng)用軟件選型不當(dāng)將影響算力輸出效率。
• 在軟件方面，依賴庫及配置的龐雜性對訓(xùn)練環(huán)境的魯棒性構(gòu)成威脅。大模型訓(xùn)練依賴大量的軟件庫、框架和配置參數(shù)，這些依賴項之間存在著復(fù)雜的依賴關(guān)系和嚴(yán)格的版本兼容性要求。一旦某個依賴項出現(xiàn)問題，如版本不匹配、配置錯誤或缺失，都可能導(dǎo)致訓(xùn)練環(huán)境崩潰或性能急劇下降。
• 在部署方面，大模型訓(xùn)練環(huán)境搭建流程比較繁瑣。算力支持層面，在確定GPU、網(wǎng)卡等硬件設(shè)備基礎(chǔ)上，需要安裝操作系統(tǒng)、下載硬件驅(qū)動并對驅(qū)動進(jìn)行編譯；應(yīng)用軟件方面，下載安裝CUDA、Cudnn、DCGM等AI軟件棧，以及相關(guān)管理和監(jiān)控軟件。最后，還要運(yùn)行相關(guān)Benchmark對系統(tǒng)進(jìn)行性能摸底。

KOS Al定制版  "2步"搞定大模型訓(xùn)練環(huán)境部署

針對用戶在大模型部署中遇到的困難，浪潮信息推出KOS Al定制版，實現(xiàn)了覆蓋驅(qū)動和應(yīng)用軟件編譯、鏡像文件構(gòu)建、系統(tǒng)發(fā)布與部署的鏡像開發(fā)全流程創(chuàng)新， 解決了部署大模型訓(xùn)練環(huán)境中遇到的硬件兼容適配、依賴項龐雜及安裝部署流程繁瑣等問題，讓大模型部署化繁為簡。

針對硬件兼容適配挑戰(zhàn)，浪潮信息KOS技術(shù)團(tuán)隊?wèi){借深厚的技術(shù)沉淀和經(jīng)驗積累，遴選出十余款GPU和infiniband卡的最佳驅(qū)動，驗證不同硬件環(huán)境下的軟件兼容性，優(yōu)化BIOS、底層驅(qū)動、文件系統(tǒng)和網(wǎng)絡(luò)等多項指標(biāo)，實現(xiàn)平臺資源利用效率最大化。目前KOS已經(jīng)與1200+硬件板卡、250+服務(wù)器整機(jī)、400+數(shù)據(jù)庫中間件完成兼容性認(rèn)證。

面對軟件依賴庫龐雜的問題，KOS Al定制版對鏡像構(gòu)建過程中的軟件包安裝列表進(jìn)行了擴(kuò)展，并優(yōu)化了軟件包的集成范圍和安裝順序，解決軟件安裝依賴問題，確保在集成大量軟件的情況下，操作系統(tǒng)能夠順利完成安裝，且保證系統(tǒng)安裝完成后，驅(qū)動和應(yīng)用軟件能夠正常進(jìn)行編譯和安裝。同時，面對AI大模型訓(xùn)練過程中某些應(yīng)用軟件體積龐大，無法直接構(gòu)建為rpm包集成至鏡像的挑戰(zhàn)，采用"軟件切割與再聚合"技術(shù)，將超大型軟件包進(jìn)行分割，并在聚合后校驗其哈希值，以確保軟件的一致性，從而有效解決了超大軟件集成難題，實現(xiàn)了超大應(yīng)用軟件的自動化安裝。

大模型部署的關(guān)鍵是單節(jié)點(diǎn)環(huán)境配置。在簡化發(fā)布與部署方面，為了解決大模型訓(xùn)練集群單節(jié)點(diǎn)環(huán)境配置復(fù)雜的問題，KOS技術(shù)團(tuán)隊開發(fā)了一套環(huán)境配置自動化部署腳本。該腳本能夠智能檢測操作系統(tǒng)的啟動狀態(tài)，只在系統(tǒng)安裝完成后的首次重啟時自動運(yùn)行，確保在不同節(jié)點(diǎn)上快速部署大模型運(yùn)行環(huán)境。在此之后的系統(tǒng)啟動中，該腳本將不再執(zhí)行，從而實現(xiàn)集群環(huán)境中單節(jié)點(diǎn)環(huán)境的自動部署。

用戶依托KOS AI定制版，僅需2步即可實現(xiàn)大模型訓(xùn)練環(huán)境快速部署。

步驟1：利用PXE實現(xiàn)自動化系統(tǒng)部署

KOS AI定制版集成了大模型訓(xùn)練環(huán)境部署所需的驅(qū)動、應(yīng)用軟件和依賴庫等，用戶只需要把該定制版鏡像當(dāng)作普通鏡像一樣進(jìn)行自動化部署，通過PXE方式實現(xiàn)操作系統(tǒng)自動化安裝。

步驟2：正常開機(jī)啟動，完成環(huán)境部署

定制版鏡像安裝完成后，通過管理節(jié)點(diǎn)向計算節(jié)點(diǎn)下發(fā)重啟指令，計算節(jié)點(diǎn)重啟后，大模型訓(xùn)練環(huán)境部署即可完成。

面對操作系統(tǒng)與AI結(jié)合的趨勢，KOS定位智算時代最A(yù)I的操作系統(tǒng)，全面優(yōu)先擁抱AI，深度融合AI能力。KOS Al定制版簡化了大模型部署流程，通過Al定制版部署大模型訓(xùn)練環(huán)境具有簡單高效、廣泛兼容和運(yùn)行穩(wěn)定等特點(diǎn)，大幅降低了用戶開發(fā)大模型的技術(shù)門檻。