11月5日消息，近日，摩爾線程上線了大語言模型高速推理框架開源項目vLLM的MUSA移植版本，為開發(fā)者提供基于摩爾線程全功能GPU進行開源項目MUSA移植的范例。

摩爾線程表示，正努力圍繞自主研發(fā)的統(tǒng)一系統(tǒng)架構GPU、MUSA軟件平臺，構建完善好用的MUSA應用生態(tài)。

vLLM是一個高效且易用的大模型推理和服務框架，支持創(chuàng)新的PagedAttention內存管理、連續(xù)批處理請求、CUDA/HIP圖的快速模型執(zhí)行、CUDA核心優(yōu)化、分布式推理支持等，可顯著提高大語言模型(LLM)的推理性能。

目前，vLLM已在各種大語言模型中得到廣泛應用，成為業(yè)界常用的開源大模型推理框架。

摩爾線程基于vLLM v0.4.2版本，進行了移植適配，使之支持摩爾線程GPU后端Device，并完全開源，開發(fā)者可以二次開發(fā)、升級vLLM到社區(qū)更新版本等。