在機器學(xué)習(xí)和人工智能領(lǐng)域，推斷是將經(jīng)過訓(xùn)練的模型應(yīng)用于現(xiàn)實世界數(shù)據(jù)以生成預(yù)測或決策的階段。在模型接受了訓(xùn)練之后，可以在計算上進行密集且耗時，推理過程允許模型進行預(yù)測，以提供可行的結(jié)果。

推理時間計算

推理時間計算是指使用訓(xùn)練有素的模型進行此類預(yù)測所需的計算能力量。訓(xùn)練模型涉及處理大型數(shù)據(jù)集以學(xué)習(xí)模式和關(guān)系，但推斷是該模型用于對新的，看不見的數(shù)據(jù)進行預(yù)測的過程。在現(xiàn)實世界中，此階段至關(guān)重要，例如圖像識別，自然語言處理，自動駕駛汽車等。

雖然訓(xùn)練時間和準(zhǔn)確性通常是ML模型開發(fā)過程中的重點，但推理時間和效率同樣重要，尤其是在將模型部署到大規(guī)模生產(chǎn)環(huán)境中時。推斷期間模型的性能會影響實時用戶體驗和功耗等各個現(xiàn)實世界方面。例如，在自動駕駛用例中，響應(yīng)速度非常緩慢的模型可能無法使用。

自適應(yīng)推理時間計算

盡管通過增加的預(yù)訓(xùn)練來擴展模型大小一直是改善模型性能的主要方法，但自適應(yīng)推理時間計算使LLM在推理時在推理時間越來越多地思考，并使用各種策略來改善其初始響應(yīng)。 LLM可以根據(jù)任務(wù)的感知難度自適應(yīng)分配計算來更有效。

自適應(yīng)推理時間計算是我們對LLM性能的看法，從固定的計算配額轉(zhuǎn)變?yōu)楦邉討B(tài)和有效的方法的范式轉(zhuǎn)變。自適應(yīng)技術(shù)無需生成預(yù)定數(shù)量的響應(yīng)或使用固定的計算配額進行搜索，而是根據(jù)任務(wù)的難度和自身感知到的改進能力，使模型可以隨時調(diào)整其計算支出。例如，LLM可能會決定為一個充滿挑戰(zhàn)的數(shù)學(xué)問題生成更多樣本，在該問題中，它正在努力尋找解決方案，同時迅速返回單個，自信的響應(yīng)以進行簡單的事實查詢。這種適應(yīng)性可以導(dǎo)致性能和效率的顯著提高，從而使LLM可以在最小化浪費的計算時更有效地解決問題。

推論指標(biāo)

有幾種傳統(tǒng)的指標(biāo)來評估LLM TTFT，TBT，TPOT和歸一化延遲的性能。盡管這些指標(biāo)在某些方面很有用，但它們無法提供實時體驗的完整圖片，有時可能會產(chǎn)生誤導(dǎo)。

是時候首先令牌(ttft)

該度量標(biāo)準(zhǔn)衡量請求到達(dá)的時間與第一個輸出令牌的生成之間的延遲。它包括調(diào)度延遲，這取決于系統(tǒng)負(fù)載等因素和迅速處理時間，這受到迅速長度的影響。 TTFT的關(guān)鍵限制在于，它不能說明提示的長度。按及時長度歸一化TTFT也不是理想的，因為它也將調(diào)度延遲歸一化，因此對較短的輸入請求的懲罰不成比例。

令牌之間的時間(TBT)

該度量代表了在解碼階段中每個后續(xù)代幣產(chǎn)生的延遲，直接影響了感知的響應(yīng)速度。優(yōu)化TBT對于流體用戶體驗很重要，尤其是在諸如聊天之類的實時應(yīng)用程序中。然而，TBT無法揭示令牌生成過程中攤位的幅度和時間。高尾巴TBT可以在生成過程的開始時表明一個攤位，這會大大破壞用戶體驗，但是此信息并非僅由TBT捕獲。此外，TBT不考慮非統(tǒng)一的代幣生成策略，例如投機解碼，其中可以在單個迭代中生成多個令牌。

每個輸出令牌(TPOT)的時間

該度量與TBT相似，代表在解碼階段生成輸出令牌所需的平均時間。通過通過生成的解碼令牌數(shù)量將總解碼時間歸一化來計算。 TPOT的主要問題是，它通過平均所有令牌上的延遲來掩蓋令牌生成中的煩惱和失速。一個長的攤位可以顯著影響用戶體驗，但是由于令牌數(shù)量的標(biāo)準(zhǔn)化，其對TPOT的影響在數(shù)值上很小。

歸一化延遲

該度量計算請求的總執(zhí)行時間，包括調(diào)度延遲，及時處理和解碼時間，然后通過解碼令牌數(shù)量進行歸一化。在提供吞吐量的總體度量的同時，歸一化延遲可能會掩蓋重要細(xì)節(jié)，例如調(diào)度延遲。兩個計劃延遲截然不同的系統(tǒng)具有非常相似的歸一化延遲值。像TPOT一樣，標(biāo)準(zhǔn)化的延遲也可以掩蓋令牌生成中的抖動和攤位。

流動性指數(shù)

TTFT，TBT和TPOT(TPOT)等傳統(tǒng)指標(biāo)無法完全捕獲LLM交互中的實時用戶體驗，因為它們無法充分說明令牌生成速度的變化。為了解決這個問題，將流動性指數(shù)引入了一種新型度量標(biāo)準(zhǔn)，旨在反映LLM在諸如CHAT之類的實時應(yīng)用中的細(xì)微差別。流動性指數(shù)的靈感來自實時系統(tǒng)中基于截止日期的評估，并在LLM中處理流媒體令牌的產(chǎn)生，例如定期任務(wù)。它通過根據(jù)所需的TTFT和TBT值為每個令牌生成的截止日期設(shè)置截止日期來起作用。更高的流動性索引表明一個更光滑，更一致的令牌生成過程，與實時應(yīng)用程序中的用戶期望更好。

影響推理時間的因素

幾個因素會影響模型的推理時間。這些包括模型的復(fù)雜性，用于計算的硬件以及輸入數(shù)據(jù)的性質(zhì)。優(yōu)化推理時間對于大規(guī)模部署機器學(xué)習(xí)模型至關(guān)重要。幾種技術(shù)可以幫助減少模型進行預(yù)測所需的時間。

· 模型復(fù)雜性：更大，更復(fù)雜的模型通常需要更多時間來做出預(yù)測。例如，與更簡單的模型(如決策樹或線性回歸)相比，具有數(shù)百萬參數(shù)的深神經(jīng)網(wǎng)絡(luò)可能需要更長的時間來處理數(shù)據(jù)。

· 硬件：該模型運行的硬件平臺顯著影響推理時間。傳統(tǒng)的CPU可能比專門的硬件(如GPU或TPU(張量處理單元))慢，該硬件已針對并行處理進行了優(yōu)化，尤其是對于深度學(xué)習(xí)任務(wù)。

· 批處理大小：一次處理多個輸入(一種稱為批處理推斷的方法)通常可以更快。但是，最佳批量尺寸取決于所使用的特定模型和硬件。批量太大可能會使系統(tǒng)不知所措，而批量太小可能不足以使硬件資源不足。

· 數(shù)據(jù)預(yù)處理：將輸入數(shù)據(jù)傳遞給模型之前花費的時間也有助于整體推理時間。例如，諸如令牌化之類的任務(wù)可能會增加大量開銷。

· 模型量化和修剪：通過量化，IE，降低模型權(quán)重的精度和修剪的精確度，IE，即刪除模型的不必要部分，可以幫助減少記憶足跡和推理時間，從而優(yōu)化模型。這些技術(shù)對于在資源約束設(shè)備上部署模型特別有用。

· 軟件優(yōu)化：專門的庫和框架，例如Tensorrt，ONNX運行時或LITERT可以通過優(yōu)化基礎(chǔ)計算圖來顯著加快推理過程。此外，可以使用優(yōu)化的精度算術(shù)降低，例如16位浮點而不是32位，以加快計算而無需犧牲太多準(zhǔn)確性。

· 模型并行性：對于極大的模型，將工作負(fù)載跨多個設(shè)備拆分可以幫助減少推理時間，從而可以更快地處理。

· 邊緣計算：對于涉及移動設(shè)備或物聯(lián)網(wǎng)的應(yīng)用程序，直接在邊緣部署模型，即本地設(shè)備而不是依靠云服務(wù)，可以減少往返的通信時間，從而更快地推斷。 EDGE計算允許實時決策無需將數(shù)據(jù)發(fā)送到遠(yuǎn)程服務(wù)器。

結(jié)論

推理時間計算是機器學(xué)習(xí)模型部署的關(guān)鍵因素，尤其是在性能，效率和用戶體驗至關(guān)重要的現(xiàn)實世界應(yīng)用中。減少推理時間會導(dǎo)致更快，更具成本效益和可擴展的AI系統(tǒng)。隨著AI技術(shù)的繼續(xù)發(fā)展，硬件加速度，模型優(yōu)化和有效的軟件框架等技術(shù)將在確保推理盡可能快速和資源效率方面發(fā)揮越來越重要的作用。優(yōu)化推理時間可以更好地體驗用戶體驗，降低運營成本以及有效擴展AI系統(tǒng)的能力。