先進(jìn)的人工智能(AI),就像生成型人工智能一樣,正在增強(qiáng)我們所有的智能設(shè)備。然而,一個(gè)常見的誤解是,這些AI工作負(fù)載只能在云和數(shù)據(jù)中心處理。事實(shí)上,大多數(shù)人工智能推理工作負(fù)載在實(shí)際設(shè)備上可以在邊緣進(jìn)行處理,而這些工作負(fù)載比訓(xùn)練要便宜和快。

今天,CPU在整個(gè)設(shè)備中的可用性和不斷增長(zhǎng)的人工智能正在幫助將更多的人工智能推理處理推向邊緣。異構(gòu)計(jì)算方法為業(yè)界提供了使用不同計(jì)算組件的靈活性--包括CPU、GPU和NPU--來處理不同的AI使用案例和需求,而邊緣計(jì)算中的AI推理則是CPU的優(yōu)勢(shì)所在。

有鑒于此,下面是為什么CPU是人工智能推理工作負(fù)載的最佳目標(biāo)的前五個(gè)原因。

人工智能推理對(duì)CPU的好處

邊緣效率

邊緣人工智能處理對(duì)技術(shù)產(chǎn)業(yè)很重要,因?yàn)檫吘壢斯ぶ悄芴幚碓蕉?就越能不需要從云端發(fā)送數(shù)據(jù)而節(jié)省電力。這將大大節(jié)省能源和成本。用戶還得益于更快的、響應(yīng)性更強(qiáng)的人工智能推理經(jīng)驗(yàn),以及更大的隱私性,因?yàn)閿?shù)據(jù)是在本地處理的。這些對(duì)于電源受限的設(shè)備和邊緣應(yīng)用程序尤為重要,如無人機(jī)、智能可穿戴設(shè)備和智能家用設(shè)備,在這些設(shè)備中,功率效率、延遲性和安全性是最重要的。在這種情況下,CPU起著至關(guān)重要的作用,因?yàn)樗軌蛞宰钣行У姆绞教幚磉@些AI推理任務(wù)。

各種人工智能推理任務(wù)的通用性

CPU的多功能性使它能夠處理各種各樣的人工智能推理任務(wù),特別是對(duì)于需要快速響應(yīng)和可靠性能的應(yīng)用程序和設(shè)備。例如,實(shí)時(shí)數(shù)據(jù)處理任務(wù),如預(yù)測(cè)性維護(hù)、環(huán)境監(jiān)控或自主導(dǎo)航,在CPU上處理起來更有效率和更快。在工業(yè)化的iot應(yīng)用程序中,這確保系統(tǒng)能夠在毫秒內(nèi)響應(yīng)其環(huán)境或環(huán)境中的任何變化。這對(duì)安全和功能至關(guān)重要。

小型人工智能模型性能優(yōu)異

cps支持各種各樣的人工智能框架,如meta的皮托和執(zhí)行火炬,谷歌的AI邊緣的媒體,使部署大型語言模型(llm)為AI推理。這些LLMS正在以快速的速度發(fā)展,特殊的用戶體驗(yàn)通過參數(shù)不斷減少的小型緊湊型模型來解鎖。模型越小,它在CPU上運(yùn)行的效率和效力就越高。

小型LLMS的可用性,如新的LMA3.2b和3B版本,對(duì)于在規(guī)模上支持人工智能推理至關(guān)重要。最近,?展示手臂 通過ARM計(jì)算機(jī)優(yōu)化內(nèi)核在以ARM為動(dòng)力的移動(dòng)設(shè)備上運(yùn)行LMAMA3.2LM,這導(dǎo)致了快速處理方面的5倍改進(jìn)和令牌生成方面的3倍改進(jìn)。

我們已經(jīng)看到開發(fā)人員編寫了更緊湊的模型來運(yùn)行低功率的處理器,甚至微控制器,這樣可以節(jié)省時(shí)間和成本。?普魯梅雷 它提供軟件解決方案來加速ARM皮層A和皮層M系統(tǒng)芯片上的神經(jīng)網(wǎng)絡(luò)(SOCS),在一個(gè)基于ARM的微控制器上運(yùn)行超過1mb的人工智能代碼來進(jìn)行面部檢測(cè)和識(shí)別。為了保護(hù)用戶隱私,所有的推理都在芯片上完成,所以沒有面部特征或其他個(gè)人數(shù)據(jù)被發(fā)送到云端進(jìn)行分析。

為開發(fā)人員提供更大的靈活性和可編程性

由于CPU具有靈活性和可編程性,軟件社區(qū)正在積極選擇CPU作為選擇其人工智能工作負(fù)載的首選路徑。CPU的更大靈活性意味著開發(fā)人員可以以更多樣的數(shù)據(jù)格式運(yùn)行更廣泛的軟件,而無需開發(fā)人員構(gòu)建多個(gè)版本的代碼。與此同時(shí),每個(gè)月都有不同架構(gòu)和量化方案的新模型出現(xiàn)。由于CPU是高度可編程的,這些新的模型可以在一個(gè)小時(shí)內(nèi)部署到CPU上。

人工智能創(chuàng)新架構(gòu)基金會(huì)

這種開發(fā)人員的創(chuàng)新是建立在CPU架構(gòu)的基礎(chǔ)上的,它不斷地添加新的功能和指令來處理更高級(jí)的AI工作負(fù)載。CPU的無處不在意味著開發(fā)人員可以訪問這些功能,以進(jìn)一步加速和創(chuàng)新基于AI的體驗(yàn)。實(shí)際上,CPU體系結(jié)構(gòu)的不斷演變與應(yīng)用程序的演變直接相關(guān),而這些應(yīng)用程序現(xiàn)在更快、更智能。

為什么人工智能推理的CPU是不可或缺的

CPU不僅僅是芯片上系統(tǒng)的一個(gè)組成部分(?SOC )設(shè)計(jì),它們使人工智能能夠在各種各樣的邊緣應(yīng)用程序和設(shè)備中實(shí)現(xiàn)實(shí)用、高效和可訪問。提供一個(gè)獨(dú)特的混合效率,多功能性和可訪問性,CPU是不可或缺的人工智能推理。它們通過在邊緣處理人工智能任務(wù),同時(shí)為最終用戶提供更快、更有響應(yīng)性的人工智能體驗(yàn),有助于減少能源消耗和延遲。隨著人工智能繼續(xù)發(fā)展并滲透到技術(shù)的各個(gè)方面,CPU在處理人工智能推理工作量中的作用只會(huì)增加,從而確保人工智能能夠在各個(gè)行業(yè)中廣泛和可持續(xù)地部署。