對(duì)AI模型進(jìn)行壓縮激活工作，減小對(duì)內(nèi)存的消耗

今天的 AI 模型有數(shù)十億或數(shù)萬(wàn)億個(gè)參數(shù)，即輸入和權(quán)重。所以我們需要巨大的內(nèi)存來(lái)激活。這當(dāng)然會(huì)對(duì)芯片設(shè)計(jì)產(chǎn)生巨大影響，因?yàn)榧せ畲鎯?chǔ)器經(jīng)常支配平面布局。我們可以嘗試使用量化、稀疏性、權(quán)重共享等概念來(lái)減少所需的內(nèi)存。但它們只能走這么遠(yuǎn)，尤其是在模型龐大且持續(xù)增長(zhǎng)的情況下。要是有辦法壓縮激活就好了!好吧，Perceive 的 CEO Steve Teig 想出了一個(gè)辦法。