上周，谷歌在其Made by Google發(fā)布會(huì)上一口氣發(fā)布了數(shù)款新硬件，包括最新的Pixel 4手機(jī)，Pixel Bud 2智能耳機(jī)，Nest Mini智能音箱等。這些新硬件除了形態(tài)上與傳統(tǒng)硬件的不同之外，在用戶交互上也有創(chuàng)新之處，而這些新的用戶交互特性也讓相關(guān)芯片進(jìn)入我們的視野。

新硬件形態(tài)需要新的交互方式

上周谷歌的硬件發(fā)布會(huì)是近來(lái)一系列互聯(lián)網(wǎng)公司硬件發(fā)布會(huì)的延續(xù)。在谷歌之前，亞馬遜和微軟也發(fā)布了其新硬件。

如果我們仔細(xì)分析這些互聯(lián)網(wǎng)公司發(fā)布的硬件，我們首先看到的是互聯(lián)網(wǎng)公司希望從傳統(tǒng)智能硬件格局中突圍的決心。這些互聯(lián)網(wǎng)公司發(fā)布的新硬件更注重智能化，往往會(huì)使用一些非傳統(tǒng)的硬件形態(tài)（例如亞馬遜的智能眼鏡）配合人工智能來(lái)實(shí)現(xiàn)讓用戶耳目一新的效果?；ヂ?lián)網(wǎng)公司做硬件的最終目標(biāo)還是希望用戶能通過(guò)硬件作為入口來(lái)使用自己的互聯(lián)網(wǎng)服務(wù)，因此即使每個(gè)硬件的出貨量都不大，但是只要能帶來(lái)一定的流量就算成功。因此，我們會(huì)看到亞馬遜和谷歌都采用了類似散彈槍的打法，即一次發(fā)布許多款不同的硬件，而并非集中所有資源去開(kāi)發(fā)一兩款重點(diǎn)硬件。

如前所述，這類互聯(lián)網(wǎng)公司開(kāi)發(fā)的新硬件擁有全新的形態(tài)，而其最終目的是希望和用戶做交互并且把用戶接入到互聯(lián)網(wǎng)公司的服務(wù)中去。那么，如何在這些新的硬件形態(tài)上搭配新的用戶交互界面就變得非常重要。目前主流的觸摸屏交互方案已經(jīng)無(wú)法滿足新形態(tài)智能硬件的需求，因此探索下一代用戶接口以及相關(guān)的硬件芯片就勢(shì)在必行。

終端語(yǔ)音交互

在新的用戶接口中，目前最廣為接受的是語(yǔ)音交互。語(yǔ)音交互正式進(jìn)入大規(guī)模消費(fèi)應(yīng)用始于蘋果推出Siri，之后亞馬遜的Echo系列智能音箱的發(fā)布則真正點(diǎn)燃了整個(gè)消費(fèi)語(yǔ)音交互市場(chǎng)。谷歌也不甘落后，在推出Google Home系列智能音箱之后，這次發(fā)布會(huì)上發(fā)布的Pixel 4手機(jī)、Pixel Bud 2智能耳塞和Nest Mini都擁有最新的語(yǔ)音交互接口，同時(shí)擁有相關(guān)的機(jī)器學(xué)習(xí)芯片支持。

那么，谷歌最新發(fā)布的硬件中的語(yǔ)音交互與之前的語(yǔ)音接口有什么不同呢？我們認(rèn)為，其最大的不同就是強(qiáng)調(diào)終端計(jì)算，將語(yǔ)音交互的計(jì)算盡可能都放在終端完成，而無(wú)需傳輸?shù)皆贫恕墓δ苌蟻?lái)說(shuō)，使用終端計(jì)算的語(yǔ)音交互接口可以滿足在無(wú)網(wǎng)絡(luò)連接的時(shí)候也能完成基本的交互，從而大大拓寬了實(shí)用的場(chǎng)景。

從性能上來(lái)說(shuō)，網(wǎng)絡(luò)傳輸會(huì)引入很大的能量消耗和延遲，因此如果能在本地做大部分語(yǔ)音交互運(yùn)算，則可以大大延長(zhǎng)智能設(shè)備的電池使用時(shí)間并在更短時(shí)間內(nèi)就完成用戶需求響應(yīng)以提升用戶體驗(yàn)。最后，從合規(guī)角度來(lái)看，目前對(duì)于互聯(lián)網(wǎng)公司對(duì)于用戶數(shù)據(jù)的監(jiān)管越來(lái)越多，因此把語(yǔ)音交互運(yùn)算在本地完成而非上傳到云端就可以盡可能避免侵犯用戶隱私的嫌疑。

從計(jì)算復(fù)雜度來(lái)說(shuō)，本地語(yǔ)音交互接口可以分成兩類，一類是低復(fù)雜度計(jì)算（例如關(guān)鍵詞識(shí)別），這類計(jì)算的復(fù)雜度不高，但是需要能消耗盡可能低的能量，且延遲需要盡可能小。另一類計(jì)算復(fù)雜度較高（例如實(shí)時(shí)語(yǔ)音轉(zhuǎn)錄成文字以及Assistant類需要對(duì)用戶的語(yǔ)音輸入做一定語(yǔ)義理解的任務(wù)）。

在這次發(fā)布會(huì)中，Pixel Bud 2的語(yǔ)音交互接口就屬于前一種。Pixel Bud 2語(yǔ)音交互的主要特性是可以根據(jù)用戶的指令去完成發(fā)送短信、閱讀短信、播放音樂(lè)等功能。根據(jù)谷歌的說(shuō)法，Pixel Bud 2內(nèi)部包含了一塊專用的機(jī)器學(xué)習(xí)芯片以完成這類語(yǔ)音接口。

仔細(xì)分析Pixel Bud 2這些智能助手的實(shí)現(xiàn)方式后我們認(rèn)為Pixel Bud 2的語(yǔ)音助手主要作用是識(shí)別用戶的語(yǔ)音指令，并且通過(guò)藍(lán)牙連接的手機(jī)來(lái)完成相關(guān)指令的需求。

例如，如果用戶通過(guò)語(yǔ)音給出“閱讀短信”的指令，則智能耳機(jī)里的語(yǔ)音助手首先需要識(shí)別出用戶是在下語(yǔ)音指令，其次需要識(shí)別出語(yǔ)音指令的大致內(nèi)容（“閱讀短信”）并且將指令發(fā)送給手機(jī)，之后手機(jī)端的TTS算法把短信轉(zhuǎn)換成聲音再通過(guò)藍(lán)牙傳送給耳機(jī)并播放。在這樣一個(gè)過(guò)程中，耳機(jī)端的語(yǔ)音接口關(guān)鍵詞識(shí)別算法需要完成較傳統(tǒng)單一關(guān)鍵詞喚醒更復(fù)雜的功能。

除了Pixel Bud 2之外，谷歌在Nest Mini和Pixel 4上也使用了離線語(yǔ)音模型來(lái)支持語(yǔ)音接口。按照谷歌官方的說(shuō)法，在Nest Mini上的專用機(jī)器學(xué)習(xí)加速芯片可以讓Google Assistant更快完成相應(yīng)，而在Pixel 4手機(jī)上的離線語(yǔ)音模型則可以完成更復(fù)雜的語(yǔ)音交互，例如離線語(yǔ)音轉(zhuǎn)錄成文字，復(fù)雜的多輪語(yǔ)音指令等等（例如可以讓assistant去查找一張圖片，并且把它發(fā)送給某個(gè)聯(lián)系人）。

從技術(shù)上來(lái)說(shuō)，第一類低復(fù)雜度的語(yǔ)音關(guān)鍵詞識(shí)別算法目前通常會(huì)使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。相較于使用在計(jì)算機(jī)視覺(jué)應(yīng)用中的卷積神經(jīng)網(wǎng)絡(luò)，語(yǔ)音接口中的卷積神經(jīng)網(wǎng)絡(luò)對(duì)于性能的需求較低，然而由于應(yīng)用場(chǎng)景對(duì)于硬件的限制（例如耳機(jī)中的芯片不太可能搭配DRAM），如何在硬件成本最低、功耗最小的條件下完成高精準(zhǔn)度的關(guān)鍵詞識(shí)別仍然具有挑戰(zhàn)性。

例如，為了最小化功耗，會(huì)需要芯片中的相關(guān)模組工作在非常低的電源電壓下，甚至比Fab提供的最低電壓還要低，這就給低功耗設(shè)計(jì)流程帶來(lái)了挑戰(zhàn)。此外，由于這類應(yīng)用中無(wú)法搭載DRAM，因此對(duì)于神經(jīng)網(wǎng)絡(luò)模型帶來(lái)了不少挑戰(zhàn)，如何在模型尺寸和精確度之間達(dá)成一個(gè)較好的平衡需要很多工作。

總體而言，這類設(shè)計(jì)需要做軟硬件結(jié)合設(shè)計(jì)以保證合理的精確度和盡可能低的功耗。根據(jù)現(xiàn)有的消息，我們估計(jì)Pixel Bud 2中使用的機(jī)器學(xué)習(xí)專用芯片很可能是在傳統(tǒng)TWS無(wú)線耳機(jī)芯片上再集成了一塊DSP或者谷歌自己的IP來(lái)完成這樣的低功耗計(jì)算。由于對(duì)于成本和硬件尺寸的限制，我們認(rèn)為未來(lái)針對(duì)該方向的超低功耗語(yǔ)音關(guān)鍵詞交互芯片方案最有可能是以IP的形式存在，或者集成在耳機(jī)的主控芯片中，或者和前端麥克風(fēng)集成在一起。

而Pixel 4手機(jī)上的語(yǔ)音交互屬于典型的高復(fù)雜度語(yǔ)音模型（第二類計(jì)算），這類模型往往會(huì)需要使用循環(huán)神經(jīng)網(wǎng)絡(luò)而非卷積神經(jīng)網(wǎng)絡(luò)。雖然循環(huán)神經(jīng)網(wǎng)絡(luò)的計(jì)算主要還是矩陣計(jì)算，但是如何優(yōu)化模型和片上內(nèi)存以盡量減少內(nèi)存訪問(wèn)帶來(lái)的消耗仍然是最關(guān)鍵的設(shè)計(jì)要點(diǎn)。

與卷積神經(jīng)網(wǎng)絡(luò)不同，循環(huán)神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)復(fù)用程度并不高，因此如何開(kāi)發(fā)和優(yōu)化相應(yīng)的模型/硬件必須要使用和卷積神經(jīng)網(wǎng)絡(luò)不同的方法，這也是目前循環(huán)神經(jīng)網(wǎng)絡(luò)計(jì)算硬件的主要挑戰(zhàn)。相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)的硬件支持在業(yè)界目前還處于較早期的研發(fā)階段，但是相信隨著這類復(fù)雜離線語(yǔ)音交互應(yīng)用的普及，會(huì)有越來(lái)越多的設(shè)計(jì)方案和芯片解決方案出現(xiàn)。

我們估計(jì)未來(lái)可能的解決方案有幾種形態(tài)：首先是對(duì)于功耗和性能要求并不嚴(yán)格的場(chǎng)合，通過(guò)把循環(huán)神經(jīng)網(wǎng)絡(luò)的模型設(shè)計(jì)成非常小的尺寸，可以通過(guò)類似DSP或者NEON這類支持矩陣加速的IP模塊去做計(jì)算。這種方法的好處是可以快速部署，只需要設(shè)計(jì)軟件即可，硬件上不用做太大改動(dòng)，但是問(wèn)題是沒(méi)法優(yōu)化循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)于內(nèi)存訪問(wèn)。在對(duì)于性能和功耗有更高需求的場(chǎng)合，則可望會(huì)出現(xiàn)更專用的硬件架構(gòu)以完成加速。例如，目前用于語(yǔ)音應(yīng)用的循環(huán)神經(jīng)網(wǎng)絡(luò)往往稀疏度較高，因此通過(guò)設(shè)計(jì)支持稀疏矩陣存取和運(yùn)算的專用加速器可望能實(shí)現(xiàn)更高的性能和更低的功耗。

總而言之，隨著語(yǔ)音接口的普及，我們可望在更多語(yǔ)音相關(guān)的硬件上看到DSP類IP的出現(xiàn)，同時(shí)隨著離線語(yǔ)音復(fù)雜交互的普及，我們可望會(huì)看到專用的語(yǔ)音加速芯片/IP。

隔空手勢(shì)操作

除了語(yǔ)音交互之外，谷歌此次發(fā)布的Pixel 4手機(jī)上的另一個(gè)亮點(diǎn)是使用毫米波雷達(dá)來(lái)實(shí)現(xiàn)隔空手勢(shì)交互。

Pixel 4上的毫米波雷達(dá)芯片系原谷歌先進(jìn)研究項(xiàng)目（ATAP）project soli的商業(yè)化，該毫米波芯片使用60GHz頻段，并且可以用雷達(dá)的方法去檢測(cè)到目標(biāo)與手機(jī)之間的距離變化，從而實(shí)現(xiàn)隔空手勢(shì)操作。

具體來(lái)說(shuō)，雷達(dá)傳感器芯片的技術(shù)原理是首先發(fā)射出電磁波，而發(fā)射的電磁波經(jīng)過(guò)用戶手的反射回到傳感器端，就能根據(jù)回波來(lái)檢測(cè)用戶手的位置和動(dòng)態(tài)，并借此完成三維非接觸手勢(shì)檢測(cè)。

Pixel 4上雷達(dá)芯片使用的是57-64GHz的頻段，理論上可以實(shí)現(xiàn)毫米級(jí)別的分辨精度。根據(jù)之前Project Soli發(fā)布的毫米波雷達(dá)傳感芯片（屬于此次使用在Pixel 4中雷達(dá)芯片的原型版本），芯片大小約為8mm x 10mm， 芯片上還有天線陣列（綠色框內(nèi)）用來(lái)實(shí)現(xiàn)波束成型，根據(jù)官方信息該芯片上集成了四個(gè)發(fā)射機(jī)和兩個(gè)接收機(jī)，使用波束成形來(lái)提升分辨率。

使用毫米波雷達(dá)也有局限性。主要問(wèn)題就是硬件對(duì)于尺寸和功耗的需求——毫米波雷達(dá)如果需要做高精度高分辨率檢測(cè)需要使用復(fù)雜的天線和/或多個(gè)雷達(dá)收發(fā)陣列。在60GHz頻段上，復(fù)雜的天線陣列的體積很大，而如果使用多個(gè)雷達(dá)收發(fā)陣列則會(huì)大大增加系統(tǒng)功耗。本次媒體對(duì)于Pixel 4中毫米波雷達(dá)的測(cè)評(píng)中分辨率并不高，據(jù)說(shuō)也是因?yàn)镻ixel 4硬件設(shè)計(jì)中留給雷達(dá)的空間過(guò)小以至于無(wú)法安放下能實(shí)現(xiàn)高分辨精度的雷達(dá)收發(fā)機(jī)陣列和天線陣列。當(dāng)然，這個(gè)問(wèn)題可望在之后能通過(guò)優(yōu)化硬件設(shè)計(jì)來(lái)解決。

事實(shí)上，使用手勢(shì)操作智能設(shè)備一直是業(yè)界開(kāi)發(fā)的方向。傳統(tǒng)的方法是使用攝像頭結(jié)合機(jī)器視覺(jué)的方法。2D攝像頭難以檢測(cè)到手勢(shì)在深度方向的變化，因此限制了交互。微軟 Xbox的Kinect使用ToF 3D攝像頭的方法來(lái)支持手勢(shì)操作，但是3D攝像頭的使用環(huán)境會(huì)受到限制：機(jī)遇結(jié)構(gòu)光的方案速度太慢，而基于ToF的方案在明亮的環(huán)境中性能會(huì)打折扣。

除了視覺(jué)方案之外，超聲波也是一個(gè)可行的方案。超聲波方案與毫米波方案原理相似，只是超聲波方案使用的是超聲波而不是電磁波。超聲波方案的優(yōu)勢(shì)是功耗較?。梢孕∮?mW而毫米波方案的功耗在10-100mW），缺點(diǎn)是必須使用CMOS工藝無(wú)法實(shí)現(xiàn)的超聲波元件，而毫米波方案可以完全使用CMOS電路實(shí)現(xiàn)，集成度較高。因此，在智能設(shè)備的隔空交互領(lǐng)域，毫米波雷達(dá)和超聲波在具體技術(shù)指標(biāo)上可以說(shuō)是各有千秋。

如果把視角拉遠(yuǎn)一些，我們則認(rèn)為基于電磁波和毫米波的方案有更大的可擴(kuò)展性。我們認(rèn)為，在手機(jī)中加入毫米波雷達(dá)只是這類交互的第一步?；陔姶挪ǎòê撩撞ǎ┑慕换⒃谖磥?lái)幾年內(nèi)出現(xiàn)在更多的智能電器中。除了手勢(shì)交互之外，電磁波還可以檢測(cè)房間內(nèi)的人員情況和物體識(shí)別，并且有望能無(wú)縫與WiFi設(shè)備相銜接，因此省去了安裝攝像頭的麻煩和對(duì)于隱私問(wèn)題。因此，用于交互應(yīng)用的射頻芯片有望成為未來(lái)幾年內(nèi)的一個(gè)新品類。

展望未來(lái)，用于人機(jī)交互的毫米波雷達(dá)主要需要克服模組尺寸和功耗的瓶頸，為此必須優(yōu)化雷達(dá)本身設(shè)計(jì)提高信噪比，從而可以在減少天線尺寸/陣列中收發(fā)機(jī)數(shù)量的情況下仍然能實(shí)現(xiàn)分辨精度;或者優(yōu)化天線設(shè)計(jì)，以滿足在小尺寸下仍然能提供很低的衰減。我們認(rèn)為，隨著這些技術(shù)瓶頸被逐漸突破，我們有望看到更多基于毫米波的交互方案出現(xiàn)在智能設(shè)備中。

來(lái)源：半導(dǎo)體行業(yè)觀察