如果一名醫(yī)生告知要進(jìn)行手術(shù)，人們肯定首先希望了解為什么——即便對(duì)方不具備任何專業(yè)的醫(yī)學(xué)知識(shí)，醫(yī)生明確解釋診斷理由仍然極其必要。而人工智能也一樣。

眾所周知，神經(jīng)網(wǎng)絡(luò)是出了名的難理解——計(jì)算機(jī)雖然能夠提出一項(xiàng)解決方案，但卻無法就產(chǎn)生的結(jié)論做出解釋。現(xiàn)在，來自Google Brain團(tuán)隊(duì)的一名研究科學(xué)家Been Kim，正在開發(fā)一套“人類翻譯器”，希望構(gòu)建能夠向任何人做出解釋的AI軟件。

約十年前，人工智能背后的神經(jīng)網(wǎng)絡(luò)技術(shù)開始快速發(fā)展，影響了從電子郵件到藥物發(fā)明等各個(gè)領(lǐng)域，同時(shí)表現(xiàn)出越來越強(qiáng)大的學(xué)習(xí)與數(shù)據(jù)模式識(shí)別能力。然而，這種力量本身還帶來了一種不容忽視的警告：一方面，現(xiàn)代深度學(xué)習(xí)網(wǎng)絡(luò)自主學(xué)會(huì)如何駕駛汽車以及發(fā)現(xiàn)保險(xiǎn)欺詐活動(dòng)具備極高復(fù)雜性，同時(shí)，也導(dǎo)致其內(nèi)部運(yùn)作方式幾乎無法被理解——沒錯(cuò)，就連AI專家也無法破解個(gè)中奧秘。因此，如果我們通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)來識(shí)別可能存在肝癌、精神分裂癥等疾病風(fēng)險(xiǎn)的患者（例如2015年紐約西奈山醫(yī)院開發(fā)的「Deep Patient」深度病患系統(tǒng)），那么結(jié)果就是，我們根本無法準(zhǔn)確辨別神經(jīng)網(wǎng)絡(luò)實(shí)際關(guān)注的是數(shù)據(jù)中的哪些特征。這種“知識(shí)”全面分布在神經(jīng)網(wǎng)絡(luò)的各個(gè)層，其中每一層都存在數(shù)百甚至成千上萬個(gè)連接。

隨著越來越多行業(yè)試圖通過人工智能技術(shù)實(shí)現(xiàn)自身決策，這種類似于“黑匣子”的問題已經(jīng)不再是一種技術(shù)層面的偏執(zhí)，而成為實(shí)實(shí)在在的基礎(chǔ)性缺陷。美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（簡(jiǎn)稱DARPA）的“XAI”項(xiàng)目（即可解釋AI）正在積極研究這個(gè)問題，這意味著，可解釋性已經(jīng)由機(jī)器學(xué)習(xí)的邊緣化研究轉(zhuǎn)化為新的探索核心。Kim指出，“人工智能正處于發(fā)展的關(guān)鍵時(shí)刻，人類正在試圖弄清這項(xiàng)技術(shù)是否真能為我們帶來助益。如果我們無法解決這個(gè)可解釋性問題，我們將不會(huì)繼續(xù)推進(jìn)這項(xiàng)技術(shù)，甚至有可能將其放棄?！?/p>

Kim和谷歌Brain團(tuán)隊(duì)的同事們剛剛開發(fā)出一套名為“概念激活矢量測(cè)試（TesTIng with Concept AcTIvaTIon Vectors，簡(jiǎn)稱TCAV）”的系統(tǒng)，她將其描述為一種“人類翻譯器”，允許用戶向黑匣子AI詢問某些特定高級(jí)概念，從而了解神經(jīng)網(wǎng)絡(luò)的推理過程。舉例來說，如果機(jī)器學(xué)習(xí)系統(tǒng)經(jīng)過訓(xùn)練學(xué)會(huì)了如何發(fā)現(xiàn)圖像當(dāng)中的斑馬，那么人們就可以利用TCASV來確定這套系統(tǒng)在做出決策時(shí)會(huì)賦予“條紋”這一概念怎樣的權(quán)重。

TCAV系統(tǒng)最初是在一套經(jīng)過訓(xùn)練、擁有圖像識(shí)別能力的機(jī)器學(xué)習(xí)模型上進(jìn)行測(cè)試的，不過這套系統(tǒng)同時(shí)也適用于訓(xùn)練為文本識(shí)別以及對(duì)某類數(shù)據(jù)進(jìn)行可視化處理的模型——例如EEG波形。Kim解釋稱，“這是一套通用而簡(jiǎn)單的系統(tǒng)，你可以將其接入多種不同的模型當(dāng)中?！?/p>

我們與Kim談到了可解釋性的具體含義、其用途以及重要意義所在。以下為經(jīng)過編輯與提煉的訪談內(nèi)容。

圖：Google Brain團(tuán)隊(duì)研究科學(xué)家Been Kim

問：您的職業(yè)生涯一直專注于機(jī)器學(xué)習(xí)的“可解釋性”。但是，可解釋性究竟意味著什么呢？

Been Kim：可解釋性擁有兩大分支。第一大分支是對(duì)科學(xué)的可解釋性：如果你將神經(jīng)網(wǎng)絡(luò)視為研究對(duì)象，那么就可以通過科學(xué)實(shí)驗(yàn)以真正理解關(guān)于模型的一切細(xì)節(jié)——例如其如何做出反應(yīng)，諸如此類。

可解釋性的第二大分支，也就是我一直主要關(guān)注的方向——對(duì)負(fù)責(zé)任人工智能的解釋能力。我們不需要了解模型中的所有細(xì)節(jié)，但必須通過理解來確定我們能夠以安全的方式使用這種工具，這也正是我們?cè)O(shè)定的目標(biāo)。

問：那么您要如何對(duì)一套不完全了解其運(yùn)作方式的系統(tǒng)建立信心？

Been Kim：這里我想打個(gè)比方。假設(shè)我的后院有一棵樹，我想把它砍掉，讓院子看起來清爽一點(diǎn)。我可能擁有一把能夠搞定這項(xiàng)工作的鏈鋸。目前，我還不完全了解鏈鋸的工作原理，但產(chǎn)品手冊(cè)上提到：“請(qǐng)注意以下事項(xiàng)，以防用戶削到手指?！币虼烁鶕?jù)這本手冊(cè)的說明，我更傾向于使用電鈕而非手鋸，因?yàn)殡m然后者上手難度更低，但我可能得花上5個(gè)小時(shí)才能完成砍樹任務(wù)。

也就是說，你能夠理解“砍樹”是什么意思；如此一來，即使你并不很明白鏈鋸的工作原理，也能夠利用它實(shí)現(xiàn)這一目標(biāo)。

沒錯(cuò)，可解釋性中第二大分支的目標(biāo)就是：我們是否能夠充分理解一種工具，從而以安全的方式加以使用？我們可以將確定有效的人類知識(shí)反映到工具當(dāng)中，進(jìn)而建立起這種理解。

問：那么，“反映人類知識(shí)”的方式是如何讓黑匣子AI這類系統(tǒng)具備可理解性的？

Been Kim：下面我想列舉另一個(gè)例子。如果醫(yī)生使用機(jī)器學(xué)習(xí)模型進(jìn)行癌癥診斷，那么醫(yī)生本人肯定希望確保模型當(dāng)中不存在那些來自我們不希望使用的數(shù)據(jù)的某些隨機(jī)相關(guān)性。要保障這樣的要求，一種可行的方法就是，確定機(jī)器學(xué)習(xí)模型正在以與人類醫(yī)生類似的方式執(zhí)行診斷流程。換句話說，也就是將醫(yī)生自己的診斷知識(shí)反映在這套機(jī)器學(xué)習(xí)模型當(dāng)中。

因此，如果醫(yī)生們會(huì)研究細(xì)胞樣本以診斷癌癥，他們可能會(huì)在樣本當(dāng)中尋找一種被稱為“融合腺體”的東西。此外，他們可能也會(huì)考慮到患者的年齡，以及患者過去是否擁有過化療經(jīng)歷等等。這些因素正是醫(yī)生在嘗試診斷癌癥時(shí)所關(guān)心的因素或者概念。如果我們能夠證明機(jī)器學(xué)習(xí)模型也在關(guān)注這些因素，那么該模型的可理解性將顯著提升，因?yàn)槠浯_實(shí)反映出與醫(yī)生相符的人類知識(shí)運(yùn)用行為。

問：那么，TCAV的起效方式是否也正是如此——即揭示機(jī)器學(xué)習(xí)模型正在使用哪些高級(jí)概念來做出決策？

Been Kim：沒錯(cuò)。首先我要說明一點(diǎn)，可解釋性方法只是解釋了神經(jīng)網(wǎng)絡(luò)在“輸入特征”方面做出的實(shí)際操作。可能我說得還不夠確切。如果你擁有圖像，那么其中的每一個(gè)像素都屬于輸入特征。事實(shí)上，Yann LeCun（深度學(xué)習(xí)的早期先驅(qū)，F(xiàn)acebook公司AI研究主管）已經(jīng)表示，他堅(jiān)信這些模型具備可解釋性。因?yàn)槲覀兛梢圆榭瓷窠?jīng)網(wǎng)絡(luò)中的每一個(gè)節(jié)點(diǎn)，并查看每一項(xiàng)輸入特征的數(shù)值。這些輸入特征對(duì)于計(jì)算機(jī)來說是很好的素材，但人類卻無法從中直接看出具體意義。畢竟計(jì)算機(jī)的思維方式類似于“哦，快看，像素?cái)?shù)量在100到200之間，RGB值是0，2與0．3?！毕啾戎?，人類會(huì)選擇完全不同的概念溝通方式，例如“這是一張小狗的圖片，而且這只狗的毛非常蓬松?！?/p>

問：那么，TCAV是如何在輸入特征與概念之間進(jìn)行這種轉(zhuǎn)換的？

Been Kim：讓我們回到醫(yī)生的例子，醫(yī)生還是使用機(jī)器學(xué)習(xí)模型，而這套模型已經(jīng)完成訓(xùn)練從而通過對(duì)細(xì)胞樣本圖像的分類診斷潛在癌癥。作為醫(yī)生，你可能希望了解在對(duì)癌癥做出主動(dòng)預(yù)測(cè)時(shí)，機(jī)器學(xué)習(xí)模型對(duì)于“融合腺體”的具體重視程度。首先，你會(huì)收集一些圖像——比如說20張圖像，其中包含有融合腺體部分?，F(xiàn)在，你會(huì)將這些帶有標(biāo)記的示例插入到模型當(dāng)中。

接下來，TCAV在內(nèi)部會(huì)進(jìn)行一項(xiàng)所謂“敏感度測(cè)試。當(dāng)我們添加這些包含融合腺體的標(biāo)記圖像時(shí)，癌癥陽性預(yù)測(cè)的可能性增加了多少？你可以將結(jié)果輸出為0到1之間的數(shù)字。就是這樣，這一結(jié)果就是您得到的TCAV分?jǐn)?shù)。如果概率增加，則意味著融合腺體對(duì)于機(jī)器學(xué)習(xí)模型而言確實(shí)是一項(xiàng)重要的概念。反之，如果概率沒有增加，則代表模型沒有將其視為一項(xiàng)重要概念。

問：“概念”是一種模糊的表達(dá)。是否存在某些不適用于TCAV的場(chǎng)景？

Been Kim：如果我們無法使用（數(shù)據(jù)集）載體中的某些子集來表達(dá)自己的概念，那么這套判斷系統(tǒng)就沒辦法起效。如果您的機(jī)器學(xué)習(xí)模型是以圖像為基礎(chǔ)進(jìn)行訓(xùn)練的，那么這一概念必須擁有視覺層面的可表達(dá)性。舉例來說，我們可以想象要如何以視覺方式表達(dá)“愛情”這一概念。這真的是一項(xiàng)很困難的任務(wù)。

我們也認(rèn)真驗(yàn)證了這一概念。我們擁有一個(gè)統(tǒng)計(jì)測(cè)試程序，如果某個(gè)概念矢量對(duì)于模型的影響與隨機(jī)矢量相同，那么其就會(huì)拒絕該概念矢量。如果你提交的概念沒有通過測(cè)試，那么TCAV會(huì)說：“我不知道。這個(gè)概念看起來似乎對(duì)于模型沒什么重要影響?！?/p>

問：TCAV的主要作用是在AI當(dāng)中建立信任，而非真正理解AI模型，是嗎？

Been Kim：對(duì)，接下來我會(huì)解釋其中的原因，因?yàn)榻⑿湃闻c理解模型確實(shí)存在著重要的區(qū)別。

我們從認(rèn)知科學(xué)與心理學(xué)的反復(fù)研究當(dāng)中認(rèn)識(shí)到，人類非常容易上當(dāng)受騙。這意味著，欺騙一個(gè)人對(duì)某些東西產(chǎn)生信任實(shí)際非常容易。但機(jī)器學(xué)習(xí)的可解釋性目標(biāo)恰恰與此相反，它會(huì)告訴我們對(duì)系統(tǒng)的使用是否安全。換言之，這是在揭示一種真相。所以，我覺得“信任”這個(gè)詞用在這里并不準(zhǔn)確。

問：也就是說，可解釋性的核心在于揭示AI推理當(dāng)中存在的潛在缺陷？

Been Kim：沒錯(cuò)，就是這么回事。

問：那么它是如何揭露這些缺陷的？

Been Kim：你可以利用TCAV向經(jīng)過訓(xùn)練的模型詢問一些非相關(guān)概念。我們還是以使用AI工具進(jìn)行癌癥診斷的醫(yī)生為例子，醫(yī)生可能會(huì)突然想到，“看起來機(jī)器傾向于把藍(lán)色色彩比例較高的圖像視為癌癥高發(fā)指標(biāo)。我們認(rèn)為不應(yīng)該通過這種方式的考慮問題?！币虼?，如果他們發(fā)現(xiàn)“藍(lán)色”這一輸入特征確實(shí)擁有更高的TCAV分?jǐn)?shù)，就代表著他們?cè)谠\斷機(jī)器學(xué)習(xí)模型當(dāng)中找到了一個(gè)問題。

問：TCAV的設(shè)計(jì)初衷在于處理那些不具備可解釋性的現(xiàn)有AI系統(tǒng)。那么，為什么不從開發(fā)之初就實(shí)現(xiàn)系統(tǒng)的可解釋性，而要繼續(xù)構(gòu)建這些無法解釋的黑匣子型AI？

Been Kim：可解釋性研究的一大分支，側(cè)重于構(gòu)建出能夠反映人類推理方式的固有可解釋模型。但我的看法是：現(xiàn)在人們已經(jīng)在幾乎各個(gè)領(lǐng)域構(gòu)建起AI模型，這些成果也已經(jīng)被用于種種重要目標(biāo)——它們?cè)谠O(shè)計(jì)之初并沒有考慮到可解釋性這項(xiàng)要求。這是事實(shí)，我們無法回避。我們?cè)诠雀枰矒碛写罅窟@樣的模型！您當(dāng)然可以說，“可解釋性非常重要，我們應(yīng)該構(gòu)建新的模型來取代目前正在使用的原有模型?！钡览黼m然沒錯(cuò)，但可行性真的不太高。

因此，面對(duì)這樣的情況我們?cè)撟鲂┦裁?？我們?nèi)匀恍枰朕k法順利度過目前的關(guān)鍵時(shí)刻，即判斷人工智能技術(shù)到底能否給我們帶來助益。出于這樣的考量，我才傾向于使用“訓(xùn)練后”解釋方法。如果您擁有一套由他人提供的模型，而且已經(jīng)無法對(duì)模型本身做出改變，那么該如何對(duì)其行為生成解釋，從而確保整個(gè)使用過程安全而可靠？這正是TCAV系統(tǒng)的核心意義所在。

問：TCAV允許人們向AI發(fā)問，借此了解某些特定概念在決策過程中的重要性水平。然而，如果我們不清楚該如何發(fā)問——如何我們希望AI系統(tǒng)能夠自我解釋，又該怎樣實(shí)現(xiàn)？

Been Kim：我們目前正在構(gòu)建新的方案，旨在自動(dòng)為模型使用者發(fā)現(xiàn)概念。我們將其稱為DTCAV，也就是“發(fā)現(xiàn)TCAV”。但實(shí)際上，我認(rèn)為讓人類進(jìn)入整個(gè)循環(huán)，從而實(shí)現(xiàn)機(jī)器與人之間的對(duì)話才是實(shí)現(xiàn)可解釋性的關(guān)鍵。

對(duì)于大多數(shù)高風(fēng)險(xiǎn)應(yīng)用場(chǎng)景而言，相關(guān)領(lǐng)域的專家已經(jīng)擁有了自己關(guān)注的一整套概念清單。我們?cè)诠雀鐱rain團(tuán)隊(duì)的醫(yī)療應(yīng)用當(dāng)中已經(jīng)一次又一次意識(shí)到這種狀況的真實(shí)性。實(shí)際上，使用者并不需要從他處獲取這些相關(guān)概念——他們已經(jīng)擁有重要的概念儲(chǔ)備，并希望把自己的關(guān)注點(diǎn)提交給模型。我們與一位治療糖尿病視網(wǎng)膜病變（一種眼科疾?。┑尼t(yī)生一同工作，當(dāng)我們向她介紹TCAV系統(tǒng)的時(shí)候，她感到非常興奮。因?yàn)樗约阂呀?jīng)擁有大量關(guān)于這套模型診斷方法的假設(shè)，現(xiàn)在她能夠借助這套系統(tǒng)測(cè)試這些猜想是否正確。這實(shí)際上代表著一種巨大的優(yōu)勢(shì)，也是一種強(qiáng)調(diào)以用戶為中心的機(jī)器學(xué)習(xí)協(xié)作方式。

問：您堅(jiān)信如果無法實(shí)現(xiàn)可解釋性，人類最終也許會(huì)放棄人工智能技術(shù)。但考慮到人工智能如此強(qiáng)大，您真的認(rèn)為人類會(huì)因此將這一切扔進(jìn)垃圾堆嗎？

Been Kim：是的，我堅(jiān)信這一點(diǎn)。實(shí)際上，專家系統(tǒng)就曾經(jīng)經(jīng)歷過同樣的情況。上世紀(jì)八十年代，我們認(rèn)為專家系統(tǒng)能夠以遠(yuǎn)低于人類操作人員的成本高效執(zhí)行某些任務(wù)。但是現(xiàn)在，還有誰在使用專家系統(tǒng)？完全沒有。而且在那之后，我們開始進(jìn)入AI技術(shù)的寒冬。

就目前來看，徹底放棄的可能性不大，因?yàn)槿斯ぶ悄芤呀?jīng)成為宣傳炒作與投資押注的重要領(lǐng)域。但從長(zhǎng)遠(yuǎn)角度來看，我認(rèn)為人類最終也許會(huì)做出這樣的決定?？赡苁浅鲇趯?duì)可靠性證明缺失的擔(dān)憂甚至恐懼，人類將認(rèn)定人工智能技術(shù)并不適合我們。是的，確實(shí)存在這種可能性。