擁有能力的同時也被賦予了重大的責(zé)任。企業(yè)可以通過遵循三個原則來減輕應(yīng)用人工智能和增強分析的風(fēng)險。

事實證明，人工智能被證明是一把雙刃劍。雖然這對大多數(shù)新技術(shù)可以這么說，但人工智能的兩面都要銳利得多，而且兩者都不為人所知。

首先考慮積極因素。從簡化購物到增強醫(yī)療保健體驗，這些技術(shù)正開始以無數(shù)種方式改善我們的生活。他們對企業(yè)的價值也已變得不可否認(rèn)：正在部署AI的公司中，近80％的高管告訴我們，他們已經(jīng)從中看到了中等價值。盡管AI在商業(yè)中的廣泛使用仍處于起步階段，并且關(guān)于進展的速度以及實現(xiàn)“通用智能”這一圣杯的可能性仍存在疑問，但潛力是巨大的。麥肯錫全球研究所的研究表明，到2030年，人工智能每年可以為全球帶來13萬億美元的額外經(jīng)濟產(chǎn)出。

然而，盡管人工智能產(chǎn)生了消費者利益和商業(yè)價值，但它也產(chǎn)生了許多不必要的、有時甚至是嚴(yán)重的后果。當(dāng)我們在本文中關(guān)注人工智能時，這些連鎖反應(yīng)（以及防止或減輕它們的方法）同樣適用于所有增強分析。最明顯的問題，包括侵犯隱私、歧視、事故和操縱政治制度，足以引起人們的警惕。更令人關(guān)注的是尚未知道或經(jīng)歷的后果。災(zāi)難性的后果包括人命損失，如果人工智能醫(yī)療算法出錯，或者國家安全受損，如果對手向軍事人工智能系統(tǒng)提供虛假信息是可能的，對組織來說，從聲譽損害、收入損失到監(jiān)管反彈等重大挑戰(zhàn)也是可能的，刑事調(diào)查，公眾信任度下降。

由于人工智能是一種相對新的商業(yè)推動力，因此很少有領(lǐng)導(dǎo)者有機會磨練自己對社會、組織和個人風(fēng)險的全面的直覺，或者提升其相關(guān)的實踐知識，這些知識包括所為AI提供的數(shù)據(jù)，以運行算法模型以及人與機之間的交互。結(jié)果，高管們常常忽略了潛在的風(fēng)險（“We’re not using AI in anything thatcould ‘blow up，’ like self-driving cars”）或高估了組織的風(fēng)險緩解能力（“我們已經(jīng)進行了很長時間的分析，因此我們已經(jīng)有了正確的控制措施，并且我們的做法與行業(yè)同行的做法是一致的”）。領(lǐng)導(dǎo)者通常會與IT和分析組織的專家所擁有的其他人一起承擔(dān)AI的風(fēng)險（“我相信我的技術(shù)團隊，他們正在盡一切可能保護我們的客戶和我們的公司”）。

希望避免或至少減輕意外后果的領(lǐng)導(dǎo)者既需要建立他們對人工智能風(fēng)險的模式識別技能，也需要讓整個組織參與進來，以便它準(zhǔn)備好接受與人工智能相關(guān)的權(quán)力和責(zé)任。識別和控制所有關(guān)鍵風(fēng)險所需的能力水平大大超過了大多數(shù)組織中的現(xiàn)行規(guī)范。要取得真正的進展，就需要采取多學(xué)科的方法，包括高管和整個公司的領(lǐng)導(dǎo)；法律和風(fēng)險、IT、安全和分析等領(lǐng)域的專家；以及能夠確保在生產(chǎn)一線保持風(fēng)險意識的管理人員。

本文試圖通過首先說明一系列容易忽視的風(fēng)險來提供幫助。然后，它提出了一些框架，這些框架將幫助領(lǐng)導(dǎo)者識別最大的風(fēng)險，并規(guī)避這些風(fēng)險所需的精細控制的廣度和深度。最后，它簡要介紹了當(dāng)前正在通過應(yīng)用這些方法來解決AI風(fēng)險的一些實際工作。

在繼續(xù)之前，我們想強調(diào)的是，我們在這里的重點是一階后果，這些后果直接來自人工智能解決方案的開發(fā)、它們的無意或有意誤用，或?qū)斎氲臄?shù)據(jù)進行了不正確的處理。還有其他一些后果，其中一個后果是，由人工智能驅(qū)動的工作場所自動化，使一些行業(yè)普遍存在失業(yè)的可能性。隨著人工智能系統(tǒng)重要性的增加，也有二階效應(yīng)，如技能萎縮（例如，醫(yī)學(xué)專業(yè)人員的診斷技能）。這些后果將繼續(xù)受到關(guān)注，因為它們的重要性日益增加，但超出了我們在這里的范圍。

了解風(fēng)險及其驅(qū)動因素

當(dāng)人工智能出了問題，問題的根源暴露出來時，常常會有很多人搖頭。事后看來，似乎無法想象沒有人看到它的到來。但是，如果你就下一個可能出現(xiàn)的人工智能風(fēng)險，對有地位的高管進行民意調(diào)查，你就不太可能達成任何共識。

領(lǐng)導(dǎo)者希望將其姿態(tài)從事后轉(zhuǎn)變?yōu)榍罢靶?，需要更好地了解他們所承?dān)的風(fēng)險類型、相互依賴性以及潛在原因。為了幫助建立這種缺失的直覺，我們描述了以下五個可能導(dǎo)致人工智能風(fēng)險的痛點。前三個是數(shù)據(jù)困難、技術(shù)問題和安全問題，可能與人工智能的使能技術(shù)有關(guān)。最后兩個是與算法和人機交互聯(lián)系在一起的，它們是實施人工智能的核心。顯然，我們還處于了解我們所承擔(dān)的風(fēng)險背后的原因的早期階段，我們還試圖對其性質(zhì)和范圍進行分類。

數(shù)據(jù)的挑戰(zhàn)

隨著從Web、社交媒體、移動設(shè)備、傳感器和物聯(lián)網(wǎng)等來源攝取的非結(jié)構(gòu)化數(shù)據(jù)數(shù)量的增加，獲取、排序、鏈接和正確使用這些數(shù)據(jù)變得越來越困難。因此，很容易成為風(fēng)險。比如無意中使用或泄露隱藏在匿名數(shù)據(jù)中的敏感信息。例如，雖然一個病人的名字可以從人工智能系統(tǒng)使用的病歷的一個部分進行編輯，但它可以出現(xiàn)在病歷的“醫(yī)生注釋”部分。這些考慮因素對于領(lǐng)導(dǎo)者在遵守隱私規(guī)則（如歐盟通用數(shù)據(jù)保護條例（GDPR）或加州消費者隱私法（CCPA））以及管理聲譽風(fēng)險方面的工作非常重要。

技術(shù)的挑戰(zhàn)

整個運營環(huán)境中的技術(shù)和流程問題可能會對AI系統(tǒng)的性能產(chǎn)生負面影響。例如，一家大型金融機構(gòu)的合規(guī)軟件未能發(fā)現(xiàn)交易問題，因為數(shù)據(jù)源不再包括所有客戶交易，因而陷入困境。

安全的挑戰(zhàn)

另一個出現(xiàn)的新問題是，欺詐者可能利用公司收集的看似不敏感的營銷、健康和財務(wù)數(shù)據(jù)來為人工智能系統(tǒng)提供燃料。如果安全防范措施不充分，則有可能將這些數(shù)據(jù)整合在一起以創(chuàng)建假身份。盡管目標(biāo)公司（在保護個人身份信息方面可能非常有效）是不知情的共犯，但它們?nèi)钥赡苁艿较M者的強烈反對和監(jiān)管方面的影響。

異常行為模式

AI模型本身會在交付有偏見的結(jié)果時產(chǎn)生問題（例如，用于訓(xùn)練模型的樣本數(shù)據(jù)不足），變得不穩(wěn)定，它們會產(chǎn)生問題，或者得出結(jié)論，對于那些受其決定影響的人來說，沒有可溯的依據(jù)（例如，某人在不知道該怎么做才能拒絕該決定的情況下拒絕了貸款）。例如，考慮人工智能模型通過將郵政編碼和收入數(shù)據(jù)聯(lián)系在一起以創(chuàng)建有針對性的產(chǎn)品，無意中會產(chǎn)生歧視的可能。當(dāng)人工智能模型嵌入在軟件即服務(wù)（SaaS）產(chǎn)品中時，很難被發(fā)現(xiàn)。當(dāng)供應(yīng)商推出新的智能功能（通常很少大張揚）時，他們還將推出可與用戶系統(tǒng)中的數(shù)據(jù)進行交互的模型，從而產(chǎn)生意料之外的風(fēng)險，包括引起黑客可能利用的隱患。言下之意是，那些認(rèn)為自己清楚自己所在組織是否購買或構(gòu)建了人工智能系統(tǒng)，或者只是在試驗部署的領(lǐng)導(dǎo)人，很可能會犯錯。

交互的問題

人機界面是另一個關(guān)鍵的風(fēng)險領(lǐng)域。其中最明顯的挑戰(zhàn)是自動化運輸、制造和基礎(chǔ)設(shè)施系統(tǒng)。如果重型設(shè)備，車輛或其他機械的操作員無法識別何時應(yīng)該否決AI系統(tǒng)或由于操作員的注意力在其他地方而太慢而無法否決AI系統(tǒng)，則可能會造成事故和傷害，這在自動駕駛汽車等應(yīng)用中是很可能的。相反，人為判斷也可能在否定AI系統(tǒng)的結(jié)果方面有缺陷。在后臺，在數(shù)據(jù)分析組織中，腳本編寫錯誤、數(shù)據(jù)管理失誤和訓(xùn)練模型的數(shù)據(jù)中的錯誤判斷很容易損害公平性、隱私性、安全性和合規(guī)性。一線人員也可能會無意中做出貢獻，因為當(dāng)銷售人員更擅長向某些特定人群進行銷售時，會不經(jīng)意地訓(xùn)練一個由AI驅(qū)動的銷售工具，以排除某些客戶群體。這些只是意想不到的后果。如果沒有嚴(yán)格的保護措施，不滿的員工或外部敵人可能會破壞算法或以不正當(dāng)?shù)姆绞绞褂萌斯ぶ悄軕?yīng)用程序。

人工智能風(fēng)險管理：三大核心原則

除了了解未來所遇到的挑戰(zhàn)外，上述示例和分類對于識別風(fēng)險及其根源，并確定其優(yōu)先級也很有用。如果您了解潛在的潛伏，誤解或根本無法識別的風(fēng)險，則在風(fēng)險趕上您之前，您就有更大的機會抓住它們。

但是，您需要在整個企業(yè)范圍內(nèi)做出集中努力，從分類風(fēng)險、轉(zhuǎn)移到根除風(fēng)險。兩家領(lǐng)先銀行的經(jīng)驗有助于說明所需的清晰度、廣度和細致的嚴(yán)謹(jǐn)性。第一家是歐洲公司，一直致力于將增強分析和人工智能功能應(yīng)用于優(yōu)化呼叫中心、抵押貸款決策、客戶關(guān)系管理和資產(chǎn)管理計劃。第二個是全球領(lǐng)導(dǎo)者，尋求將機器學(xué)習(xí)模型應(yīng)用于其客戶信貸決策。

這些銀行與金融服務(wù)領(lǐng)域的許多其他銀行一樣，多年來一直在使用某種形式的增強分析，其最早可用于信用卡欺詐檢測和股票交易。他們還受到高度的監(jiān)管監(jiān)督，因此長期以來一直在應(yīng)用和透明化各種協(xié)議和控制措施以減輕相關(guān)風(fēng)險，包括網(wǎng)絡(luò)安全風(fēng)險，鑒于其資產(chǎn)對攻擊者的吸引力，他們經(jīng)常處于前線。

盡管如此，這些銀行的故事僅說明了組織應(yīng)考慮的特定風(fēng)險控制措施的一部分。圖表2提供了一個更完整的潛在控制列表，涵蓋了從計劃到開發(fā)再到后續(xù)使用和監(jiān)視的整個分析過程。我們希望將這些工具和示例放在一起，可以幫助必須面對各種問題的領(lǐng)導(dǎo)者-從避免推薦引擎偏見到消除個人身份風(fēng)險，再到根據(jù)特定需求更好地定制客戶服務(wù)機器人以響應(yīng)客戶，還有更多。

清晰度：使用結(jié)構(gòu)化的識別方法來找出最關(guān)鍵的風(fēng)險

這家歐洲銀行的首席運營官首先召集業(yè)務(wù)、IT、安全和風(fēng)險管理方面的領(lǐng)導(dǎo)者，以評估并確定其最大風(fēng)險的優(yōu)先級。該練習(xí)的輸入內(nèi)容包括對公司現(xiàn)有風(fēng)險的清晰了解，以及正在考慮的AI驅(qū)動的分析工作如何加劇這些風(fēng)險，以及AI支持者或AI本身可能造成的新的風(fēng)險。有些很明顯，但有些則不然。意外地排在榜首的是向消費者提供的不良或偏頗的產(chǎn)品推薦。這些有缺陷的建議可能會導(dǎo)致大量傷害和損害，包括消費者損失，強烈反對和監(jiān)管罰款。

銀行領(lǐng)導(dǎo)者通過這種結(jié)構(gòu)化的風(fēng)險識別流程所取得的成就是，對最令人擔(dān)憂的情況進行了澄清，識別缺失的控制措施并相應(yīng)地安排時間和資源。從而使他們能夠?qū)λ娘L(fēng)險進行優(yōu)先級排序。這些情況和優(yōu)先級風(fēng)險自然會因行業(yè)和公司而異。食品制造商可能會優(yōu)先考慮受污染產(chǎn)品。軟件開發(fā)人員可能特別關(guān)注軟件代碼的公開。醫(yī)療保健組織可能會將重點放在患者誤診或無意對患者造成傷害等問題上。使管理人員的各個部門專注于查明和界定有問題的場景，是一種激發(fā)創(chuàng)造力并降低狹窄的專家或一時的想法會錯過主要漏洞的風(fēng)險的好方法。組織不必為此付出一切從頭開始：在過去的幾年中，風(fēng)險識別已成為一種成熟的技術(shù)，可以將其直接部署在AI的相關(guān)領(lǐng)域中。

廣度：制定健全的企業(yè)控制措施

增強你對預(yù)防風(fēng)險的思考只是一個開始。同樣重要的是應(yīng)用公司范圍內(nèi)的措施來指導(dǎo)AI系統(tǒng)的開發(fā)和使用，確保適當(dāng)?shù)谋O(jiān)督并制定強有力的政策、程序、人員培訓(xùn)和應(yīng)急計劃。如果沒有廣泛的努力，風(fēng)險因素（如先前所述的風(fēng)險因素）將難以克服。

考慮到產(chǎn)品推薦不當(dāng)或偏向可能帶來的風(fēng)險，這家歐洲銀行開始采用一套穩(wěn)健的業(yè)務(wù)原則，旨在詳細說明如何以及在何處使用機器進行影響客戶財務(wù)狀況的決策。經(jīng)理們確定了在將建議交付給客戶之前，某個人（例如，客戶關(guān)系經(jīng)理或信貸員）需要“參與其中”的情況。這些工作人員將提供一個安全網(wǎng)，以識別客戶是否有特殊情況，例如家庭成員死亡或財務(wù)困難時，是否有可能提出不合時宜或不適當(dāng)建議的特殊情況。

該銀行的監(jiān)督委員會還進行了差距分析，確定了該銀行現(xiàn)有風(fēng)險管理框架中需要深化，重新定義或擴展的領(lǐng)域。目前，世行全面一致的治理現(xiàn)在可以確保正確定義政策和程序，對AI模型的特定控制，指導(dǎo)模型開發(fā)，職責(zé)分工和適當(dāng)監(jiān)督的核心原則（在工具的支持下）。例如，模型開發(fā)工具可確保數(shù)據(jù)科學(xué)家在整個開發(fā)生命周期中始終記錄模型代碼，訓(xùn)練數(shù)據(jù)和選擇的參數(shù)。還采用了用于解釋性，模型性能報告以及生產(chǎn)中數(shù)據(jù)和模型監(jiān)視的標(biāo)準(zhǔn)庫。這個治理框架對于內(nèi)部AI開發(fā)工作以及評估和監(jiān)管第三方AI工具（例如銀行采用的SaaS欺詐模型）都是非常寶貴的。

此外，銀行政策現(xiàn)在要求所有利益相關(guān)者，包括發(fā)起業(yè)務(wù)的高管，都要進行方案規(guī)劃并創(chuàng)建后備計劃，以防AI模型的性能出現(xiàn)偏差，數(shù)據(jù)輸入發(fā)生意外變化或突然發(fā)生變化（例如自然災(zāi)害）的外部環(huán)境。這些后備計劃包括在銀行的常規(guī)風(fēng)險審查流程中，使董事會的風(fēng)險委員會可以了解為減輕分析驅(qū)動和與AI相關(guān)的風(fēng)險而采取的步驟。

在銀行減輕風(fēng)險的工作中，人員培訓(xùn)的意識也很重要。會與所有受影響的員工進行全面溝通，他們都會收到有關(guān)在哪里使用AI；銀行正在采取哪些步驟來確保公平、準(zhǔn)確的決策并保護客戶數(shù)據(jù)；以及銀行的治理框架，自動化技術(shù)和開發(fā)工具如何協(xié)同工作。此外，業(yè)務(wù)發(fā)起人，風(fēng)險團隊和分析人員還將接受有針對性的培訓(xùn)，以了解他們在識別和最小化風(fēng)險中的作用。例如，業(yè)務(wù)發(fā)起人要對模型行為進行解釋，提供關(guān)于他們正在使用該模型來提供有關(guān)模型背后的業(yè)務(wù)假設(shè)的反饋。同時，風(fēng)險團隊已經(jīng)就如何更好地識別和減輕法律和法規(guī)合規(guī)性問題進行了培訓(xùn)，例如，對受保護群體的潛在歧視或?qū)DPR的遵守。

監(jiān)視AI驅(qū)動的分析是一項持續(xù)的工作，而不是一項一勞永逸的活動。因此，銀行的監(jiān)督小組，包括董事會的風(fēng)險委員會，會定期審查該計劃，以掌握因監(jiān)管變更、行業(yè)轉(zhuǎn)變、法律解釋（例如新興的GDPR判例法）而可能出現(xiàn)的新風(fēng)險，不斷變化的消費者期望以及快速更新的技術(shù)。

細微差別：根據(jù)風(fēng)險的性質(zhì)加強特定的控制

盡管由于企業(yè)范圍內(nèi)的嚴(yán)格控制很重要，因此它們幾乎不足以抵消每種可能的風(fēng)險。通常需要另一級別的嚴(yán)格性和細微差別，并且必要的控制將取決于各種因素，例如算法的復(fù)雜性，其數(shù)據(jù)要求，人機交互（或機器與機器交互）的性質(zhì)。以及將AI嵌入業(yè)務(wù)流程的程度。有時需要從用例章程開始的概念控制。包括透明度要求在內(nèi)的特定數(shù)據(jù)和分析控件以及用于反饋和監(jiān)控的控件（例如用于檢測降級或偏差的性能分析）也是如此。

我們的第二個示例為細微差別控件的應(yīng)用提供了寶貴的啟示。該機構(gòu)想要了解機器學(xué)習(xí)模型如何準(zhǔn)確地針對特定的面向客戶的流程做出決策。在仔細考慮了透明性要求之后，該機構(gòu)決定通過限制其使用的機器學(xué)習(xí)算法的類型來降低風(fēng)險。禁止過于復(fù)雜和不透明的某些模型形式使該機構(gòu)能夠在舒適的環(huán)境中取得平衡。失去了一些預(yù)測能力，這付出了經(jīng)濟成本。但是，所使用模型的透明性使員工對其決策具有更高的信心。較簡單的模型還使檢查數(shù)據(jù)和模型本身更加容易，以發(fā)現(xiàn)可能由于用戶行為或數(shù)據(jù)變量或其排名變化而產(chǎn)生的偏差。

如該示例所示，組織將需要整合對于風(fēng)險的控制，并且通過創(chuàng)建協(xié)議以確保在整個AI開發(fā)過程中到位并遵循這些協(xié)議，可以最好地實現(xiàn)它們。在我們的示例中，這些機構(gòu)至少部分地通過其現(xiàn)有的風(fēng)險基礎(chǔ)架構(gòu)實施了這些協(xié)議以及企業(yè)范圍的控制。缺乏集中風(fēng)險組織的公司仍可以使用強大的風(fēng)險管理流程來使這些AI風(fēng)險管理技術(shù)發(fā)揮作用。

關(guān)于AI的組織、個人和社會所面臨的潛在風(fēng)險，還有很多要學(xué)習(xí)的知識。關(guān)于創(chuàng)新與風(fēng)險之間的應(yīng)適當(dāng)平衡；以及關(guān)于控制難以預(yù)料和管理的地方。到目前為止，輿論和監(jiān)管反應(yīng)已經(jīng)相對緩和了。

但是，如果更多的組織陷入困境，這可能會有所改變。隨著與AI相關(guān)的風(fēng)險成本的上升，評估這些風(fēng)險以及使各級員工參與定義和實施控制的能力將成為企業(yè)新的競爭優(yōu)勢。對許多組織而言，是對“客戶體驗”的重新概念化，以涵蓋了AI驅(qū)動成果的承諾以及陷阱。另一個當(dāng)務(wù)之急，是就應(yīng)對應(yīng)用AI的道德規(guī)范和限制使用AI的界限進行認(rèn)真的辯論。集體行動也可能會越來越重要，集體行動可能涉及有關(guān)自我監(jiān)管和與監(jiān)管機構(gòu)接觸的行業(yè)層面的辯論。培養(yǎng)這些能力的組織將能更有效地為其客戶和社會提供服務(wù)，并避免在道德、業(yè)務(wù)、聲譽和監(jiān)管方面的困境，并能避免可能導(dǎo)致組織崩潰的潛在生存危機。