2020年2月19日，歐盟委員會發(fā)布《關(guān)于人工智能、物聯(lián)網(wǎng)、機器人對安全和責任的影響的報告》（Report on the safety and liability implications of Artificial Intelligence， the Internet of Things and roboTIcs），該報告介紹了當前的歐盟產(chǎn)品安全制度，并探討了如何對其進行改進，以應(yīng)對人工智能（AI）、物聯(lián)網(wǎng)（IoT）和機器人技術(shù)領(lǐng)域的不斷創(chuàng)新發(fā)展。全文包括三大部分，首先概述了現(xiàn)有的安全和責任框架，人工智能、物聯(lián)網(wǎng)和機器人技術(shù)的特征以及創(chuàng)造的機遇；其次闡述了人工智能、物聯(lián)網(wǎng)和機器人技術(shù)對安全框架的挑戰(zhàn)及應(yīng)對；最后闡述了其對責任框架的挑戰(zhàn)及應(yīng)對。

人工智能、物聯(lián)網(wǎng)和機器人技術(shù)將為社會創(chuàng)造新的機遇和價值。歐盟委員會理解這些新興數(shù)字技術(shù)的重要性和潛力，以及在上述領(lǐng)域大量投資的必要性，進而致力于使歐洲獲得人工智能，物聯(lián)網(wǎng)和機器人技術(shù)的世界先進地位。為了實現(xiàn)這一目標，需要一個清晰，可預測的法律框架來應(yīng)對技術(shù)挑戰(zhàn)。本文將簡要介紹人工智能、物聯(lián)網(wǎng)和機器人技術(shù)對安全和責任框架的挑戰(zhàn)及應(yīng)對方式。

一、概述

（一）現(xiàn)有的安全和責任框架

安全和責任框架旨在保障所有產(chǎn)品和服務(wù)的安全、可靠、同步運行，并救濟可能出現(xiàn)的損失。歐盟擁有健全的安全和產(chǎn)品責任監(jiān)管框架，以及完善的安全標準體系，在保障公民在單一市場上的福祉的同時，鼓勵創(chuàng)新和技術(shù)應(yīng)用。隨著人工智能、物聯(lián)網(wǎng)和機器人技術(shù)正在改變許多產(chǎn)品和服務(wù)的特性，此時，建立更加明確清晰的安全和責任框架勢在必行，以期保護消費者和企業(yè)的合法權(quán)益。

（二）人工智能、物聯(lián)網(wǎng)和機器人技術(shù)的特征

人工智能、物聯(lián)網(wǎng)和機器人技術(shù)具有 連接性、自主性、復雜性和數(shù)據(jù)依賴性。它們幾乎不需要人工管控就能執(zhí)行任務(wù)。配備人工智能的系統(tǒng)還可以通過從經(jīng)驗中學習來改善自己的性能。此外，隨著投放市場的變化，它們還更加具有 開放性。同時，由于涉及大量數(shù)據(jù)，導致算法依賴（即隨著算法技術(shù)的強大，導致人類越來越依賴算法，以算法的結(jié)果為指導標準）以及AI決策的 不透明性，使得對AI產(chǎn)品行為更難預測，對造成損壞的潛在原因更難排查。

（三）人工智能、物聯(lián)網(wǎng)和機器人技術(shù)創(chuàng)造的機遇

人工智能、物聯(lián)網(wǎng)和機器人技術(shù)為人類社會創(chuàng)造了許多機遇。例如可以增加用戶對新興技術(shù)的信任和社會認可，改善產(chǎn)品、流程和商業(yè)模式以及幫助歐洲制造商提高生產(chǎn)效率?？梢蕴岣弋a(chǎn)品的可追溯性，并通過提高產(chǎn)品的安全性從而使產(chǎn)品降低某些風險。除此之外，人工智能還有望幫助人類發(fā)明創(chuàng)造，并幫助解決一些世界重大挑戰(zhàn)：包括治療慢性疾病、預測疾病爆發(fā)、減少交通事故死亡率、應(yīng)對氣候變化或預測網(wǎng)絡(luò)安全威脅等。此外，新技術(shù)可以提高產(chǎn)品的可追溯性，并通過提高產(chǎn)品的安全性從而使產(chǎn)品降低某些風險。

二、人工智能、物聯(lián)網(wǎng)和機器人技術(shù)對現(xiàn)有安全框架的影響及應(yīng)對

歐盟委員會關(guān)于《建立以人為本的人工智能的信任》（Building Trust in Human-Centric ArTIficial Intelligence）的文件指出，AI系統(tǒng)應(yīng)綜合設(shè)計安全機制，以確保每一步的安全性都經(jīng)受得住檢驗，確保所有相關(guān)人員的身心安全。

當前的產(chǎn)品安全立法已經(jīng)支持針對產(chǎn)品使用過程中產(chǎn)生的各種風險進行安全保護?？梢酝ㄟ^適當?shù)某h，對《產(chǎn)品責任指令》（Product Liability DirecTIve）和國家責任制度進行調(diào)整，采用更明確的、涵蓋新興數(shù)字技術(shù)帶來的新風險的條款，以提供更多的法律確定性。

一是新興數(shù)字技術(shù)的連接性挑戰(zhàn)了傳統(tǒng)安全概念。連接互通或失去連接都可能導致產(chǎn)品受到安全威脅進而影響用戶安全。當前的歐盟產(chǎn)品安全法規(guī)（Union product safety legislaTIon）中的產(chǎn)品安全性概念涵蓋了針對產(chǎn)品面臨各種風險的防護，不僅包括機械、化學、電氣風險，還包括網(wǎng)絡(luò)風險和與設(shè)備斷開連接相關(guān)的風險，此外還針對影響用戶安全的網(wǎng)絡(luò)威脅制定了強制性規(guī)定，這方面的明確法律規(guī)定可以考慮納入歐盟相關(guān)立法，以便為用戶提供明確的法律參考。

二是AI自主行為有可能違背生產(chǎn)者意圖。AI產(chǎn)品和系統(tǒng)的自主性可能會使機器做出的決策與生產(chǎn)者的最初意圖，以及用戶的期望有所偏差。部分人工智能系統(tǒng)在其生命周期內(nèi)的自主行為一旦對安全產(chǎn)生影響，便需要進行新的風險評估。此外，歐盟的相關(guān)立法應(yīng)該對制造商規(guī)定強制性義務(wù)，要求其對用戶提供明確的安全指示和警告。另外，從產(chǎn)品設(shè)計到整個人工智能產(chǎn)品生命周期都可能需要人工監(jiān)督來保障安全。

三是AI系統(tǒng)的類人行為（humanoid）可能會給用戶帶來心理健康風險。因此，規(guī)定生產(chǎn)者義務(wù)時可以適當考慮到用戶心理的安全風險（例如與類人機器人合作）；立法框架中的產(chǎn)品安全概念應(yīng)明確涵蓋精神健康風險。對于AI類人機器人的生產(chǎn)商，明確其產(chǎn)品可能對用戶（特別是弱勢用戶，例如被護理的老年人）造成心理損害的承擔義務(wù)，可以考慮將其納入歐盟相關(guān)立法。

四是數(shù)據(jù)依賴性可能擴大錯誤數(shù)據(jù)的安全風險。數(shù)據(jù)的準確性和相關(guān)性可以確保人工智能系統(tǒng)按照生產(chǎn)者意圖做出決定。因此，歐盟產(chǎn)品安全法規(guī)可以作出規(guī)定，要求在設(shè)計階段解決錯誤數(shù)據(jù)帶來的安全風險。根據(jù)產(chǎn)品的用途，生產(chǎn)商應(yīng)在設(shè)計和測試階段預測數(shù)據(jù)的準確性及其與安全功能的相關(guān)性，以確保在整個人工智能產(chǎn)品和系統(tǒng)的使用過程中有良好的機制來保障數(shù)據(jù)質(zhì)量。

五是AI產(chǎn)品的不透明性導致難以跟蹤系統(tǒng)的決策過程（即所謂的“算法黑箱”‘black box-effect’ ）。歐盟產(chǎn)品安全法規(guī)目前尚未解決基于算法不透明所帶來的日益增長的風險。因此，有必要考慮增加對算法透明性、穩(wěn)健性和問責制的相關(guān)法律規(guī)定，在發(fā)生事故的情況下，規(guī)定算法開發(fā)人員必須公開數(shù)據(jù)集的設(shè)計參數(shù)（design parameters）和元數(shù)據(jù)（metadata of datasets）。這對于事后執(zhí)行機制的完善，建立對新興數(shù)字技術(shù)的信任尤其重要。

六是獨立軟件（stand-alone software）的更新會對產(chǎn)品進行實質(zhì)性修改。復雜的AI系統(tǒng)通常包含獨立軟件，如果獨立軟件的更新對產(chǎn)品進行了實質(zhì)性修改，則整個產(chǎn)品可能會被視為新產(chǎn)品，必須重新評估是否符合相關(guān)安全產(chǎn)品法規(guī)規(guī)定?，F(xiàn)有的歐盟產(chǎn)品安全法應(yīng)需要對獨立軟件有特定或明確的要求，確保AI產(chǎn)品和系統(tǒng)中的獨立軟件具備安全功能。此外應(yīng)規(guī)定制造商的相關(guān)強制性義務(wù)，以確保上傳的軟件不會在人工智能產(chǎn)品的生命周期內(nèi)對安全產(chǎn)生影響。

七是新興數(shù)字技術(shù)也受復雜的價值鏈（value chains）影響。歐盟產(chǎn)品安全法規(guī)考慮了價值鏈的復雜性，并遵循“共同責任”的原則對多家企業(yè)施加了義務(wù)，明確規(guī)定價值鏈中的企業(yè)與用戶之間進行合作的條款，尤其是價值鏈中影響產(chǎn)品安全的每個企業(yè)（例如軟件生產(chǎn)者）和用戶（通過修改產(chǎn)品）都會承擔相關(guān)責任，并為鏈中的下一個行為者提供必要的信息和保護措施，以期為復雜的價值鏈問題提供法律明確性。

三、人工智能、物聯(lián)網(wǎng)和機器人技術(shù)對現(xiàn)有責任框架的影響及應(yīng)對

新興數(shù)字技術(shù)（如人工智能、物聯(lián)網(wǎng)和機器人）的特質(zhì)可能會在某些方面影響責任框架，并可能降低它們的有效性。例如很難將造成的損害追溯到人類的行為導致無法對受害者進行及時合理的補償。此外還需要進一步評估新技術(shù)對現(xiàn)有責任框架的挑戰(zhàn)是否會導致法律適用的不確定性，這些可能會阻礙投資，并增加生產(chǎn)者和供應(yīng)鏈中其他企業(yè)（尤其是歐洲中小型企業(yè)）的信息和保險成本。

其一，產(chǎn)品、服務(wù)和價值鏈的復雜性挑戰(zhàn)傳統(tǒng)生產(chǎn)者概念。在過去的幾十年中，科技發(fā)展迅速，隨著產(chǎn)品和服務(wù)的日益融合，產(chǎn)品責任值得我們重點關(guān)注。以軟件為例，一旦軟件發(fā)生變更可能會使產(chǎn)品損害，這最終可能導致產(chǎn)品生產(chǎn)商承擔責任。因此《產(chǎn)品責任指令》可以進一步明確生產(chǎn)者概念，擴大責任范圍，對于軟件或其他數(shù)字功能導致產(chǎn)品缺陷從而造成的損失，明確賠償義務(wù)和責任范圍。這樣可以更好地根據(jù)相關(guān)法律規(guī)定判斷是否可以將經(jīng)濟參與者（例如軟件開發(fā)人員）視為生產(chǎn)者，從而確定相關(guān)責任人。

其二，復雜的物聯(lián)網(wǎng)環(huán)境使受害者難以追責。人工智能應(yīng)用程序通常集成在復雜的物聯(lián)網(wǎng)環(huán)境中，其中許多不同的連接設(shè)備和服務(wù)相互作用。由于技術(shù)的復雜性，受害者很難查找損害來源進而確定責任人并成功索賠。因此可以通過修訂《產(chǎn)品責任指令》，減少受害者的舉證責任，進一步有針對性地統(tǒng)一國家責任規(guī)則。例如，歐盟委員會正在征求意見，針對AI應(yīng)用程序所造成的損害，是否需要通過調(diào)整舉證責任，以減少責任認定的復雜性。

其三，連接性和開放性對現(xiàn)有網(wǎng)絡(luò)安全義務(wù)提出挑戰(zhàn)。網(wǎng)絡(luò)安全漏洞可能在產(chǎn)品投入流通的開始就存在，但也可能在產(chǎn)品投入流通的后期出現(xiàn)。目前，因產(chǎn)品網(wǎng)絡(luò)安全漏洞而造成的損害是否能得到充分的賠償問題尚沒有明確的法律規(guī)定。因此現(xiàn)有的責任框架應(yīng)該建立明確的網(wǎng)絡(luò)安全義務(wù)，使運營商明確自身義務(wù)從而避免承擔不必要的責任。

其四，自主性和不透明性可能造成索賠困難。自主性會影響產(chǎn)品的安全性，因為自主性可能會大大改變產(chǎn)品的特性，包括其安全性。由于某些AI系統(tǒng)的“算法黑箱”，理解AI所使用的算法和數(shù)據(jù)需要具有專業(yè)分析能力和技術(shù)專長。此外，如果沒有潛在責任方的合作，就不可能訪問算法和數(shù)據(jù)。導致實踐中受害者可能無法提出責任索賠。因此可以重新調(diào)整《產(chǎn)品責任指令》目前使用的“投入流通”（putting into circulation）的概念，以考慮到后期產(chǎn)品可能會發(fā)生變化，有助于澄清對產(chǎn)品的更改將最終由誰負責。此外針對潛在責任方?jīng)]有記錄與評估責任有關(guān)的數(shù)據(jù)，或者不愿意與受害人分享這些數(shù)據(jù)的行為，歐盟委員會正在探討是否需要調(diào)整因果關(guān)系和過錯責任，以明確相關(guān)責任。

四、結(jié)論

人工智能、物聯(lián)網(wǎng)和機器人等新興數(shù)字技術(shù)的出現(xiàn)對產(chǎn)品安全和責任方面提出了新的挑戰(zhàn)。當前的產(chǎn)品安全法規(guī)仍有待完善，特別是需要分別對《通用產(chǎn)品安全指令》（General Product Safety Directive）、《機械指令》（Machinery Directive），《無線電設(shè)備指令》（the Radio- Equipment Directive）和《新立法框架》（ New Legislative Framework）進行修訂補充。今后將統(tǒng)一開展在該框架內(nèi)對不同法規(guī)進行調(diào)整的工作。

當前，在保持技術(shù)創(chuàng)新發(fā)展的同時，也應(yīng)保障因AI系統(tǒng)介入受到傷害的人和因傳統(tǒng)技術(shù)遭受傷害的人享有同等的保護，這將有助于增強人們對新興數(shù)字技術(shù)的信任并確保投資穩(wěn)定性。此外，歐盟還應(yīng)該通過適當?shù)呐e措對《產(chǎn)品責任指令》和國家責任制度進行調(diào)整，即考慮人工智能系統(tǒng)應(yīng)用所帶來的多重風險，以解決現(xiàn)有安全和責任框架的不確定性。