（文章來源：千家網）

訓練數據污染可導致人工智能決策錯誤。數據投毒通過在訓練數據里加入偽裝數據、惡意樣本等破壞數據的完整性，進而導致訓練的算法模型決策出現偏差。

數據投毒主要有兩種攻擊方式：一種是采用模型偏斜方式，主要攻擊目標是訓練數據樣本，通過污染訓練數據達到改變分類器分類邊界的目的。例如，模型偏斜污染訓練數據可欺騙分類器將特定的惡意二進制文件標記為良性。

另外一種是采用反饋誤導方式，主要攻擊目標是人工智能的學習模型本身，利用模型的用戶反饋機制發(fā)起攻擊，直接向模型“注入”偽裝的數據或信息，誤導人工智能做出錯誤判斷。隨著人工智能與實體經濟深度融合，醫(yī)療、交通、金融等行業(yè)訓練數據集建設需求迫切，這就為惡意、偽造數據的注入提供了機會，使得從訓練樣本環(huán)節(jié)發(fā)動網絡攻擊成為最直接有效的方法，潛在危害巨大。在自動駕駛領域，數據投毒可導致車輛違反交通規(guī)則甚至造成交通事故；在軍事領域，通過信息偽裝的方式可誘導自主性武器啟動或攻擊，從而帶來毀滅性風險。

運行階段的數據異?？蓪е轮悄芟到y(tǒng)運行錯誤。一是人為構造對抗樣本攻擊，導致智能系統(tǒng)產生錯誤的決策結果。人工智能算法模型主要反映了數據關聯性和特征統(tǒng)計，而沒有真正獲取數據因果關系。針對算法模型這一缺陷，對抗樣本通過對數據輸入樣例添加難以察覺的擾動，使算法模型以高置信度給出一個錯誤的輸出。對抗樣本攻擊可實現逃避檢測，例如在生物特征識別應用場景中，對抗樣本攻擊可欺騙基于人工智能技術的身份鑒別、活體檢測系統(tǒng)。

2019年4月，比利時魯汶大學研究人員發(fā)現，借助一張設計的打印圖案就可以避開人工智能視頻監(jiān)控系統(tǒng)。二是動態(tài)環(huán)境的非常規(guī)輸入可導致智能系統(tǒng)運行錯誤。人工智能決策嚴重依賴訓練數據特征分布性和完備性，人工標記數據覆蓋不全、訓練數據與測試數據同質化等塬因常常導致人工智能算法泛化能力差，智能系統(tǒng)在動態(tài)環(huán)境實際使用中決策可能出現錯誤。特斯拉汽車自動駕駛系統(tǒng)曾因無法識別藍天背景下的白色貨車，致使發(fā)生致命交通事故。

模型竊取攻擊可對算法模型的數據進行逆向還塬。人工智能算法模型的訓練過程依托訓練數據，并且在運行過程中會進一步采集數據進行模型優(yōu)化，相關數據可能涉及到隱私或敏感信息，所以算法模型的機密性非常重要。但是，算法模型在部署應用中需要將公共訪問接口發(fā)布給用戶使用，攻擊者可通過公共訪問接口對算法模型進行黑盒訪問，依據輸入信息和輸出信息映射關系，在沒有算法模型任何先驗知識（訓練數據、模型參數等）情況下，構造出與目標模型相似度非常高的模型，實現對算法模型的竊取，進而還塬出模型訓練和運行過程中的數據以及相關隱私信息。

新加坡國立大學RezaShokri等針對機器學習模型的隱私泄露問題，提出了一種成員推理攻擊，在對模型參數和結構知之甚少的情況下，可以推斷某一樣本是否在模型的訓練數據集中。

人工智能開源學習框架實現了基礎算法的模塊化封裝，可以讓應用開發(fā)人員無需關注底層實現細節(jié)，大大提高了人工智能應用的開發(fā)效率。谷歌、微軟、亞馬遜、臉書等企業(yè)都發(fā)布了自己的人工智能學習框架，在全球得到廣泛應用。但是，人工智能開源學習框架集成了大量的第叁方軟件包和依賴庫資源，相關組件缺乏嚴格的測試管理和安全認證，存在未知安全漏洞。近年來，360、騰訊等企業(yè)安全團隊曾多次發(fā)現TensorFlow、Caffe、Torch等深度學習框架及其依賴庫的安全漏洞，攻擊者可利用相關漏洞篡改或竊取人工智能系統(tǒng)數據。