生成人工智能的采用正在加快步伐。僅僅10個(gè)月前相比,執(zhí)行率翻了一番,65%的受訪者說他們的公司經(jīng)常使用AI。對(duì)現(xiàn)有企業(yè)產(chǎn)生破壞性影響的承諾--或以新的和更有利可圖的方式向市場提供服務(wù)--正在推動(dòng)這方面的許多興趣。然而,許多采用者還沒有意識(shí)到眼前的安全風(fēng)險(xiǎn)。

為了向軟件開發(fā)人員和安全架構(gòu)師提供實(shí)際操作指導(dǎo),OWASP前10指南列出了安全實(shí)施依賴LLMS的GEI應(yīng)用程序的最佳做法。通過明確指出迄今為止在LLMS中看到的最關(guān)鍵的弱點(diǎn),預(yù)防成為一項(xiàng)簡單的任務(wù)。

然而,圍繞安全AI開發(fā)的最大挑戰(zhàn)不僅僅是知道可能存在問題--在任何大型軟件部署中都是如此。相反,它涉及的是如何幫助彌合跨功能團(tuán)隊(duì)中存在的跨越開發(fā)、安全和業(yè)務(wù)團(tuán)隊(duì)的差距。使用owasp前10名,開發(fā)人員和安全專業(yè)人員可以協(xié)作繪制出他們?cè)谡麄€(gè)AI應(yīng)用程序中的職責(zé),然后與業(yè)務(wù)團(tuán)隊(duì)一致,說明這些控件的重要性。

從技術(shù)安全角度來看,Cisos也可以更好地了解與AI應(yīng)用程序相關(guān)的潛在業(yè)務(wù)風(fēng)險(xiǎn)以及對(duì)其基礎(chǔ)設(shè)施的攻擊。這些攻擊有的是利用"傳統(tǒng)"軟件缺陷,而這些缺陷必須加以補(bǔ)救,有的則是劫持和濫用LLS服務(wù)帳戶,這可能使組織每天損失數(shù)萬美元。對(duì)于CISO,當(dāng)如此多的眼睛注視著這些潛在的變革項(xiàng)目時(shí),向董事會(huì)和企業(yè)解釋風(fēng)險(xiǎn)是至關(guān)重要的。實(shí)際上,交付的壓力很大,風(fēng)險(xiǎn)越來越大;從一開始就應(yīng)涉及安全問題。

今天面臨風(fēng)險(xiǎn)的10強(qiáng)是什么?

1. 即時(shí)注射: 攻擊者如何操縱LLM來執(zhí)行影響輸出安全性的意外或危險(xiǎn)行為

2. 不安全輸出處理: 類似于更傳統(tǒng)的安全故障,如跨站點(diǎn)腳本(XSS)、跨站點(diǎn)請(qǐng)求偽造(csrf)和代碼執(zhí)行,這些故障發(fā)生在LLS對(duì)后端系統(tǒng)沒有適當(dāng)?shù)陌踩詴r(shí)

3. 培訓(xùn)數(shù)據(jù)中毒: 當(dāng)用于培訓(xùn)LLM的數(shù)據(jù)集包括可利用的漏洞時(shí)

4. 拒絕服務(wù)的模式: 當(dāng)攻擊者采取的行動(dòng)是資源密集型的,導(dǎo)致業(yè)績不佳或?qū)κ芎φ呓M織造成重大損失時(shí)

5. 供應(yīng)鏈脆弱性: 在更傳統(tǒng)的軟件組件或服務(wù)中出現(xiàn)并可在攻擊中加以利用的脆弱性;LLS應(yīng)用程序越復(fù)雜,它越有可能隨著時(shí)間的推移而修復(fù)弱點(diǎn)

6. 敏感信息披露: 法律管理人可能披露不應(yīng)公開的信息的事件;為防止這種情況,確保在使用培訓(xùn)和生產(chǎn)數(shù)據(jù)之前對(duì)其進(jìn)行消毒

7. 不安全插件設(shè)計(jì): 可能的問題是插件不能保護(hù)LLM不受未經(jīng)授權(quán)的訪問或不安全的輸入的影響,這可能導(dǎo)致遠(yuǎn)程代碼執(zhí)行等問題

8. 過多的代理: 當(dāng)LML可以執(zhí)行更多的操作或擁有更多的權(quán)限時(shí),它就會(huì)執(zhí)行不允許執(zhí)行的任務(wù)

9. 過度依賴: 如果使用者依靠法律信息管理,而沒有對(duì)內(nèi)容進(jìn)行適當(dāng)檢查;這可能導(dǎo)致幻覺、潛在的錯(cuò)誤信息,甚至法律問題

10. 模型盜竊: 當(dāng)攻擊者訪問、復(fù)制或竊取專有LOM模型時(shí)

為了執(zhí)行適當(dāng)?shù)陌踩胧?為執(zhí)行熱奈應(yīng)用程序,開發(fā)人員應(yīng)該與安全團(tuán)隊(duì)接觸,并進(jìn)行威脅模型演習(xí),以更好地了解所涉及的潛在風(fēng)險(xiǎn)。

增加AI的安全性

要部署GEAI,開發(fā)人員有兩個(gè)選擇:他們可以采用一個(gè)服務(wù)來填補(bǔ)他們應(yīng)用程序中的空白,或者他們可以選擇特定的組件并構(gòu)建一個(gè)完整的AI管道。對(duì)于那些希望使用自己的數(shù)據(jù)來通知自己的AI應(yīng)用程序的企業(yè)來說,運(yùn)行一堆人工智能組件,使它們能夠更容易地個(gè)性化他們的應(yīng)用程序?qū)⑹且粋€(gè)優(yōu)勢(shì)。這些組件通常是云型的,在集裝箱化體系結(jié)構(gòu)上運(yùn)行,因?yàn)樗鼈兛赡苄枰罅康挠?jì)算實(shí)例和存儲(chǔ)來操作。

通常情況下,AI部署使用像庫伯內(nèi)特斯這樣的協(xié)調(diào)工具來有效地管理工作負(fù)載。庫伯內(nèi)特斯使得部署和擴(kuò)展杰奈變得更容易,但它也帶來了組織必須考慮的更復(fù)雜的安全風(fēng)險(xiǎn)。在云平臺(tái)上運(yùn)行的集裝箱化AI模型與傳統(tǒng)的現(xiàn)場部署甚至其他云化的集裝箱化環(huán)境有著非常不同的安全問題。由于管道中涉及如此多的移動(dòng)部件,而且這些元素中的許多相對(duì)較新且發(fā)展較快,從一開始就有正確的安全洞察力是至關(guān)重要的。

安全團(tuán)隊(duì)的第一步是了解每個(gè)AI應(yīng)用程序中包含哪些組件，同時(shí)覆蓋數(shù)據(jù)、應(yīng)用程序組件和基礎(chǔ)設(shè)施。這應(yīng)該是他們整體IT資產(chǎn)庫存的一部分，這樣他們就可以將任何現(xiàn)有的AI服務(wù)、工具和所有者分類在一個(gè)地方，并保持最新的記錄。這種方法也可以用于為其人工智能系統(tǒng)創(chuàng)建一個(gè)軟件材料清單(SBOM)，其中包括所有相關(guān)的組件。一個(gè)AISbom生成了一個(gè)完整的清單,列出了所有的軟件組件、依賴項(xiàng)和元數(shù)據(jù),這些都與一個(gè)GEAI工作負(fù)載相關(guān),然后他們可以跟蹤這個(gè)列表來跟蹤隨著時(shí)間的推移而需要的任何更改?；谌斯ぶ悄軘?shù)據(jù)源所包含的數(shù)據(jù)的敏感性,他們也可以對(duì)其人工智能數(shù)據(jù)源采用同樣的方法。對(duì)于一般數(shù)據(jù)--比如產(chǎn)品目錄、網(wǎng)站頁面或標(biāo)準(zhǔn)支持材料--信息可以被評(píng)為公共信息,并被任何人使用。對(duì)于包括知識(shí)產(chǎn)權(quán)、個(gè)人可識(shí)別信息(PII)或其他必須保持安全的更敏感數(shù)據(jù),它們可以分配不同級(jí)別的安全訪問。這將有助于團(tuán)隊(duì)根據(jù)其風(fēng)險(xiǎn)嚴(yán)重程度以及這些工作負(fù)載可能使用的數(shù)據(jù),對(duì)其AI工作量的安全性進(jìn)行優(yōu)先排序。

態(tài)勢(shì)管理

雖然實(shí)現(xiàn)人工智能的安全性至關(guān)重要,但為了遵守和報(bào)告,也必須有實(shí)施的證據(jù)。確保系統(tǒng)符合OWASP前10是應(yīng)該定期確認(rèn)的事情,這樣部署就可以在一段時(shí)間內(nèi)保持安全。這包括定期審計(jì)概述的技術(shù)各個(gè)方面,并檢查是否遵循了共同的安全任務(wù),但也涉及業(yè)務(wù)流程和工作流方面。

安全和開發(fā)團(tuán)隊(duì)可以通過將其組織的LLM安全戰(zhàn)略與人工智能系統(tǒng)的對(duì)抗性威脅環(huán)境相結(jié)合來實(shí)現(xiàn)這一點(diǎn)框架。這將有助于團(tuán)隊(duì)從其他應(yīng)用程序和軟件安全需求(如API周圍的需求)以及可能存在的其他安全漏洞的上下文中查看它們的熱奈安全性。雖然LLMS的OWASP前10提供了在哪些地方加強(qiáng)熱奈應(yīng)用程序和LLM系統(tǒng)抵御攻擊的指導(dǎo),但是米特爾阿特拉斯可以用來理解攻擊者在他們的偵察或攻擊過程中可能創(chuàng)建的標(biāo)志。通過尋找威脅行為者的策略、技術(shù)和程序的證據(jù),組織可以更積極主動(dòng)地采取行動(dòng)。

硬化系統(tǒng)涉及提前思考

像熱奈這樣的新系統(tǒng)需要新的安全模型和關(guān)于如何在攻擊者面前保持領(lǐng)先的新思維。然而,在急于實(shí)現(xiàn)這些新應(yīng)用程序所設(shè)定的業(yè)務(wù)目標(biāo)時(shí),很容易忽略安全應(yīng)該發(fā)揮的作用。

像OWASP的LLMS前10這樣的框架幫助每個(gè)人了解存在的潛在風(fēng)險(xiǎn),并將這些準(zhǔn)則應(yīng)用于特定的應(yīng)用。然而,AI的工作負(fù)載并不是單獨(dú)運(yùn)行的--它們可能存在于由Kubernets精心設(shè)計(jì)并在云上運(yùn)行的軟件容器中。庫伯內(nèi)特斯面臨著類似于熱奈的問題,因?yàn)樗匀皇且环N非常新的技術(shù),而且整個(gè)行業(yè)的安全最佳做法還不完善。對(duì)這些平臺(tái)中的每個(gè)平臺(tái)使用OWASP的指導(dǎo)可以更容易地建模潛在的威脅并保護(hù)所涉及的每一層基礎(chǔ)設(shè)施。

清晰和可審計(jì)的安全性流程可以改進(jìn)合規(guī)性報(bào)告、減少威脅和圍繞應(yīng)用程序更新的工作流程。它們還改進(jìn)了部署應(yīng)用程序的更廣泛方法,確保云安全控制、流程和程序減少了對(duì)不斷變化的威脅的潛在暴露。