美國(guó)軍方禁止在嵌入式C程序使用malloc(),99%的人都不知道的原因
想在C語(yǔ)言程序員之間開(kāi)始一個(gè)激烈的,或者說(shuō)有爭(zhēng)議的討論很簡(jiǎn)單,只需要問(wèn):“使用動(dòng)態(tài)內(nèi)存分配安全嗎?”
為了更加安全穩(wěn)定,美國(guó)軍方禁止在C語(yǔ)言程序中使用malloc()
使用動(dòng)態(tài)內(nèi)存分配安全嗎?
在C語(yǔ)言程序開(kāi)發(fā)中,動(dòng)態(tài)內(nèi)存分配允許程序在運(yùn)行時(shí)向系統(tǒng)申請(qǐng)內(nèi)存使用,只不過(guò)在使用完畢后,需要顯式的釋放之,這就要求程序員對(duì)動(dòng)態(tài)分配的內(nèi)存了然于胸。
在非常重視安全(safety-critical)的嵌入式C語(yǔ)言程序開(kāi)發(fā)中,動(dòng)態(tài)內(nèi)存分配廣泛被認(rèn)為是禁忌。使用C語(yǔ)言的malloc()和free()庫(kù)函數(shù)可能會(huì)帶來(lái)災(zāi)難性的副作用,例如內(nèi)存泄漏或者碎片。此外,malloc()常常會(huì)表現(xiàn)出極其不可預(yù)測(cè)的特性,這使其成為在多核系統(tǒng)上進(jìn)行多線程C語(yǔ)言程序開(kāi)發(fā)的瓶頸。
事實(shí)上,由于malloc()存在安全風(fēng)險(xiǎn),美國(guó)軍方按照DO-178B標(biāo)準(zhǔn),在safety-critical的嵌入式航空電子設(shè)備代碼中禁止動(dòng)態(tài)內(nèi)存分配。
為了更加安全穩(wěn)定,美國(guó)軍方禁止在C語(yǔ)言程序中使用malloc()
禁止動(dòng)態(tài)內(nèi)存分配
嵌入式行業(yè)的C語(yǔ)言程序員似乎對(duì)這個(gè)話題有著發(fā)自內(nèi)心的反應(yīng)。在最近的一次互聯(lián)網(wǎng)技術(shù)小組討論中,當(dāng)提到問(wèn)題:“在嵌入式C語(yǔ)言程序設(shè)計(jì)種是否使用動(dòng)態(tài)內(nèi)存分配?”時(shí),77條回復(fù)稱“使用動(dòng)態(tài)內(nèi)存分配是對(duì)系統(tǒng)容錯(cuò)性的最大危害之一”,還有5條回復(fù)稱“如果希望系統(tǒng)正常運(yùn)行時(shí)間能夠達(dá)到‘5個(gè)9’(即99.999%),答案就是‘永遠(yuǎn)不會(huì)’使用動(dòng)態(tài)內(nèi)存分配”。
甚至有相關(guān)部門在招聘嵌入式C語(yǔ)言程序員時(shí),會(huì)問(wèn)求職者是否會(huì)使用動(dòng)態(tài)內(nèi)存分配,如果他們使用,就不會(huì)被雇用了。
為了通過(guò)相關(guān)的工作面試,也為了提升C語(yǔ)言代碼安全,更好的辦法是自定義一套內(nèi)存分配器,一般分為兩種:基于棧的分配器,以及基于本地線程的分配器。寫出更安全穩(wěn)定的C語(yǔ)言代碼,就不該再使用標(biāo)準(zhǔn)庫(kù)提供的malloc()和free()函數(shù)了。
為什么美國(guó)軍方認(rèn)為C語(yǔ)言標(biāo)準(zhǔn)庫(kù)函數(shù)提供的動(dòng)態(tài)內(nèi)存分配管理函數(shù)malloc()和free()是個(gè)糟糕的選擇呢?這其實(shí)要從malloc()和free()的設(shè)計(jì)上考慮,通常,它們是基于列表分配器算法的,該算法將內(nèi)存池組織到單個(gè)鏈表中的連續(xù)位置,分配器管理該鏈表,每次分配實(shí)際上就是尋找空閑位置。這種分配器在各種情況下都能相當(dāng)好的分配和釋放內(nèi)存,但是在極端的safety-critical系統(tǒng)中。
為了更加安全穩(wěn)定,美國(guó)軍方禁止在C語(yǔ)言程序中使用malloc()
基于棧的內(nèi)存管理器
在C語(yǔ)言程序開(kāi)發(fā)中,某些應(yīng)用程序可能只需要申請(qǐng)一些短期對(duì)象,很快就會(huì)使用完并釋放。基于棧(此“?!辈煌诤瘮?shù)的調(diào)用棧)的內(nèi)存分配器此時(shí)就能大派用場(chǎng)了,該分配器每次分配都返回棧指針當(dāng)前位置的地址,并按照需求推進(jìn)指針,如下圖:
為了更加安全穩(wěn)定,美國(guó)軍方禁止在C語(yǔ)言程序中使用malloc()
當(dāng)該內(nèi)存被使用完畢,需要被釋放時(shí),只需要將棧指針往后返回即可。這樣一來(lái),處理內(nèi)存分配的開(kāi)銷就減少了,因?yàn)闆](méi)有需要管理的指針鏈表了,也沒(méi)有需要跟蹤的分配內(nèi)存大小,以及空閑內(nèi)存位置。另外,由于C語(yǔ)言程序不再跟蹤特定的分配內(nèi)存,所以這種內(nèi)存分配器也更加安全:不匹配的內(nèi)存釋放不會(huì)導(dǎo)致內(nèi)存泄漏。
對(duì)于C語(yǔ)言標(biāo)準(zhǔn)庫(kù)提供的內(nèi)存分配器來(lái)說(shuō),當(dāng)內(nèi)存以隨機(jī)順序釋放時(shí),列表分配器通常需要向它的鏈中添加指針和內(nèi)存長(zhǎng)度(這稱為碎片)。當(dāng)程序繼續(xù)運(yùn)行時(shí),列表分配器的開(kāi)銷會(huì)增加,因?yàn)樾枰芾淼脑獢?shù)據(jù)數(shù)量增加了,尋找合適的空閑內(nèi)存位置也會(huì)更加耗時(shí)。而基于堆棧的內(nèi)存分配器分配的所有內(nèi)存塊都將返回到堆中,碎片化就被避免了。
當(dāng)在多核處理器平臺(tái)進(jìn)行多線程編程時(shí),默認(rèn)由互斥體做同步控制的malloc()和free()函數(shù)就比較難用了。因?yàn)樗麄兛赡軙?huì)導(dǎo)致鎖沖突,操作系統(tǒng)要解決這些沖突,只能通過(guò)損耗性能的上下文切換。
為了更加安全穩(wěn)定,美國(guó)軍方禁止在C語(yǔ)言程序中使用malloc()
多核處理器多線程編程的挑戰(zhàn)
針對(duì)此情況,C語(yǔ)言程序員可以自定義本地線程內(nèi)存分配器,通過(guò)為每個(gè)線程分配特定的內(nèi)存池來(lái)避免沖突。每個(gè)線程的內(nèi)存分配是在不干擾其他線程的情況下進(jìn)行的,從而提高了系統(tǒng)性能和程序的可預(yù)測(cè)性。
當(dāng)本地線程分配器耗盡內(nèi)存時(shí),如果系統(tǒng)安全和允許,其他分配器可以再為它分配一個(gè)新的內(nèi)存塊。本地線程內(nèi)存分配器可使用一個(gè)列表管理屬于自己線程的內(nèi)存,因此由同一個(gè)線程分配和釋放的內(nèi)存不需要協(xié)調(diào),不會(huì)發(fā)生鎖沖突導(dǎo)致的性能損耗。
簡(jiǎn)而言之,不使用malloc()和free()管理內(nèi)存,使用更具預(yù)測(cè)性,更安全的自定義內(nèi)存分配器,可以避免safety-critical代碼出現(xiàn)內(nèi)存安全問(wèn)題。
通過(guò)第三方應(yīng)用程序分配內(nèi)存
使用自定義內(nèi)存分配器還有一個(gè)好處,就是可以通過(guò)集成它們的第三方應(yīng)用程序使用。IMDS(In-Memory Database System,內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng))就是一個(gè)例子,它們是專門設(shè)計(jì)用來(lái)管理RAM中應(yīng)用程序?qū)ο蟮?。下圖是使用malloc()和free()的一個(gè)例子:
為了更加安全穩(wěn)定,美國(guó)軍方禁止在C語(yǔ)言程序中使用malloc()
下圖則是使用mcobject的extremedb的相同過(guò)程,這是一個(gè)整合了自定義分配器的IMD,包括基于堆棧和本地線程的內(nèi)存分配器。在上圖的開(kāi)頭,C語(yǔ)言程序定義一個(gè)結(jié)構(gòu),聲明一個(gè)指向該結(jié)構(gòu)實(shí)例的指針,并通過(guò)malloc()為其分配內(nèi)存。
使用mcobject的extremedb
如果使用malloc()/free()的C語(yǔ)言程序是多線程的,并且線程將共享傳感器對(duì)象,那么程序員必須實(shí)現(xiàn)并發(fā)控制。再來(lái)看看IMD,程序開(kāi)始獲取了句柄,調(diào)用sensor_new()將聲明一些專用于IMD的內(nèi)存池,用于新的sensor對(duì)象。
在軍事/航空航天應(yīng)用中,傳感器對(duì)象可以表示任何東西,可以是跟蹤導(dǎo)彈目標(biāo)的光學(xué)傳感器,也可以是用于化學(xué)戰(zhàn)防御的生物傳感器,還可以是用于幫助飛機(jī)導(dǎo)航的運(yùn)動(dòng)傳感器等。
sensor_new()返回?cái)?shù)據(jù)庫(kù)對(duì)象的句柄,通過(guò)該句柄可以寫入和/或讀取對(duì)象的值。相反,C語(yǔ)言程序直接處理結(jié)構(gòu)的字段,從而在多線程應(yīng)用程序中創(chuàng)建并發(fā)訪問(wèn)控制的需求。
當(dāng)C語(yǔ)言程序使用完sensor結(jié)構(gòu)后,free()將內(nèi)存返回到堆。當(dāng)帶有IMDS的代碼完成時(shí),數(shù)據(jù)庫(kù)中的空間被放棄,事務(wù)結(jié)束,用于傳感器對(duì)象的內(nèi)存返回到專用內(nèi)存池。
為了更加安全穩(wěn)定,美國(guó)軍方禁止在C語(yǔ)言程序中使用malloc()
應(yīng)用程序可以處理IMD內(nèi)存不足的錯(cuò)誤
IMD的內(nèi)存可能不足,但這將生成一條“數(shù)據(jù)庫(kù)已滿”的錯(cuò)誤消息,應(yīng)用程序可以處理該錯(cuò)誤消息。相反,由malloc()和free()引起的內(nèi)存碎片和泄漏會(huì)破壞整個(gè)系統(tǒng)的穩(wěn)定性,程序無(wú)法處理這種錯(cuò)誤,操作系統(tǒng)只能對(duì)其做崩潰處理。
另外,IMDS還提供了一種“幕后”工作機(jī)制,以更高的效率和靈活性來(lái)分配和釋放內(nèi)存,避免使用多個(gè)底層分配器類型,從而避免了malloc()/free()固有的風(fēng)險(xiǎn)。
事實(shí)上,進(jìn)入安全關(guān)鍵領(lǐng)域的C語(yǔ)言軟件工程師需要知道,需求和風(fēng)險(xiǎn)高于消費(fèi)者或業(yè)務(wù)應(yīng)用程序開(kāi)發(fā)。編寫避免動(dòng)態(tài)內(nèi)存分配的代碼,而使用一個(gè)或多個(gè)自定義內(nèi)存管理器雖然不太方便,但它增加了C語(yǔ)言程序的安全性和穩(wěn)定性,這是安全關(guān)鍵系統(tǒng)工程師應(yīng)該接受的一個(gè)折衷方案。
文章作者:嵌入式時(shí)代