[導(dǎo)讀]↓推薦關(guān)注↓今天分享一篇內(nèi)存性能優(yōu)化的文章，文章用了大量精美的圖深入淺出地分析了Linux內(nèi)核slab性能優(yōu)化的核心思想，slab是Linux內(nèi)核小對象內(nèi)存分配最重要的算法，文章分析了內(nèi)存分配的各種性能問題（在不同的場景下面），并給出了這些問題的優(yōu)化方案，這個對我們實現(xiàn)高性能內(nèi)存...
今天分享一篇內(nèi)存性能優(yōu)化的文章，文章用了大量精美的圖深入淺出地分析了Linux內(nèi)核slab性能優(yōu)化的核心思想
，slab
是Linux內(nèi)核小對象內(nèi)存分配最重要的算法，文章分析了內(nèi)存分配的各種性能問題（在不同的場景下面），并給出了這些問題的優(yōu)化方案，這個對我們實現(xiàn)高性能內(nèi)存池算法
，或以后遇到內(nèi)存性能問題的時候，有一定的啟發(fā)，值得我們學(xué)習(xí)。
Linux內(nèi)核的slab來自一種很簡單的思想，即事先準(zhǔn)備好一些會頻繁分配，釋放的數(shù)據(jù)結(jié)構(gòu)。然而標(biāo)準(zhǔn)的slab實現(xiàn)太復(fù)雜且維護(hù)開銷巨大，因此便分化出了更加小巧的slub，因此本文討論的就是slub，后面所有提到slab的地方，指的都是slub。另外又由于本文主要描述內(nèi)核優(yōu)化方面的內(nèi)容，因此想了解slab細(xì)節(jié)以及代碼實現(xiàn)的請查看源碼。
單CPU上單純的slab
下圖給出了單CPU上slab在分配和釋放對象時的情景序列：
可以看出，非常之簡單，而且完全達(dá)到了slab設(shè)計之初的目標(biāo)。
擴展到多核心CPU?????????????????????????
現(xiàn)在我們簡單的將上面的模型擴展到多核心CPU，同樣差不多的分配序列如下圖所示：
我們看到，在只有單一slab的時候，如果多個CPU同時分配對象，沖突是不可避免的，解決沖突的幾乎是唯一的辦法就是加鎖排隊，然而這將大大增加延遲，我們看到，申請單一對象的整個時延從T0開始，到T4結(jié)束，這太久了。
多CPU無鎖化并行化操作的直接思路-復(fù)制給每個CPU一套相同的數(shù)據(jù)結(jié)構(gòu)。不二法門就是增加“每CPU變量”。對于slab而言，可以擴展成下面的樣子：
如果以為這么簡單就結(jié)束了，那這就太沒有意義了。
問題
首先，我們來看一個簡單的問題，如果單獨的某個CPU的slab緩存沒有對象可分配了，但是其它CPU的slab緩存仍有大量空閑對象的情況，如下圖所示：
這是可能的，因為對單獨一種slab的需求是和該CPU上執(zhí)行的進(jìn)程/線程緊密相關(guān)的，比如如果CPU0只處理網(wǎng)絡(luò)，那么它就會對skb等數(shù)據(jù)結(jié)構(gòu)有大量的需求，對于上圖最后引出的問題，如果我們選擇從伙伴系統(tǒng)中分配一個新的page(或者pages，取決于對象大小以及slab cache的order)，那么久而久之就會造成slab在CPU間分布的不均衡，更可能會因此吃掉大量的物理內(nèi)存，這都是不希望看到的。
在繼續(xù)之前，首先要明確的是，我們需要在CPU間均衡slab，并且這些必須靠slab內(nèi)部的機制自行完成，這個和進(jìn)程在CPU間負(fù)載均衡是完全不同的，對進(jìn)程而言，擁有一個核心調(diào)度機制，比如基于時間片，或者虛擬時鐘的步進(jìn)速率等，但是對于slab，完全取決于使用者自身，只要對象仍然在使用，就不能剝奪使用者繼續(xù)使用的權(quán)利，除非使用者自己釋放。因此slab的負(fù)載均衡必須設(shè)計成合作型的，而不是搶占式的。
好了?，F(xiàn)在我們知道，從伙伴系統(tǒng)重新分配一個page(s)并不是一個好主意，它應(yīng)該是最終的決定，在執(zhí)行它之前，首先要試一下別的路線。
現(xiàn)在，我們引出第二個問題，如下圖所示：
誰也不能保證分配slab對象的CPU和釋放slab對象的CPU是同一個CPU，誰也不能保證一個CPU在一個slab對象的生命周期內(nèi)沒有分配新的page(s)，這期間的復(fù)雜操作誰也沒有規(guī)定。這些問題該怎么解決呢？事實上，理解了這些問題是怎么解決的，一個slab框架就徹底理解了。
問題的解決-分層slab cache
無級變速總是讓人向往。如果一個CPU的slab緩存滿了，直接去搶同級別的別的CPU的slab緩存被認(rèn)為是一種魯莽且不道義的做法。那么為何不設(shè)置另外一個slab緩存，獲取它里面的對象不像直接獲取CPU的slab緩存那么簡單且直接，但是難度卻又不大，只是稍微增加一點消耗，這不是很好嗎？
事實上，CPU的L1，L2，L3 cache不就是這個方案設(shè)計的嗎？這事實上已經(jīng)成為cache設(shè)計的不二法門。這個設(shè)計思想同樣作用于slab，就是Linux內(nèi)核的slub實現(xiàn)，現(xiàn)在可以給出概念和解釋了。
-
Linux kernel slab cache：一個分為3層的對象cache模型。
-
Level 1 slab cache：一個空閑對象鏈表，每個CPU一個的獨享cache，分配釋放對象無需加鎖。
-
Level 2 slab cache：一個空閑對象鏈表，每個CPU一個的共享page(s) cache，分配釋放對象時僅需要鎖住該page(s)，與Level 1 slab cache互斥，不互相包容。
-
Level 3 slab cache：一個page(s)鏈表，每個NUMA NODE的所有CPU共享的cache，單位為page(s)，獲取后被提升到對應(yīng)CPU的Level 1 slab cache，同時該page(s)作為Level 2的共享page(s)存在。
-
共享page(s)：該page(s)被一個或者多個CPU占有，每一個CPU在該page(s)上都可以擁有互相不充圖的空閑對象鏈表，該page(s)擁有一個唯一的Level 2 slab cache空閑鏈表，該鏈表與上述一個或多個Level 1 slab cache空閑鏈表亦不沖突，多個CPU獲取該Level 2 slab cache時必須爭搶，獲取后可以將該鏈表提升成自己的Level 1 slab cache。
該slab cache的圖示如下：
其行為如下圖所示：
2個場景?????????????????????????
對于常規(guī)的對象分配過程，下圖展示了其細(xì)節(jié)：事實上，對于多個CPU共享一個page(s)的情況，還可以有另一種玩法，如下圖所示：
伙伴系統(tǒng)
前面我們簡短的體會了Linux內(nèi)核的slab設(shè)計,不宜過長,太長了不易理解.但是最后,如果Level 3也沒有獲取page(s)，那么最終會落到終極的伙伴系統(tǒng)，伙伴系統(tǒng)是為了防內(nèi)存分配碎片化的，所以它盡可能地做兩件事：
-
盡量分配盡可能大的內(nèi)存
-
盡量合并連續(xù)的小塊內(nèi)存成一塊大內(nèi)存
我們可以通過下面的圖解來理解上面的原則：
注意，本文是關(guān)于優(yōu)化的，不是伙伴系統(tǒng)的科普，所以我假設(shè)大家已經(jīng)理解了伙伴系統(tǒng)。
鑒于slab緩存對象大多數(shù)都是不超過1個頁面的小結(jié)構(gòu)(不僅僅slab系統(tǒng)，超過1個頁面的內(nèi)存需求相比1個頁面的內(nèi)存需求，很少)，因此會有大量的針對1個頁面的內(nèi)存分配需求。
從伙伴系統(tǒng)的分配原理可知，如果持續(xù)大量分配單一頁面，會有大量的order大于0的頁面分裂成單一頁面，在單核心CPU上，這不是問題，但是在多核心CPU上，由于每一個CPU都會進(jìn)行此類分配，而伙伴系統(tǒng)的分裂，合并操作會涉及大量的鏈表操作，這個鎖開銷是巨大的，因此需要優(yōu)化！
Linux內(nèi)核對伙伴系統(tǒng)針對單一頁面的分配需求采取的批量分配“每CPU單一頁面緩存”的方式！每一個CPU擁有一個單一頁面緩存池，需要單一頁面的時候，可以無需加鎖從當(dāng)前CPU對應(yīng)的頁面池中獲取頁面。而當(dāng)池中頁面不足時，系統(tǒng)會批量從伙伴系統(tǒng)中拉取一堆頁面到池中，反過來，在單一頁面釋放的時候，會擇優(yōu)將其釋放到每CPU的單一頁面緩存中。
為了維持“每CPU單一頁面緩存”中頁面的數(shù)量不會太多或太少(太多會影響伙伴系統(tǒng)，太少會影響CPU的需求)，系統(tǒng)保持了兩個值，當(dāng)緩存頁面數(shù)量低于low值的時候，便從伙伴系統(tǒng)中批量獲取頁面到池中，而當(dāng)緩存頁面數(shù)量大于high的時候，便會釋放一些頁面到伙伴系統(tǒng)中。
小結(jié)?????????????????????????????????????????????????
多CPU操作系統(tǒng)內(nèi)核中，關(guān)鍵的開銷就是鎖的開銷。我認(rèn)為這是一開始的設(shè)計導(dǎo)致的，因為一開始，多核CPU并沒有出現(xiàn)，單核CPU上的共享保護(hù)幾乎都是可以用“禁中斷”，“禁搶占”來簡單實現(xiàn)的，到了多核時代，操作系統(tǒng)同樣簡單平移到了新的平臺，因此同步操作是在單核的基礎(chǔ)上后來添加的。
簡單來講，目前的主流操作系統(tǒng)都是在單核年代創(chuàng)造出來的，因此它們都是順應(yīng)單核環(huán)境的，對于多核環(huán)境，可能它們一開始的設(shè)計就有問題。
不管怎么說，優(yōu)化操作的不二法門就是禁止或者盡量減少鎖的操作。隨之而來的思路就是為共享的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)創(chuàng)建"每CPU的緩存“，而這類緩存分為兩種類型：1. 數(shù)據(jù)通路緩存
比如路由表之類的數(shù)據(jù)結(jié)構(gòu)，你可以用RCU鎖來保護(hù)，當(dāng)然如果為每一個CPU都創(chuàng)建一個本地路由表緩存，也是不錯的，現(xiàn)在的問題是何時更新它們，因為所有的緩存都是平級的，因此一種批量同步的機制是必須的。2. 管理機制緩存
比如slab對象緩存這類，其生命周期完全取決于使用者，因此不存在同步問題，然而卻存在管理問題。采用分級cache的思想是好的，這個非常類似于CPU的L1/L2/L3緩存，采用這種平滑的開銷逐漸增大，容量逐漸增大的機制，并配合以設(shè)計良好的換入/換出等算法，效果是非常明顯的。
轉(zhuǎn)自：極客重生
- EOF -
本站聲明： 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布，目的在于傳遞更多信息，并不代表本站贊同其觀點，本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者，如若文章內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系本站刪除。
8月17日消息，近日，超頻愛好者“saltycroissant”成功將海盜船(CORSAIR)DDR5內(nèi)存超頻至12886MT/s，創(chuàng)造了新的世界紀(jì)錄。
關(guān)鍵字：
內(nèi)存
DDR5
在高性能服務(wù)架構(gòu)設(shè)計中，緩存是不可或缺的環(huán)節(jié)。在實際項目中，我們通常會將一些熱點數(shù)據(jù)存儲在Redis或Memcached等緩存中間件中，只有在緩存訪問未命中時才查詢數(shù)據(jù)庫。
關(guān)鍵字：
緩存
內(nèi)存
7月25日消息，由于供應(yīng)短缺，最近一段時間DDR4內(nèi)存頻繁出現(xiàn)漲價、缺貨等現(xiàn)象。
關(guān)鍵字：
DDR4
內(nèi)存
7月10日消息，JEDEC今天正式發(fā)布了LPDDR6內(nèi)存標(biāo)準(zhǔn)，規(guī)范編號JESD209-6，可顯著提升移動設(shè)備、AI應(yīng)用的性能、能效、安全。
關(guān)鍵字：
LPDDR6
內(nèi)存
北京 2025年7月3日 /美通社/ -- 近日，北京積算科技有限公司（以下簡稱"積算科技"）正式推出GPU裸金屬算力服務(wù)套件，幫助客戶實現(xiàn)并行環(huán)境的分鐘級部署與出廠級性能校準(zhǔn)，在GPU裸金屬算力上...
關(guān)鍵字：
金屬
GPU
性能優(yōu)化
操作系統(tǒng)
7月6日消息，由于供應(yīng)短缺，DDR4內(nèi)存價格在過去幾個月內(nèi)大幅上漲，甚至超過了DDR5內(nèi)存，這一現(xiàn)象促使一些廠商重新考慮延長DDR4內(nèi)存的生產(chǎn)。
關(guān)鍵字：
DDR4
內(nèi)存
上海 2025年6月23日 /美通社/ -- 近期，黑芝麻智能分享了其如何通過零拷貝共享內(nèi)存技術(shù)，解決車載多域間大數(shù)據(jù)傳輸?shù)难舆t與資源消耗問題。核心技術(shù)包括全局內(nèi)存管理單元和dmabuf機制優(yōu)化，顯著降低CPU負(fù)載與D...
關(guān)鍵字：
內(nèi)存
數(shù)據(jù)傳輸
大數(shù)據(jù)
BUF
6月16日消息，“至少十年沒看過現(xiàn)貨價單日漲幅這么大”，一位從業(yè)者表示。
關(guān)鍵字：
DDR4
內(nèi)存
基于美光 LPDDR5X 內(nèi)存和 UFS 4.0 存儲解決方案，合力打造 Motorola 功能強大的翻蓋手機
關(guān)鍵字：
LPDDR5X
內(nèi)存
AI
AIPC作為新興且高速增長的應(yīng)用領(lǐng)域，對內(nèi)存性能的推動作用十分顯著。一方面，它直接驅(qū)動了內(nèi)存技術(shù)規(guī)格的更新?lián)Q代和高帶寬、低延遲的內(nèi)存架構(gòu)的發(fā)展；另一方面，也間接推動了內(nèi)存模塊的電源管理技術(shù)、信號完整性控制和可靠性設(shè)計的全...
關(guān)鍵字：
AIPC
內(nèi)存
LPCAMM
Rambus
PMIC
PMIC5200
PMIC5120
5月8日消息，NEO Semiconductor近日宣布推出兩項新的3D X-DRAM單元設(shè)計——1T1C和3T0C，有望徹底改變DRAM內(nèi)存的現(xiàn)狀。
關(guān)鍵字：
X-DRAM
內(nèi)存
存儲
經(jīng)優(yōu)化，Agilex?? 7 M系列 FPGA專為 AI與數(shù)據(jù)密集型應(yīng)用設(shè)計，有效緩解內(nèi)存瓶頸
關(guān)鍵字：
內(nèi)存
帶寬
FPGA
為增進(jìn)大家對CXL技術(shù)的認(rèn)識，本文將對CXL技術(shù)的優(yōu)勢以及CXL技術(shù)面臨的挑戰(zhàn)予以介紹。
關(guān)鍵字：
CXL
指數(shù)
內(nèi)存
內(nèi)存是計算機系統(tǒng)中除了處理器以外最重要的資源，用于存儲當(dāng)前正在執(zhí)行的程序和數(shù)據(jù)。內(nèi)存是相對于CPU來說的，CPU可以直接尋址的存儲空間叫做內(nèi)存，CPU需要通過驅(qū)動才能訪問的叫做外存。
關(guān)鍵字：
內(nèi)存
CPU
在信息技術(shù)飛速發(fā)展的今天，數(shù)據(jù)存儲技術(shù)經(jīng)歷了從機械硬盤(HDD)到固態(tài)硬盤(SSD)的重大轉(zhuǎn)變。固態(tài)硬盤以其卓越的性能、低延遲和高可靠性，迅速成為數(shù)據(jù)中心、高性能計算和個人計算機中的首選存儲介質(zhì)。本文將深入探討固態(tài)硬盤的...
關(guān)鍵字：
固態(tài)硬盤
性能優(yōu)化
北京2025年2月28日 /美通社/ -- 日前，《服務(wù)器操作系統(tǒng)遷移指南》（以下簡稱《指南》）經(jīng)中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會批準(zhǔn)后正式發(fā)布，將于3月正式實施。《指南》由浪潮信息牽頭，中國電子技術(shù)標(biāo)準(zhǔn)化研究院、阿里云、統(tǒng)信...
關(guān)鍵字：
操作系統(tǒng)
編寫
CPU
內(nèi)存
三星旗艦手機 Galaxy S25 Ultra、S25+ 和 S25 采用美光內(nèi)存和存儲解決方案，開創(chuàng)多模態(tài) AI 體驗
關(guān)鍵字：
AI
內(nèi)存
智能手機
下載文檔
