最近我們組自己開發(fā)了一個(gè)過載保護(hù)服務(wù)，用來解決服務(wù)或者站點(diǎn)過載導(dǎo)致系統(tǒng)雪崩的問題，最近看了下底層實(shí)現(xiàn)，還是很有參考意義的，接下來介紹下過載保護(hù)的功能和原理。

一.過載保護(hù)的作用

我們這里開發(fā)的過載保護(hù)的主要目的是：避免服務(wù)中的某個(gè)接口調(diào)用堆積導(dǎo)致的整個(gè)服務(wù)不可用，這里調(diào)用堆積的原因可能有兩個(gè)

1.某個(gè)接口的訪問量突然增大，達(dá)到了平時(shí)高峰調(diào)用量的幾倍乃至幾十倍。產(chǎn)生的原因可能為產(chǎn)品加了個(gè)類似于秒殺活動的需求，在秒殺的一瞬間接口調(diào)用量激增。

2.由于某次上線對接口進(jìn)行了改動，導(dǎo)致接口的執(zhí)行時(shí)間從之前的10ms變成了50ms,雖然50ms的執(zhí)行時(shí)間也算正常，但是如果某個(gè)調(diào)用方訪問當(dāng)前接口的量達(dá)到50次/秒，就會導(dǎo)致請求的堆積，因?yàn)楫?dāng)前服務(wù)接口只能支持20次/秒的調(diào)用。

我們知道，接口的每次調(diào)用一般都會是一個(gè)線程來處理，如果某個(gè)接口的調(diào)用激增或者因耗時(shí)較長導(dǎo)致阻塞，就會產(chǎn)生堆積，導(dǎo)致其他接口的請求也會隨著堆積，影響了其他接口的正常調(diào)用，最后導(dǎo)致整個(gè)服務(wù)掛掉，這種情況是不可接受的。

舉個(gè)例子，現(xiàn)在有一個(gè)接口A在調(diào)用別人的服務(wù)A，這個(gè)服務(wù)A由于自身原因訪問全部超時(shí)了，那么這個(gè)接口A就會響應(yīng)超時(shí)，如果調(diào)用方大量調(diào)用這個(gè)接口A，就會產(chǎn)生請求堆積，這時(shí)即使我們接口B(調(diào)用了服務(wù)B)的狀態(tài)是正常的，也會受接口A超時(shí)的影響，最后導(dǎo)致整個(gè)服務(wù)不可用。

綜上，我們的過載保護(hù)系統(tǒng)就是為了防止某個(gè)服務(wù)掛掉或者大量超時(shí)產(chǎn)生請求堆積，影響整個(gè)系統(tǒng)的產(chǎn)物。這在我們的代理服務(wù)(封裝了大量別人的服務(wù))里顯得格外重要，因?yàn)榇矸?wù)里封裝了大量別人的服務(wù)，不能因?yàn)槟骋粋€(gè)服務(wù)異常導(dǎo)致整個(gè)代理服務(wù)掛掉，影響了我們整個(gè)系統(tǒng)。

二.過載保護(hù)的實(shí)現(xiàn)原理

實(shí)現(xiàn)一個(gè)過載保護(hù)，主要是限制下當(dāng)前接口的調(diào)用次數(shù)，即同一時(shí)刻，當(dāng)前接口最大調(diào)用次數(shù)為N(N為我們自己設(shè)置的值)，保證接口在同一時(shí)刻最大調(diào)用次數(shù)不超過N來實(shí)現(xiàn)過載保護(hù)。比如接口A大量超時(shí)導(dǎo)致請求堆積，但是由于我們加了過載保護(hù)，那么同一時(shí)刻最多只會有N個(gè)請求調(diào)用接口A，其他的請求我們將它拋棄掉，從而達(dá)到保護(hù)整個(gè)系統(tǒng)的作用。下面簡單介紹下過載保護(hù)的實(shí)現(xiàn)原理

我們對加上了過載保護(hù)的接口都使用一個(gè)唯一標(biāo)識作為key，可以簡單理解為類名+方法名作為key(重載的先不考慮)，這樣每個(gè)接口都有一個(gè)唯一的標(biāo)識，我們使用一個(gè)變量count記錄每個(gè)接口當(dāng)前調(diào)用次數(shù)，和方法的唯一標(biāo)識存到Map中。每次調(diào)用這個(gè)接口的時(shí)候，我們執(zhí)行count+1,接口執(zhí)行完之后執(zhí)行count-1操作，以此來限制同一時(shí)刻當(dāng)前接口的最大調(diào)用次數(shù)。這里我們可以使用一個(gè)代理或者攔截器來實(shí)現(xiàn)過載保護(hù)的功能，我們組開發(fā)的過載保護(hù)使用的是攔截器方式(并不一定是最好的)，在每個(gè)需要過載保護(hù)的接口調(diào)用前后加上一個(gè)攔截器，前置攔截器負(fù)責(zé)對當(dāng)前接口key的count+1,后置攔截器對count-1,實(shí)現(xiàn)原理其實(shí)就這么簡單。

如果當(dāng)前接口的調(diào)用次數(shù)超過最大調(diào)用次數(shù)(擴(kuò)容之后的)，那么在前置攔截器里直接拋出異常，超過過載保護(hù)限制，請求被拒絕。

具體實(shí)現(xiàn)上，我們使用了一個(gè)隊(duì)列來實(shí)現(xiàn)過載保護(hù)，每次前置攔截的時(shí)候，我們?nèi)腙?duì)一個(gè)對象，對象包括當(dāng)前時(shí)間(用來做一些超時(shí)判斷)，線程id等數(shù)據(jù)，后置攔截的時(shí)候執(zhí)行出隊(duì)操作，以此來實(shí)現(xiàn)count+1,-1的功能。

三.需要關(guān)注的問題

1.需要支持自動擴(kuò)容，加入當(dāng)前系統(tǒng)負(fù)載正常，各方面指標(biāo)也正常，由于重啟服務(wù)導(dǎo)致小量接口請求的堆積，而不是大量出現(xiàn)超時(shí)堆積的時(shí)候，我們應(yīng)該支持這部分小量堆積的調(diào)用，而不是超過一點(diǎn)就拋棄，這里可以使用自動擴(kuò)容機(jī)制，當(dāng)發(fā)現(xiàn)請求數(shù)量達(dá)到最大限制N時(shí)，我們對N進(jìn)行擴(kuò)容，例如N*2，就可以處理那小部分對接的請求了，但是擴(kuò)容需要有個(gè)上線，我們開發(fā)的是不能超過初始設(shè)置N的4倍，目前來看沒有攔截掉正常堆積的請求，當(dāng)出現(xiàn)大量超時(shí)時(shí)仍能起到過載保護(hù)的限制作用。

2.需要保證每個(gè)接口調(diào)用前"接口調(diào)用次數(shù)"+1，接口調(diào)用后"接口調(diào)用次數(shù)"-1的操作正確執(zhí)行，否則會導(dǎo)致資源被浪費(fèi)，即當(dāng)前系統(tǒng)狀態(tài)應(yīng)該允許接口被執(zhí)行卻誤觸了過載保護(hù)機(jī)制，同時(shí)還要在丟棄前對count進(jìn)行校驗(yàn)，比如當(dāng)前count是否準(zhǔn)確，是否存在接口已經(jīng)執(zhí)行結(jié)束，但是count沒有-1的情況。

這就是我們?yōu)槭裁词褂藐?duì)列的一個(gè)原因之一，我們在每次丟棄請求之前，會校驗(yàn)下隊(duì)列的頭節(jié)點(diǎn)是否有效，是否超時(shí)等操作，如果頭結(jié)點(diǎn)有異常，我們會丟棄頭結(jié)點(diǎn)，請求繼續(xù)入隊(duì)，這樣解決了如果有接口執(zhí)行完，卻沒有執(zhí)行出隊(duì)時(shí)候的問題。

3.此外，我們還做了一些系統(tǒng)監(jiān)控方面的工作，如果某個(gè)接口請求時(shí)間過長，我們會從隊(duì)里獲取線程id，打印出線程的信息到日志中。同時(shí)我們還監(jiān)控了CPU,內(nèi)存等核心數(shù)據(jù)，當(dāng)發(fā)現(xiàn)CPU，內(nèi)存等資源緊張的時(shí)候，我們不允許自動擴(kuò)容，從而保護(hù)我們的系統(tǒng)。

四.過載保護(hù)可能帶來的問題

性能消耗，前置后置攔截器，計(jì)數(shù)，擴(kuò)容等等系列操作，都會對系統(tǒng)性能有一定影響，目前我們壓測系統(tǒng)性能的時(shí)候發(fā)現(xiàn)過載保護(hù)會降低我們系統(tǒng)的性能瓶頸，去掉過載保護(hù)，qps還能增高不少。

總結(jié)：過載保護(hù)在系統(tǒng)中扮演著重要的角色，過載保護(hù)并不能提升我們的系統(tǒng)性能，只是為我們系統(tǒng)做了一個(gè)保障，避免因?yàn)楫惓?dǎo)致系統(tǒng)整體不可用，當(dāng)系統(tǒng)達(dá)到性能瓶頸時(shí)，拒絕一些請求從而保護(hù)我們的系統(tǒng)整體可用，是十分有必要的。