京東作為電商平臺(tái)，近幾年用戶、業(yè)務(wù)持續(xù)增長(zhǎng)，訪問(wèn)量持續(xù)上升，隨著這些業(yè)務(wù)的發(fā)展，API網(wǎng)關(guān)應(yīng)運(yùn)而生。

API網(wǎng)關(guān)，就是為了解放客戶端與服務(wù)端而存在的。對(duì)于客戶端，使開(kāi)放給客戶端的接口標(biāo)準(zhǔn)統(tǒng)一，以降低客戶端的接入成本；對(duì)于服務(wù)端，使服務(wù)端無(wú)需關(guān)注接口暴露在公網(wǎng)面臨的問(wèn)題而著眼于業(yè)務(wù)的實(shí)現(xiàn)，來(lái)提升開(kāi)發(fā)效率。

在剛剛過(guò)去的全民狂歡購(gòu)物節(jié)，API網(wǎng)關(guān)如何做才能高效的處理近千萬(wàn)的并發(fā)請(qǐng)求是本文的重點(diǎn)。

API網(wǎng)關(guān)，作為客戶端與服務(wù)端的紐帶，核心任務(wù)是將客戶端請(qǐng)求轉(zhuǎn)發(fā)到后端服務(wù)。但是，作為所有流量請(qǐng)求的入口 , 面臨的很重要的一個(gè)問(wèn)題就是高并發(fā)，因?yàn)楦卟l(fā)的需要，要求網(wǎng)關(guān)處理請(qǐng)求必須高效；其次是安全防護(hù)，安全主要是指對(duì)網(wǎng)關(guān)對(duì)后端服務(wù)的一個(gè)保護(hù)；再者就是完善的數(shù)據(jù)統(tǒng)計(jì)及監(jiān)控報(bào)警機(jī)制；當(dāng)然，為了方便我們內(nèi)部用戶接入，多協(xié)議適配的支持、灰度發(fā)布上線也是必備功能。

API網(wǎng)關(guān)特征：

1）高性能：在高吞吐量下保證低延遲。

2）安全穩(wěn)定：身份認(rèn)證、精細(xì)化流量控制、大數(shù)據(jù)實(shí)時(shí)分析等多種手段保障服務(wù)質(zhì)量。

3）平臺(tái)化：進(jìn)行各項(xiàng)數(shù)據(jù)監(jiān)控，提供數(shù)據(jù)分析、監(jiān)控告警、故障定位等服務(wù)。

4）灰度：灰度發(fā)布，支持按設(shè)備、PIN、自定義比例方式在不影響正常用戶的情況下，保障后端服務(wù)平穩(wěn)過(guò)渡。

5）方便快捷：支持http、jsf服務(wù)快捷接入，mock功能加快協(xié)同開(kāi)發(fā)。

API網(wǎng)關(guān)服務(wù)于原生客戶端、Web、小程序，不限于具體的業(yè)務(wù)。其主要架構(gòu)圖如下所示：

主要分3層：

• 第1是VIP層，主要是接收客戶端http、https請(qǐng)求，并將請(qǐng)求轉(zhuǎn)發(fā)到網(wǎng)關(guān)；
• 第2是網(wǎng)關(guān)層，對(duì)請(qǐng)求進(jìn)行合法性校驗(yàn)并轉(zhuǎn)發(fā)；
• 第3層就是后端業(yè)務(wù)API，這些業(yè)務(wù)方，就是我們服務(wù)的主要對(duì)象。

網(wǎng)關(guān)高并發(fā)實(shí)踐主要利用異步化處理技術(shù)，將請(qǐng)求由同步變?yōu)楫惒?，利用NIO多路復(fù)用，達(dá)到請(qǐng)求接收最大化。

首先看下圖同步處理過(guò)程：

采用同步處理，線程的釋放就受限于后端服務(wù)響應(yīng)的快慢。當(dāng)響應(yīng)過(guò)慢時(shí)，線程池就容易出現(xiàn)耗盡現(xiàn)象，并且資源利用率上不去，吞吐量很低，或者說(shuō)此時(shí)的大量請(qǐng)求都會(huì)被服務(wù)器拒絕。

由此可以看出，同步處理使資源利用率得不到充分的利用，大量請(qǐng)求被拒絕同時(shí)又影響了用戶體驗(yàn)。如果想提高并發(fā)只能通過(guò)橫向加機(jī)器，這樣造成機(jī)器資源大量浪費(fèi)的現(xiàn)象。如果是網(wǎng)關(guān)這么處理，那么這種現(xiàn)象體現(xiàn)的將更明顯。

為了解決同步引起的問(wèn)題，采用異步，如下圖所示：

通過(guò)實(shí)現(xiàn)異步化處理，線程可以在開(kāi)啟異步后直接釋放，當(dāng)前請(qǐng)求的響應(yīng)會(huì)被延后，當(dāng)后端服務(wù)有響應(yīng)后，再將響應(yīng)寫(xiě)回給客戶端。這樣就算是有后端服務(wù)響應(yīng)很慢，因?yàn)榫€程已被釋放了，可以繼續(xù)接收新的請(qǐng)求，達(dá)到服務(wù)資源使用的最大化。

精細(xì)化流控：

作為所有業(yè)務(wù)方的第一道防線，網(wǎng)關(guān)承載著海量流量的訪問(wèn)，以及隨時(shí)可能爆發(fā)的惡意流量攻擊的壓力。

很典型的，每年雙十一或是618都會(huì)有刷子惡意刷后端服務(wù)接口，如果網(wǎng)關(guān)不做處理直接將流量透?jìng)鞯胶蠖朔?wù)，后端服務(wù)很大可能會(huì)被瞬時(shí)流量沖垮，至少會(huì)增大后端服務(wù)響應(yīng)延時(shí)及浪費(fèi)公司大量資源來(lái)處理攻擊。

那么，進(jìn)行流量控制就是必不可少的。網(wǎng)關(guān)提供秒級(jí)的流量控制，可以對(duì)單個(gè)接口按地域、風(fēng)控等級(jí)等維度進(jìn)行流控配置。這樣流量只到了網(wǎng)關(guān)層面，就不會(huì)透?jìng)鞯胶蠖朔?wù)了。

流控主要是采用令牌桶算法實(shí)現(xiàn)，策略主要有排隊(duì)或熔斷，具體的策略根據(jù)不同的端，選擇合適的流控動(dòng)作。

授權(quán)及簽名認(rèn)證：

API暴露在公網(wǎng)，肯定會(huì)存在被刷的風(fēng)險(xiǎn)，網(wǎng)關(guān)要做的就是盡可能降低這種風(fēng)險(xiǎn)。就像通過(guò)制定法律來(lái)盡可能減少犯罪一樣，通過(guò)訪問(wèn)權(quán)限控制、簽名認(rèn)證、跨域校驗(yàn)等來(lái)盡可能的降低API接口被刷的風(fēng)險(xiǎn)。

授權(quán)：只有通過(guò)API負(fù)責(zé)人授權(quán)的接口，客戶端才有權(quán)限訪問(wèn) 。如果未授權(quán)，在網(wǎng)關(guān)處攔截，響應(yīng)給客戶端沒(méi)有訪問(wèn)權(quán)限；

簽名認(rèn)證：按規(guī)則將請(qǐng)求參數(shù)通過(guò)HMAC-SHA256算法運(yùn)算生成簽名值，對(duì)客戶端計(jì)算的簽名值與網(wǎng)關(guān)計(jì)算的簽名值進(jìn)行匹配，匹配的請(qǐng)求繼續(xù)向下流轉(zhuǎn)，否則直接被攔截。

跨域效驗(yàn)：

對(duì)于WEB端應(yīng)用，調(diào)用網(wǎng)關(guān)屬于跨域請(qǐng)求。這類請(qǐng)求，如果不進(jìn)行校驗(yàn)，會(huì)產(chǎn)生跨域攻擊。所以需要獲取到客戶端請(qǐng)求來(lái)源，對(duì)客戶端請(qǐng)求來(lái)源進(jìn)行認(rèn)證，只有合法的請(qǐng)求來(lái)源才被允許訪問(wèn)后端服務(wù)。對(duì)于小程序應(yīng)用，也會(huì)校驗(yàn)小程序真實(shí)性。

設(shè)想這樣一個(gè)場(chǎng)景：有一個(gè)核心業(yè)務(wù)，做了比較大的改動(dòng)，又或者是項(xiàng)目重構(gòu)，開(kāi)發(fā)完成，同時(shí)測(cè)試完成，要上線了。但是，問(wèn)題也來(lái)了：因?yàn)楦膭?dòng)很大，業(yè)務(wù)很重要，測(cè)試所拿機(jī)型設(shè)備有限，擔(dān)心直接全部上線會(huì)影響測(cè)試未覆蓋的線上用戶。那么，能不能先有10%的流量請(qǐng)求到新服務(wù)，看下用戶使用情況，再?zèng)Q定是否全部上線呢。

為了滿足這種需求，網(wǎng)關(guān)提供按設(shè)備號(hào)、用戶標(biāo)識(shí)的定點(diǎn)灰度測(cè)試，同時(shí)支持按比例進(jìn)行的灰度上線。

用戶請(qǐng)求到網(wǎng)關(guān)，如果開(kāi)啟灰度模式，就獲取到灰度地址，將請(qǐng)求轉(zhuǎn)發(fā)到特定的服務(wù)。

在高舉可持續(xù)發(fā)展旗幟的時(shí)代下，如果一個(gè)產(chǎn)品僅僅做到功能齊全是遠(yuǎn)遠(yuǎn)不夠的。只有做到可持續(xù)發(fā)展，實(shí)現(xiàn)自動(dòng)化運(yùn)營(yíng)的產(chǎn)品才真正是個(gè)好產(chǎn)品。API網(wǎng)關(guān)平臺(tái)化意味著N條產(chǎn)品線，一個(gè)網(wǎng)關(guān)，通過(guò)實(shí)現(xiàn)自動(dòng)化運(yùn)營(yíng)，解放生產(chǎn)力，打造統(tǒng)一化平臺(tái)，提供可持續(xù)化產(chǎn)品，擁抱API經(jīng)濟(jì)，實(shí)現(xiàn)API變現(xiàn)。

API網(wǎng)關(guān)控制臺(tái)首頁(yè)

  API網(wǎng)關(guān)統(tǒng)一管理著發(fā)布方對(duì)外暴露的API服務(wù)，各個(gè)服務(wù)可以獨(dú)立開(kāi)發(fā)部署。針對(duì)后端服務(wù)的發(fā)布與下線，發(fā)布方可通過(guò)API網(wǎng)關(guān)提供界面化管理控制平臺(tái)，實(shí)現(xiàn)流程化管理，線上審批通過(guò)后，實(shí)時(shí)生效，無(wú)需手動(dòng)控制，實(shí)現(xiàn)自動(dòng)化運(yùn)營(yíng)。

同時(shí)對(duì)于后端服務(wù)的各項(xiàng)配置，如API權(quán)限管理、流量控制等，API網(wǎng)關(guān)進(jìn)行自動(dòng)化管理，動(dòng)態(tài)配置，動(dòng)態(tài)加載，保證在無(wú)需重啟服務(wù)的情況下即可進(jìn)行配置更改操作。

要實(shí)現(xiàn)自動(dòng)化運(yùn)營(yíng)，除了對(duì)API服務(wù)管理做到獨(dú)立部署、快速擴(kuò)展外，對(duì)于API的調(diào)用方也實(shí)現(xiàn)自助API開(kāi)通，授權(quán)訪問(wèn)API服務(wù)。

由于API網(wǎng)關(guān)處在一個(gè)內(nèi)部系統(tǒng)與外部環(huán)境的分界點(diǎn)處，所有外部請(qǐng)求都經(jīng)過(guò)API網(wǎng)關(guān)進(jìn)行調(diào)度和過(guò)濾，每時(shí)每刻都有大量請(qǐng)求通過(guò)API網(wǎng)關(guān)進(jìn)入內(nèi)部服務(wù)。因此可以在API網(wǎng)關(guān)層進(jìn)行請(qǐng)求接入監(jiān)控，監(jiān)控各個(gè)接口的訪問(wèn)請(qǐng)求并進(jìn)行收集，以便相應(yīng)指標(biāo)的統(tǒng)計(jì)分析。

在API網(wǎng)關(guān)界面化管理控制平臺(tái)中，對(duì)收集統(tǒng)計(jì)到的監(jiān)控?cái)?shù)據(jù)，如API接口調(diào)用量、響應(yīng)時(shí)間等信息，提供了可視化的API實(shí)時(shí)智能數(shù)據(jù)分析與監(jiān)控告警功能，訂閱API異常報(bào)警信息，以便實(shí)時(shí)監(jiān)控后端服務(wù)運(yùn)行情況。

后端接口監(jiān)控?cái)?shù)據(jù)圖

當(dāng)發(fā)生線上故障時(shí)，API網(wǎng)關(guān)提供一系列的故障現(xiàn)場(chǎng)還原措施進(jìn)行故障的定位與排查，通過(guò)日志實(shí)時(shí)分析、異常流量實(shí)時(shí)探測(cè)、監(jiān)控告警等技術(shù)，快速拿到故障快照、還原故障現(xiàn)場(chǎng)以及迅速定位問(wèn)題原因。

作為系統(tǒng)的唯一入口，API網(wǎng)關(guān)的地位是至關(guān)重要的。API網(wǎng)關(guān)位于技術(shù)中臺(tái)的核心要塞，符合技術(shù)中臺(tái)戰(zhàn)略發(fā)展方向，做到了產(chǎn)品組件化、需求結(jié)構(gòu)化、數(shù)據(jù)配置化、業(yè)務(wù)可視化：

對(duì)于基于微服務(wù)架構(gòu)實(shí)現(xiàn)的后端服務(wù)而言，接入一個(gè)性能高效、安全穩(wěn)定的API網(wǎng)關(guān)，享受其帶來(lái)的身份認(rèn)證、路由請(qǐng)求、協(xié)議轉(zhuǎn)換等便利，更加專注于自身業(yè)務(wù)邏輯的開(kāi)發(fā)，是有必要的。利用API網(wǎng)關(guān)對(duì)各個(gè)服務(wù)API進(jìn)行統(tǒng)一的管理和監(jiān)控，解決客戶端與后端服務(wù)交互不便的問(wèn)題，具有十分重要的意義。

特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒(méi)關(guān)注的小伙伴，可以長(zhǎng)按關(guān)注一下：
長(zhǎng)按訂閱更多精彩▼
如有收獲，點(diǎn)個(gè)在看，誠(chéng)摯感謝