www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當(dāng)前位置:首頁 > 公眾號精選 > 架構(gòu)師社區(qū)
[導(dǎo)讀]我們知道,大部分的業(yè)務(wù)場景都是讀多寫少,為了利用好這個(gè)特性,提升Redis集群系統(tǒng)的吞吐能力,通常會采用主從架構(gòu)、讀寫分離如上圖所示:其中Master節(jié)點(diǎn):負(fù)責(zé)業(yè)務(wù)的寫操作Slave節(jié)點(diǎn):實(shí)時(shí)同步Master節(jié)點(diǎn)的數(shù)據(jù),提供讀能力為了提高吞吐量,采用一主多從的架構(gòu),將業(yè)務(wù)的讀壓力...


我們知道,大部分的業(yè)務(wù)場景都是讀多寫少,為了利用好這個(gè)特性,提升Redis集群系統(tǒng)的吞吐能力,通常會采用主從架構(gòu)讀寫分離



如上圖所示:其中

  • Master節(jié)點(diǎn):負(fù)責(zé)業(yè)務(wù)的寫操作
  • Slave節(jié)點(diǎn):實(shí)時(shí)同步Master節(jié)點(diǎn)的數(shù)據(jù),提供讀能力
為了提高吞吐量,采用一主多從的架構(gòu),將業(yè)務(wù)的讀壓力分?jǐn)偟蕉嗯_服務(wù)器上

上述方案,看似合理,但其實(shí)可能存在一定隱患!


一、拉取過期數(shù)據(jù)

Redis性能高主要得益于純內(nèi)存操作,但內(nèi)存存儲介質(zhì)的成本過高,所以數(shù)據(jù)的存儲有一定的約束。

通常會設(shè)置過期時(shí)間,對于一些使用不是很頻繁的數(shù)據(jù),會定期刪除,提高資源的利用率。

刪除過期數(shù)據(jù),Redis提供了兩種策略:

1、惰性刪除。

也稱被動刪除,當(dāng)數(shù)據(jù)過期后,并不會馬上刪除。而是等到有請求訪問時(shí),對數(shù)據(jù)檢查,如果數(shù)據(jù)過期,則刪除數(shù)據(jù)。

優(yōu)點(diǎn):不需要單獨(dú)啟動額外的掃描線程,減少了CPU資源的損耗。


缺點(diǎn):大量的過期數(shù)據(jù)滯留內(nèi)存中,需要主動觸發(fā)、檢查、刪除,否則會一直占用內(nèi)存資源。

2、定期刪除。每隔一段時(shí)間,默認(rèn)100ms,Redis會隨機(jī)挑選一定數(shù)量的Key,檢查是否過期,并將過期的數(shù)據(jù)刪除。

你可能會為問了,既然Redis有過期數(shù)據(jù)刪除策略,那為什么還會拉取到已經(jīng)過期的數(shù)據(jù)呢?


這要從主從同步講起了,我們先來看張流程圖



當(dāng)客戶端往主庫寫入數(shù)據(jù)后,并設(shè)置了過期時(shí)間,數(shù)據(jù)會以異步方式同步給從庫。

1、如果此時(shí)讀主庫,數(shù)據(jù)已經(jīng)過期,主庫的惰性刪除會發(fā)揮作用,主動觸發(fā)刪除操作,客戶端不會拿到已過期數(shù)據(jù)

2、但是如果讀從庫,則有可能拿到過期數(shù)據(jù)。原因有兩個(gè)

原因一:

跟 Redis 的版本有關(guān)系,Redis 3.2 之前版本,讀從庫并不會判斷數(shù)據(jù)是否過期,所以有可能返回過期數(shù)據(jù)。

解決方案:

升級Redis的版本,至少要3.2 以上版本,讀從庫,如果數(shù)據(jù)已經(jīng)過期,則會過濾并返回空值。

特別注意:


此時(shí)同步過來的數(shù)據(jù),雖然已經(jīng)過期,但本著誰生產(chǎn)誰維護(hù)的原則,從庫并不會主動刪除同步的數(shù)據(jù),需要依賴于主節(jié)點(diǎn)同步過來的key刪除命令。


原因二:

跟過期時(shí)間的設(shè)置方式有關(guān)系,我們一般采用 EXPIRE 和 PEXPIRE,表示從執(zhí)行命令那個(gè)時(shí)刻開始,往后延長 ttl 時(shí)間。嚴(yán)重依賴于 開始時(shí)間 從什么時(shí)候算起。

  • EXPIRE:單位為秒
  • PEXPIRE:單位為毫秒

如上圖所示,簡單描述下過程:

  • 主庫在 t1 時(shí)刻寫入一個(gè)帶過期時(shí)間的數(shù)據(jù),數(shù)據(jù)的有效期一直到 t3
  • 由于網(wǎng)絡(luò)原因、或者緩存服務(wù)器的執(zhí)行效率,從庫的命令并沒有立即執(zhí)行。一直等到了 t2 才開始執(zhí)行, 數(shù)據(jù)的有效期則會延后到 t5
  • 如果,此時(shí)客戶端訪問從庫,發(fā)現(xiàn)數(shù)據(jù)依然處于有效期內(nèi),可以正常使用
解決方案:

可以采用Redis的另外兩個(gè)命令,EXPIREAT 和 PEXPIREAT,相對簡單,表示過期時(shí)間為一個(gè)具體的時(shí)間點(diǎn)。避免了對開始時(shí)間從什么時(shí)候算起的依賴。

  • EXPIREAT:單位為秒
  • PEXPIREAT:單位為毫秒
特別注意:


EXPIREAT 和 PEXPIREAT 設(shè)置的是時(shí)間點(diǎn),所以要求主從節(jié)點(diǎn)的時(shí)鐘保持一致,需要與NTP 時(shí)間服務(wù)器保持時(shí)鐘同步。


主從同步,除了讀從庫可能拉取到過期數(shù)據(jù),還可能遇到數(shù)據(jù)一致性問題。

繼續(xù)往下看

二、主從數(shù)據(jù)不一致

解釋下,什么是主從數(shù)據(jù)不一致?指客戶端從庫中讀取到的值與主庫中讀取的值不一致!

如圖所示:

  • 客戶端寫入主庫,值為100
  • 然后,主庫將值100 同步給 從庫
  • 接著,客戶端又訪問主庫,將值更新為 200
  • 由于主從同步是異步進(jìn)行的,有一定延遲,假如最新數(shù)據(jù)還沒有同步到從庫,那么從庫讀取的就不是最新值。
從庫同步落后的原因主要有兩個(gè):

1、主從服務(wù)器間的網(wǎng)絡(luò)傳輸可能有延遲

2、從庫已經(jīng)收到主庫的命令,由于是單線程執(zhí)行,前面正在處理一些耗時(shí)的命令(如:pipeline批處理),無法及時(shí)同步執(zhí)行。

解決方案:

1、主從服務(wù)器盡量部署在同一個(gè)機(jī)房,并保持服務(wù)器間的網(wǎng)絡(luò)良好通暢

2、監(jiān)控主從庫間的同步進(jìn)度,通過info replication命令 ,查看主庫接收寫命令的進(jìn)度信息(master_repl_offset),從庫的復(fù)制寫命令的進(jìn)度信息(slave_repl_offset)

master_repl_offset - slave_repl_offset

得到從庫與主庫間的復(fù)制進(jìn)度差

我們可以開發(fā)一個(gè)監(jiān)控程序,定時(shí)拉取主從服務(wù)器的進(jìn)度信息,計(jì)算進(jìn)度差值。如果超過我們設(shè)置的閾值,則通知客戶端斷開從庫的連接,全部訪問主庫,一定程度上減少數(shù)據(jù)不一致情況。

待同步進(jìn)度跟上后,我們再恢復(fù)客戶端與從節(jié)點(diǎn)的讀操作。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉