簡介

CURVE 是網(wǎng)易開源的高性能、高可用、高可靠分布式存儲系統(tǒng)，具有非常良好的擴展性?；谠摯鎯Φ鬃梢源蛟爝m用于不同應用場景的存儲系統(tǒng)，如塊存儲、對象存儲、云原生數(shù)據(jù)庫等。CURVE 的設計開發(fā)始終圍繞三個理念：一是順應當前存儲硬件設施發(fā)展趨勢，做到軟硬件結(jié)合打造頂級的存儲產(chǎn)品；二是秉持 “Simple Can be harder than complex”，了解問題本質(zhì)情況下選擇最簡單的方案解決問題；三是擁抱開源，在充分調(diào)研的前提下使用優(yōu)秀的開源項目組件，避免造輪子。

當前網(wǎng)易基于 CURVE 已經(jīng)實現(xiàn)了高性能塊存儲系統(tǒng)，支持快照克隆和恢復 ,支持 QEMU 虛擬機和物理機 NBD 設備兩種掛載方式, 在網(wǎng)易內(nèi)部作為高性能云盤使用。

特性

1. 高性能

高性能是 CURVE 的一大特點，也是項目團隊創(chuàng)建 CURVE 項目的初衷。RPC 層面 CURVE 采用了高性能和低延遲并且已開源的 brpc；在一致性層面選擇了基于 quorum 機制并且開源的 braft，從協(xié)議層面來說 quorum 機制在延遲方面天生優(yōu)于多副本強一致的方式。實現(xiàn)上 CURVE 對 braft 快照的實現(xiàn)進行了優(yōu)化，在狀態(tài)機的實現(xiàn)上采用 chunkfilepool 的方式 ( 初始化集群的時候格式化出指定比例的空間用作 chunk ) 使得底層的寫入放大為 0；此外CURVE 還在 chunk 上進行更細力度的地址空間 hash 以達到讀寫分離、減小 IO 碰撞等的效果，從而進一步提升 IO 性能。

2. 高可用

高可用是 CURVE 的另一大特點。MDS、ChunkServer 以及 SnapShotCloneServer 都支持多實例部署，部分實例異常不影響整個集群的可用性。

MDS

MDS 是無狀態(tài)的，推薦至少部署兩個實例。通過 Etcd 進行選主。多個 MDS 實例通過 Etcd 進行選主，當單個實例失效時，可以秒級切換到另外一個實例。失效實例上正在處理的請求，Client 和 SnapShotCloneServer 都會對其進行重試，以達到不影響集群可用性的效果。

SnapShotCloneServer

SnapShotCloneServer 與 MDS 類似, 也是通過 Etcd 進行選主，不同的是，它通過負載均衡對外提供服務。失效期間的請求失敗重試都是冪等的，不影響任務的正確性以及集群的可用性。

ChunkServer

ChunkServer 是一個集群，通過 Raft 協(xié)議保持數(shù)據(jù)一致性，并通過 MDS 做負載均衡。單個節(jié)點失效時，會影響到這個節(jié)點上存儲的所有 Copyset。對于 Copyset 上的 Leader 節(jié)點，會中斷服務，等待重新選舉；對于Copyset 上的 follower 節(jié)點，服務不會受影響。當某個 Chunkserver 節(jié)點失效且在一段時間內(nèi)無法恢復，MDS 會將其上的數(shù)據(jù)遷移到其他節(jié)點上。

項目地址

GitHub地址：https://github.com/opencurve/curve