5. NoSQL明星項目

開源的NoSQL非常多，大白按照層次挑幾個典型的代表來和大家分享一下。

NoSQL可以是單機的，也可以是分布式的，可以根據(jù)自己的目的來使用。

今天要介紹的幾款數(shù)據(jù)庫：Redis、Pika、SSDB、RocksDB、LevelDB。

其中LevelDB是谷歌開發(fā)的，RocksDB是Facebook在LevelDB的基礎(chǔ)上增加新特性開發(fā)的，Redis則不用多說，SSDB和Pika則是國內(nèi)開源的類Redis的數(shù)據(jù)庫，也非常棒。

接下來看看這幾款數(shù)據(jù)庫的特點、聯(lián)系、底層原理等有趣的東西。

5.1 谷歌出品LevelDB

LevelDB是谷歌的Sanjay Ghemawat和Jeff Dean使用C++開發(fā)的單進程/單機版持久化的key-value數(shù)據(jù)庫，于2011年7月開源，可以說是重磅產(chǎn)品。

LevelDB支持了最基礎(chǔ)的key-value操作：Get/Put/Delete，但是并沒有封裝其他的東西，嚴格意義上來說只是NoSQL存儲引擎。

一般來說，機械磁盤最害怕的就是隨機讀寫，磁盤呼嚕嚕轉(zhuǎn)起來就意味著讀寫效率在下降。

LevelDB具有很高的隨機寫，順序讀/寫性能，因此LevelDB很適合應(yīng)用在寫多讀少的場景，真讓人好奇高性能的隨機寫怎么做到的。

5.1.1 LSM樹

很多數(shù)據(jù)在邏輯上相近，但是在物理存儲上卻可能相隔很遠，這樣就會造成大量的隨機讀寫問題，從而降低性能。

LevelDB實現(xiàn)高性能隨機寫的秘密武器在于使用LSM樹存儲結(jié)構(gòu)，LSM樹又稱為日志結(jié)構(gòu)合并樹(Log-Structured Merge-Tree)，它并不是具體的數(shù)據(jù)結(jié)構(gòu)，而是一種設(shè)計思想。

LSM樹對于每次寫入操作，并不是直接將最新的數(shù)據(jù)駐留在磁盤中，而是將數(shù)據(jù)先放在內(nèi)存。

當內(nèi)存數(shù)據(jù)達到一定的閾值，再將這部分數(shù)據(jù)真正刷新到磁盤文件中，從而將磁盤隨機寫轉(zhuǎn)換為內(nèi)存順序?qū)懀蚨@得了極高的寫性能，但是這種機制會降低讀的性能，總體來說降低部分讀性能來大幅提升寫性能是值得的。

5.1.2 LevelDB整體架構(gòu)

LevelDB 存儲結(jié)構(gòu)主要由六個部分組成：

• MemTable：內(nèi)存數(shù)據(jù)結(jié)構(gòu)，使用SkipList實現(xiàn)，新的數(shù)據(jù)修改會首先在這里寫入，并且有容量限制。
• Immutable MemTable：待落盤的數(shù)據(jù)庫內(nèi)存結(jié)構(gòu)，當 MemTable的大小達到設(shè)定的閾值時，會變成 Immutable MemTable，只接受讀操作，不再接受寫操作，后續(xù)會Flush到磁盤上。
• SST Files：Sorted String Table Files，磁盤數(shù)據(jù)存儲文件，分為 Level0 到 LevelN 多層，每一層包含多個 SST 文件，文件內(nèi)數(shù)據(jù)有序。
• Manifest Files：leveldb元信息清單文件。Manifest記錄 SST 文件在不同 Level 的分布，相當于SST文件的索引。
• Current File：當前正在使用的文件清單文件。

LevelDB的讀寫過程和上述的整體架構(gòu)關(guān)系密切，也是先內(nèi)存后磁盤，一層層讀取搜索數(shù)據(jù)的。

5.2 臉書出品RocksDB

青出于藍而勝于藍。

RocksDB在LevelDB的基礎(chǔ)上進行了改進和優(yōu)化，也成為后續(xù)很多NoSQL所選擇的存儲引擎。

RocksDB仍然是采用C++開發(fā)的，并且完全向后兼容了LevelDB的接口，可以說是個平滑升級。

5.2.1 RocksDB提升點

來看看RocksDB做了哪些優(yōu)化和提升：

• RocksDB支持一次 獲取多個Key，還支持Key范圍查找，LevelDB只能獲取單個Key。
• RocksDB支持 多線程合并，而LevelDB是單線程合并的，多核時代前者效率更高。
• RocksDB增加了 合并時過濾器，對不符合條件的Key進行丟棄。
• RocksDB可采用 多種壓縮算法，除了LevelDB用的snappy，還有zlib、bzip2。
• RocksDB支持 增量備份和全量備份。
• RocksDB支持管道式的Memtable，使用 多個Memtable，LevelDB只有一個Memtable。

5.2.2 RocksDB整體架構(gòu)

Rocksdb中引入了Column Family(列族的概念，所謂列族也就是一系列kv組成的數(shù)據(jù)集，所有的讀寫操作都需要先指定列族。

每個ColumnFamily有自己的Memtable， SST文件，所有ColumnFamily共享WAL、Current、Manifest文件。

如果說LevelDB是個平民版的NoSQL存儲引擎，那么RocksDB絕對是尊享版，所以很多優(yōu)秀的NoSQL成品都是基于RocksDB來封裝上層協(xié)議和代理支持完成的。