• 數(shù)據(jù)處理階段直接將用戶維表、商品維表、商家維表以行存模式存儲到Hologres中，以此替代Hbase存儲。Flink中的作業(yè)可以直接讀取Hologres的維表，與行為日志進(jìn)行關(guān)聯(lián)。

• 在數(shù)據(jù)查詢和服務(wù)階段，我們將Flink處理輸出的實(shí)時明細(xì)數(shù)據(jù)統(tǒng)一存儲至Hologres，由Hologres提供高并發(fā)的數(shù)據(jù)實(shí)時寫入和實(shí)時查詢。

04

基于Hologres的最佳實(shí)踐

實(shí)時數(shù)倉2.0版本因?yàn)镠ologres的接入，既精簡了架構(gòu)，節(jié)約了資源，也真正實(shí)現(xiàn)了流批一體。這個架構(gòu)也一直使用至今，下面是Hologres基于此架構(gòu)在搜索推薦具體多個業(yè)務(wù)場景中的最佳實(shí)踐。

1. 行存最佳實(shí)踐

Hologres支持行存和列存兩種存儲模式，行存對于key-value查詢場景比較友好，適合基于primary key的點(diǎn)查和 scan，可以將行存模式的表看作是一張類似于Hbase的表，用不同的表存儲不同實(shí)體的維度信息。在Flink實(shí)時作業(yè)中可以高效地從Hologres行存表中讀取維表數(shù)據(jù)，與實(shí)時流中的實(shí)體進(jìn)行關(guān)聯(lián)。

2. 列存最佳實(shí)踐

Hologres中默認(rèn)表的存儲模式是列存，列存對于OLAP場景較為友好，適合各種復(fù)雜查詢。

基于Hologres的列存模式，我們搭建了搜索、推薦業(yè)務(wù)的實(shí)時數(shù)據(jù)查詢看板，在實(shí)時看板上可以支持?jǐn)?shù)十個不同維度的實(shí)時篩選過濾。 在最高峰值每秒寫入條數(shù)（RPS）超過500萬的同時仍然可以秒級查詢多個維度篩選下的聚合指標(biāo)結(jié)果。

同時Hologres表支持設(shè)置表數(shù)據(jù)TTL的屬性，一般我們將一張實(shí)時表的生命周期設(shè)置為48小時，超過48小時的數(shù)據(jù)會被自動刪除，在實(shí)時看板中支持用戶對最近兩天內(nèi)的實(shí)時數(shù)據(jù)進(jìn)行查詢，避免了不必要的資源浪費(fèi)。

3. 流批一體最佳實(shí)踐

Hologres不僅支持基于實(shí)時明細(xì)的數(shù)據(jù)的即席分析查詢，也支持直接加速查詢MaxCompute離線表，因此我們利用這一特性，實(shí)現(xiàn)流批一體的查詢（實(shí)時離線聯(lián)邦分析）。

在天貓大促活動中，我們利用Hologres的聯(lián)邦分析能力搭建了核心商家的目標(biāo)完成率、去年同期對比看板，為運(yùn)營算法決策提供了有效的數(shù)據(jù)支撐。

其中目標(biāo)完成率看板開發(fā)借助實(shí)時離線聯(lián)邦分析變得更為簡單，即通過Hologres實(shí)時查詢大促當(dāng)天的指標(biāo)，并用實(shí)時表的當(dāng)天指標(biāo)除以離線表中設(shè)定的目標(biāo)指標(biāo)，從而讓運(yùn)營能夠看到實(shí)時更新的核心商家當(dāng)天目標(biāo)的完成情況。

去年同期對比實(shí)時看板的計(jì)算邏輯也是類似的，可以在SQL中將實(shí)時表與去年的離線表JOIN后進(jìn)行關(guān)鍵指標(biāo)的同比計(jì)算。

所有的計(jì)算都可以在Hologres中完成，通過SQL表達(dá)計(jì)算邏輯即可，無需額外的數(shù)據(jù)開發(fā)工作，一份數(shù)據(jù)一套代碼，降低開發(fā)運(yùn)維難度，真正實(shí)現(xiàn)流批一體。

4. 高并發(fā)實(shí)時Update

在一些場景下，我們不僅需要向OLAP引擎實(shí)時增量寫入數(shù)據(jù)，還需要對寫入的數(shù)據(jù)進(jìn)行更新操作（update）。

例如，在訂單成交歸因時，F(xiàn)link實(shí)時作業(yè)會將訂單提交數(shù)據(jù)流與進(jìn)度點(diǎn)擊數(shù)據(jù)流進(jìn)行雙流JOIN，并且在還需要取訂單提交前的最后一次點(diǎn)擊事件進(jìn)行關(guān)聯(lián)。當(dāng)有多條點(diǎn)擊事件先后到達(dá)時，我們就需要更新訂單歸因明細(xì)數(shù)據(jù)，此時需要利用Hologres的update支持，通過數(shù)據(jù)的主鍵更新原有數(shù)據(jù)，保證成交歸因的數(shù)據(jù)準(zhǔn)確性。在實(shí)踐中Hologres的update寫入峰值能達(dá)50W，滿足業(yè)務(wù)高并發(fā)實(shí)時更新需求。

05

未來展望

我們希望未來基于Hologres引擎持續(xù)改進(jìn)現(xiàn)有的實(shí)時數(shù)倉，主要的方向主要有：

1. 實(shí)時表JOIN

Hologres現(xiàn)階段支持百億級表與億級表之間的JOIN，秒級查詢響應(yīng)?；谶@個特性，期望將原本需要在數(shù)據(jù)處理階段由Flink實(shí)時作業(yè)完成的維表關(guān)聯(lián)工作，可以改為在查詢Hologres階段實(shí)時JOIN計(jì)算。例如表1是明細(xì)數(shù)據(jù)表，表2是用戶維表，在查詢階段的JOIN可以通過篩選用戶維表，然后與明細(xì)數(shù)據(jù)表關(guān)聯(lián)，達(dá)到篩選過濾數(shù)據(jù)的目的。這樣的改進(jìn)將帶來幾個好處：

• 減少Hologres中的數(shù)據(jù)存儲量，避免實(shí)時表中存儲大量的數(shù)據(jù)冗余（如：同一個商品ID的數(shù)據(jù)會重復(fù)存儲）；
• 提升實(shí)時數(shù)據(jù)中維度屬性的時效性，在查詢階段實(shí)時JOIN維表數(shù)據(jù)后進(jìn)行計(jì)算，可以使得我們在通過維度篩選數(shù)據(jù)的時候，始終用的是最新的維度屬性。

2. 持久化存儲

我們未來將探索如何將常用維度的實(shí)時數(shù)據(jù)，利用Hologres的計(jì)算和存儲能力，將計(jì)算結(jié)果持久化存儲。

嘉賓介紹：

張照亮

阿里巴巴 | 高級技術(shù)專家

張照亮，阿里花名"士恒"，阿里巴巴搜索事業(yè)部高級技術(shù)專家，目前主要負(fù)責(zé)搜推大數(shù)據(jù)解決方案迭代演進(jìn)和部分業(yè)務(wù)側(cè)數(shù)據(jù)產(chǎn)品架構(gòu)設(shè)計(jì)和研發(fā)工作。