大數(shù)據(jù)分析是一個很重要的功能,但是純粹的數(shù)據(jù)量被消化、處理和存儲會很快變成一個財政負(fù)擔(dān)。運行大數(shù)據(jù)平臺、每秒處理數(shù)百萬個事件的組織面臨著一個持續(xù)的挑戰(zhàn):平衡對穩(wěn)健數(shù)據(jù)管理的需求和成本效益。

本文以通用大數(shù)據(jù)平臺為例,通過不同的策略有條不紊地檢查和控制成本。

端到端大數(shù)據(jù)平臺組件

一個端到端的大數(shù)據(jù)平臺簡化了數(shù)據(jù)的過程,從原始格式到可行的見解。它由幾個關(guān)鍵組件組成,這些組件可以一起有效地管理整個數(shù)據(jù)生命周期。

· 數(shù)據(jù)攝取層: 這是一個切入點,無縫地從各種來源獲取數(shù)據(jù),無論其格式如何(結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化)。它可以過濾掉不相關(guān)的數(shù)據(jù),以提高效率,并將其轉(zhuǎn)換為一致的、定義明確的結(jié)構(gòu)(模式),以進行更好的分析。

· 低延遲分析層: 在這里,實時或近實時處理處于中心階段。這一層對于需要立即采取行動的應(yīng)用程序至關(guān)重要,例如分析可疑活動交易的欺詐檢測系統(tǒng)。

· 臨時搜索和索引: 這一層授權(quán)靈活地探索您的數(shù)據(jù)。它創(chuàng)建可搜索的索引,使用戶能夠進行快速和有針對性的搜索,以滿足預(yù)期和未預(yù)見的分析需求。

· 儲存層: 平臺提供適合不同使用情況的存儲解決方案:

o 短期儲存: 該層存儲了數(shù)據(jù)科學(xué)項目、調(diào)查和模型開發(fā)或執(zhí)行中常見的批處理任務(wù)的數(shù)據(jù)。

o 長期儲存: 這種層存儲了較長時間的數(shù)據(jù),而檢索的頻率較低。對于審計目的或歷史分析來說,它是最理想的,因為長期的可訪問性是至關(guān)重要的。

攝取層的優(yōu)先攝取效率

計算機科學(xué)的核心原則,不僅僅是大數(shù)據(jù),是在開發(fā)生命周期的早期解決問題。單元測試完美地證明了這一點,因為及早捕捉錯誤是成本效益更高的。同樣的邏輯也適用于數(shù)據(jù)的攝取:盡快過濾掉不必要的數(shù)據(jù),最大限度地提高效率。通過將資源集中在具有潛在業(yè)務(wù)價值的數(shù)據(jù)上,可以最大限度地減少浪費。

另一個優(yōu)化策略是數(shù)據(jù)正?；Ｔ跀z入過程中將數(shù)據(jù)轉(zhuǎn)換為定義明確的模式(結(jié)構(gòu))提供了顯著的優(yōu)勢。這種前期處理減少了數(shù)據(jù)平臺中后續(xù)組件的解析負(fù)擔(dān),使它們能夠?qū)Ｗ⒂诤诵娜蝿?wù)。

低延遲的計算層雖然還不普遍,但對愿意投資的組織來說卻有很大的優(yōu)勢。通過利用現(xiàn)代流技術(shù),這些層可以大大降低處理成本,并以閃電般的速度產(chǎn)生洞察力。這種實時能力使企業(yè)能夠處理欺詐偵查、安全等關(guān)鍵用途案件?事件應(yīng)對 ,以及以極具成本效益的方式處理通知書。

優(yōu)化對成本和效率的特設(shè)搜索

雖然臨時搜索提供了靈活性,但由于索引、復(fù)制和處理查詢所需的資源,它可能成為一個重要的成本因素。以下是優(yōu)化特設(shè)搜索和簡化數(shù)據(jù)管理的戰(zhàn)略:

· 分析搜尋模式: 通過仔細(xì)檢查用戶查詢,無論是臨時的還是定期的保存的搜索,您都可以確定向臨時搜索工具輸入數(shù)據(jù)的機會。這可能涉及過濾不相關(guān)的數(shù)據(jù)或預(yù)先處理數(shù)據(jù),以提高搜索效率。

· 利用低延遲分析: 審查計劃保存的搜索可以揭示將它們遷移到低延遲分析層的機會。這對于需要實時洞察力的搜索或涉及高計算成本的搜索特別有利,例如正則表達式(Regex)或子字符串搜索。通過在低延遲層中處理這些數(shù)據(jù),您可以釋放臨時搜索系統(tǒng)中的資源,并有可能降低總體成本。

· 為提高效率而規(guī)范化: 分析使用模式,以確定數(shù)據(jù)攝入過程中的正?；瘷C會。在正?；^程中,提前提取相關(guān)數(shù)據(jù)可以顯著降低復(fù)雜搜索(如Regex或子字符串搜索)的相關(guān)計算成本。

優(yōu)化數(shù)據(jù)存儲

存儲數(shù)據(jù)所涉及的費用與需要存儲的數(shù)據(jù)數(shù)量和數(shù)據(jù)的使用成正比。云計算提供者根據(jù)數(shù)據(jù)的大小收費,然后在計算、網(wǎng)絡(luò)和傳輸中需要額外的費用來執(zhí)行數(shù)據(jù)上的任何計算。有兩種簡單的優(yōu)化方法?儲藏室 費用:

了解您的數(shù)據(jù)使用頻率

實現(xiàn)成本優(yōu)化的第一步是明確了解您的數(shù)據(jù)環(huán)境。這包括根據(jù)訪問頻率對數(shù)據(jù)進行分類:

· 熱數(shù)據(jù): 經(jīng)常訪問對實時分析和決策至關(guān)重要的數(shù)據(jù)。實例包括流式傳感器數(shù)據(jù)、用戶活動日志和財務(wù)事務(wù)。

· 熱數(shù)據(jù): 數(shù)據(jù)定期訪問,但不是實時的。這可能包括歷史日志、客戶數(shù)據(jù)和點擊流數(shù)據(jù)。

· 冷數(shù)據(jù): 很少訪問具有長期保留要求的數(shù)據(jù)。這可能包括歷史備份、合規(guī)檔案和來自不活動項目的日志數(shù)據(jù)。

通過對數(shù)據(jù)進行分類,您可以定制其存儲策略。熱數(shù)據(jù)需要高性能的存儲,如固態(tài)驅(qū)動器(SSD),以便快速檢索。溫暖數(shù)據(jù)可以保存在更便宜的硬盤驅(qū)動器(HDDS)上,而冷數(shù)據(jù)最適合于成本效益高的對象存儲解決方案。

數(shù)據(jù)生命周期管理

數(shù)據(jù)積累得很快,如果沒有適當(dāng)?shù)墓芾?就會導(dǎo)致存儲膨脹和不必要的成本。實現(xiàn)?數(shù)據(jù)生命周期管理 自動化數(shù)據(jù)移動和刪除的政策。這些政策可界定為:

· 數(shù)據(jù)保留期: 根據(jù)監(jiān)管和業(yè)務(wù)要求,設(shè)定存儲不同數(shù)據(jù)類型的具體時限。超過這些期間的舊數(shù)據(jù)可以歸檔或刪除。

· 數(shù)據(jù)質(zhì)量檢查: 自動檢查數(shù)據(jù)的完整性和一致性.識別并刪除重復(fù)數(shù)據(jù)或錯誤數(shù)據(jù),以優(yōu)化存儲利用率.

· 數(shù)據(jù)分類: 隨著數(shù)據(jù)年齡的增加,根據(jù)您的數(shù)據(jù)分類,將其自動移動到成本較低的存儲層。這確保了熱數(shù)據(jù)隨時可用,同時保持整體存儲成本效益。

優(yōu)化架構(gòu)促進效率

您的大數(shù)據(jù)平臺的架構(gòu)對其整體成本有重大影響。以下是如何優(yōu)化資源利用:

· 正確評估實例: 分析處理作業(yè)的資源使用模式.不要成為過度配置的犧牲品;根據(jù)實際的工作量需求,將實例(虛擬機)向上或向下擴展。這可以通過云計算提供者提供的自動規(guī)?；δ軄韺崿F(xiàn)。

· 云成本管理工具: 利用你的云平臺提供的成本管理工具。這些工具提供了對資源利用和成本細(xì)目的詳細(xì)了解,并確定了潛在的節(jié)約。探索以下特征:

o 保留實例: 在承諾使用期間以折扣率購買計算機資源。這可能有利于可預(yù)測的工作量。

o 局部實例: 利用未使用的云容量,降低需求價格。這對于具有靈活調(diào)度需求的批處理作業(yè)是理想的。

o 安排工作: 在云資源價格通常較低的情況下,在非高峰時間安排資源密集型數(shù)據(jù)處理任務(wù)。

監(jiān)測和報告費用

成本優(yōu)化是一個持續(xù)的過程。為了保持成本效益,實施健全的成本監(jiān)測和報告做法:

· 費用 :開發(fā)儀表板,提供不同資源類別的實時和歷史成本洞察力?？梢暬杀沮厔萦兄诜e極主動地確定潛在的成本增加。將成本度量作為業(yè)務(wù)度量,需要對趨勢變化進行監(jiān)測,以便在成本成為問題之前采取行動。

· 費用歸屬 根據(jù)具體部門和項目的數(shù)據(jù)使用情況分配費用。這有助于提高內(nèi)部利益攸關(guān)方的成本意識,并鼓勵負(fù)責(zé)任的數(shù)據(jù)管理做法。

結(jié)論:實現(xiàn)成本效益高的大數(shù)據(jù)管理之路

優(yōu)化大數(shù)據(jù)平臺的成本是一個持續(xù)的過程。通過實施上述戰(zhàn)略,您可以在不損害數(shù)據(jù)生態(tài)系統(tǒng)的功能和價值的情況下節(jié)省大量費用。最有效的方法將取決于您的特定數(shù)據(jù)環(huán)境、工作負(fù)載和云環(huán)境。定期監(jiān)控、整個開發(fā)生命周期的成本意識以及持續(xù)改進的承諾是確保大數(shù)據(jù)平臺提供高效率和高成本效益的見解的關(guān)鍵。