怎樣對(duì)物聯(lián)網(wǎng)和邊緣計(jì)算進(jìn)行數(shù)據(jù)上的分析
掃描二維碼
隨時(shí)隨地手機(jī)看文章
邊緣計(jì)算可以將計(jì)算能力放在數(shù)據(jù)源附近,這對(duì)提高分析能力是一個(gè)福音。但是什么阻止了企業(yè)的實(shí)施呢?
在2015年至2020年的五年,物聯(lián)網(wǎng)預(yù)計(jì)將比任何其他類(lèi)別的設(shè)備增長(zhǎng)更快。機(jī)器對(duì)機(jī)器連接的數(shù)量將增長(zhǎng)近2.5倍,從2015年的49億臺(tái)增加到2020年的122億臺(tái)。
然而,在物聯(lián)網(wǎng)世界中,為了減少通過(guò)網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量,能夠盡可能靠近數(shù)據(jù)源進(jìn)行分析已經(jīng)成為一種必要。不僅如此,如果企業(yè)的目標(biāo)是為邊緣計(jì)算設(shè)備(運(yùn)輸車(chē)輛、石油鉆井平臺(tái)、移動(dòng)設(shè)備等)提供快速反饋,即使是有限的目標(biāo),也是至關(guān)重要的。
從數(shù)據(jù)到達(dá)響應(yīng)點(diǎn)的那一刻起,數(shù)據(jù)的價(jià)值隨著差距的增大而降低;從業(yè)務(wù)的角度來(lái)看,企業(yè)需要快速分析,并盡可能接近數(shù)據(jù)源。
如果可以減少時(shí)間跨度,從而提供實(shí)時(shí)洞察和行動(dòng),它將提供更多的價(jià)值。
轉(zhuǎn)向邊緣計(jì)算分析
邊緣計(jì)算分析是對(duì)傳統(tǒng)數(shù)據(jù)收集和分析方法的一種改進(jìn)。在這種方法中,在傳感器、網(wǎng)絡(luò)交換機(jī)或其他設(shè)備上對(duì)數(shù)據(jù)執(zhí)行自動(dòng)分析計(jì)算,而不是等待數(shù)據(jù)發(fā)送回集中的數(shù)據(jù)存儲(chǔ),并進(jìn)行分析在后臺(tái)運(yùn)行。
人們現(xiàn)在都熟悉WiFi連接設(shè)備,如洗衣機(jī)、機(jī)器人吸塵器、家用恒溫器等。這些物聯(lián)網(wǎng)設(shè)備通常會(huì)發(fā)送統(tǒng)計(jì)數(shù)據(jù)或狀態(tài),這是一個(gè)很好的事情,通過(guò)智能家庭集線(xiàn)器或顯示在手機(jī)上。然而,物聯(lián)網(wǎng)設(shè)備廣泛應(yīng)用只是完成物聯(lián)網(wǎng)革命的一半,下一半是讓它們運(yùn)行自我診斷和統(tǒng)計(jì)分析,然后再將信息發(fā)送給企業(yè)進(jìn)行進(jìn)一步分析,從而使他們最終不僅聯(lián)網(wǎng)而且智能。恒溫器就是一個(gè)簡(jiǎn)單的例子,可以根據(jù)天氣、到家時(shí)間、交通和其他信息計(jì)算預(yù)測(cè),因此可以開(kāi)始加熱洗澡水,并告知真空吸塵器開(kāi)始清潔,以便在主人到家之前完成。這不是通知主人,而是在源設(shè)備或邊緣計(jì)算設(shè)備上做出決策和采取行動(dòng)。
邊緣計(jì)算分析不是將所有信息發(fā)送到一個(gè)單一的來(lái)源,然后才應(yīng)用轉(zhuǎn)換和分析,然后才將反饋發(fā)送到其他設(shè)備,而是一種更快、更靈活的方法。
例如,如果以電信行業(yè)為例,那就是他們?cè)?jīng)的運(yùn)作方式。通常在中央通信樞紐中,電話(huà)接線(xiàn)員在那里接聽(tīng)用戶(hù)的電話(huà),用戶(hù)不得不事先“訂購(gòu)”一條線(xiàn)路,并且只有在這條線(xiàn)路開(kāi)通后才能通話(huà),所有呼叫都通過(guò)一個(gè)中心位置進(jìn)行路由,其分析僅在其中心樞紐中完成。
如今,人們只需在其手機(jī)設(shè)備上輸入號(hào)碼即可呼叫,同時(shí)所有路由都將自動(dòng)且更快地完成。無(wú)需等待信息到達(dá)中心樞紐即可進(jìn)行分析。現(xiàn)在能夠以其選擇的任何方式(部分或全部)隨時(shí)分析信息,甚至可以在自己的設(shè)備上進(jìn)行分析。
以另一個(gè)現(xiàn)實(shí)生活為例,例如幾十架飛機(jī)在機(jī)場(chǎng)上空盤(pán)旋、準(zhǔn)備起飛或降落。在幾秒或幾毫秒內(nèi)分析數(shù)據(jù)的能力不僅僅影響航空公司收入,其真正商業(yè)價(jià)值與旅客生命息息相關(guān)。因此每一秒都很重要,每一個(gè)輕微的失誤或技術(shù)問(wèn)題都會(huì)產(chǎn)生巨大的多米諾骨牌效應(yīng)。
理論上,如果在將數(shù)據(jù)發(fā)送到集中位置之前已經(jīng)開(kāi)始分析的初始過(guò)程,例如,在原始設(shè)備(飛機(jī)或任何其他計(jì)算機(jī)設(shè)備)上,可以根據(jù)初步見(jiàn)解采取行動(dòng),從而縮小洞察力和行動(dòng)之間的差距。
人們可以在邊緣計(jì)算設(shè)備上執(zhí)行部分算法或分析功能,同時(shí)以非侵入方式將數(shù)據(jù)從邊緣設(shè)備本地網(wǎng)格異步或同步到集線(xiàn)器或集中網(wǎng)格,在那里將執(zhí)行進(jìn)一步和更多的計(jì)算關(guān)于原始數(shù)據(jù)或匯總數(shù)據(jù)。
采用質(zhì)量分析平臺(tái)
進(jìn)行實(shí)時(shí)分析就是提取率、簡(jiǎn)化工作流程、減少組件架構(gòu)以降低總體擁有成本(TCO)?,F(xiàn)在需要了解一下lambda或kappa架構(gòu),通過(guò)將所有信息視為數(shù)據(jù)流簡(jiǎn)化所有事情是很好的,但由于架構(gòu)中移動(dòng)部分的數(shù)量太多,仍然會(huì)帶來(lái)意外的復(fù)雜性。
采用傳統(tǒng)的分析工作流程并將繁重的工作推到內(nèi)存平臺(tái)上以實(shí)現(xiàn)收斂或數(shù)據(jù)流的統(tǒng)一是唯一合乎邏輯的結(jié)論。這個(gè)“NoETL”工作流程完全依賴(lài)于Kafka作為消息代理,而InsightEdge作為NoETL/流處理機(jī)制,除了所有其他Spark優(yōu)勢(shì)之外。
第二個(gè)階段是polyglot分析,它定義了質(zhì)量分析的能力,以便將實(shí)時(shí)數(shù)據(jù)流與存儲(chǔ)在持久存儲(chǔ)層上的存檔數(shù)據(jù)聚合。
考慮到專(zhuān)家預(yù)測(cè)的到2020年全球?qū)a(chǎn)生40澤字節(jié)的數(shù)據(jù),人們需要能夠處理此類(lèi)數(shù)據(jù)量的平臺(tái)。采用建議的組件簡(jiǎn)化架構(gòu),這兩個(gè)事件流之間的相關(guān)因子是Kafka/Data Lake中的關(guān)鍵參與者(或者更松散的術(shù)語(yǔ)Data-Swamps)。
這種架構(gòu)使人們不僅可以保留返回每個(gè)數(shù)據(jù)的可能性,還可以利用高端而簡(jiǎn)化的分析工具(如Spark)來(lái)運(yùn)行內(nèi)存計(jì)算,以實(shí)現(xiàn)實(shí)時(shí)和歷史數(shù)據(jù)融合。
最后的想法
很明顯,對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析已成為各行業(yè)企業(yè)的關(guān)鍵。實(shí)際上,為了跟上快速變化的世界和苛刻的客戶(hù)體驗(yàn)或快速變化的法規(guī),它變得必不可少。
然而,盡管大數(shù)據(jù)具有轉(zhuǎn)型潛力,麥肯錫全球研究所(MGI)2016年發(fā)布的一份報(bào)告發(fā)現(xiàn),大多數(shù)行業(yè)仍未挖掘數(shù)據(jù)和分析的全部潛力。
來(lái)源:企業(yè)網(wǎng)D1Net