亞馬遜云科技發(fā)布新功能 云數(shù)據(jù)倉(cāng)庫(kù)查詢實(shí)現(xiàn)10倍速
掃描二維碼
隨時(shí)隨地手機(jī)看文章
近日,亞馬遜云科技宣布AQUA for Amazon Redshift全面可用。作為一種創(chuàng)新的新型分布式硬件加速緩存,AQUA可以使Amazon Redshift查詢的運(yùn)行速度比任何其他云數(shù)據(jù)倉(cāng)庫(kù)最高快10倍。AQUA將計(jì)算引入存儲(chǔ)層,消除了數(shù)據(jù)在不同存儲(chǔ)位置和計(jì)算集群之間不必要的移動(dòng),幫助客戶避免網(wǎng)絡(luò)帶寬限制。AQUA讓客戶有了顯示更加實(shí)時(shí)的儀表盤,節(jié)省了開發(fā)時(shí)間,并且讓其系統(tǒng)更容易維護(hù)。目前Redshift RA3實(shí)例已帶有AQUA,客戶無(wú)需支付額外成本,即可在不修改任何代碼的情況下享受AQUA帶來(lái)的性能提升。
Amazon Redshift是第一款基于云的數(shù)據(jù)倉(cāng)庫(kù),成本只有傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的十分之一。自2012年推出以來(lái),Amazon Redshift已經(jīng)成為最受歡迎的云數(shù)據(jù)倉(cāng)庫(kù)。此前,亞馬遜云科技發(fā)布Amazon Redshift RA3實(shí)例,客戶可以分別擴(kuò)展計(jì)算和存儲(chǔ),與任何其他云數(shù)據(jù)倉(cāng)庫(kù)相比,提供最高達(dá)3倍的性價(jià)比。然而,即使數(shù)據(jù)倉(cāng)庫(kù)的性能持續(xù)提高,客戶需要處理的數(shù)據(jù)快速增長(zhǎng)依然會(huì)導(dǎo)致平衡性能和成本效率的兩難境地。數(shù)據(jù)倉(cāng)庫(kù)的主流方法是將大量集中存儲(chǔ)移至計(jì)算節(jié)點(diǎn)上進(jìn)行數(shù)據(jù)處理。這種方法的挑戰(zhàn)在于共享數(shù)據(jù)和計(jì)算節(jié)點(diǎn)之間存在大量的數(shù)據(jù)移動(dòng)。隨著數(shù)據(jù)量持續(xù)快速增長(zhǎng),這種數(shù)據(jù)移動(dòng)會(huì)使可用的網(wǎng)絡(luò)帶寬飽和,降低性能。除了網(wǎng)絡(luò)瓶頸之外,CPU無(wú)法跟上快速增長(zhǎng)的存儲(chǔ)性能(SSD存儲(chǔ)吞吐量的增長(zhǎng)速度比CPU從內(nèi)存處理數(shù)據(jù)的能力快6倍),這要么導(dǎo)致新的CPU瓶頸,這迫使更多客戶為了更快地完成工作而超額部署計(jì)算資源。
AQUA for Amazon Redshift是Amazon Redshift的分布式硬件加速緩存,這是一項(xiàng)針對(duì)提高大規(guī)模數(shù)據(jù)分析性能的創(chuàng)新。AQUA將計(jì)算引入存儲(chǔ)層,因此數(shù)據(jù)不必在兩者之間來(lái)回移動(dòng)。這使得Amazon Redshift的運(yùn)行速度比任何其他云數(shù)據(jù)倉(cāng)庫(kù)最高快10倍。AQUA緩存可橫向擴(kuò)展,并可跨眾多節(jié)點(diǎn)并行處理數(shù)據(jù)。每個(gè)節(jié)點(diǎn)都包含一個(gè)由亞馬遜云科技設(shè)計(jì)的分析處理器組成的硬件模塊,可以極大地加速數(shù)據(jù)壓縮、加密和數(shù)據(jù)處理任務(wù)(如掃描、聚合和過(guò)濾)。AQUA還為客戶提供了額外的好處,即可以在原始存儲(chǔ)上進(jìn)行計(jì)算,從而節(jié)省了移動(dòng)數(shù)據(jù)的時(shí)間。有了這個(gè)新的架構(gòu),以及其帶來(lái)的數(shù)量級(jí)的性能提升,Redshift客戶可以實(shí)現(xiàn)更加實(shí)時(shí)的儀表盤,節(jié)省了開發(fā)時(shí)間,其系統(tǒng)也更容易維護(hù)。
“現(xiàn)有的集中式存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)需要將數(shù)據(jù)轉(zhuǎn)移到計(jì)算集群中處理,這造成了瓶頸并降低了性能。”亞馬遜云科技分析副總裁Rahul Pathak表示,“通過(guò)將計(jì)算引入存儲(chǔ)層,AQUA幫助客戶消除不必要的數(shù)據(jù)移動(dòng),避免了網(wǎng)絡(luò)帶寬的限制,帶來(lái)了比其他任何云數(shù)據(jù)倉(cāng)庫(kù)高一個(gè)數(shù)量級(jí)的性能表現(xiàn),Amazon Redshift用戶無(wú)需支付額外成本即可享用這一改變游戲規(guī)則的性能飛躍?!?
目前,在美國(guó)東部(弗吉尼亞北部)區(qū)域、美國(guó)西部(俄勒岡)區(qū)域、美國(guó)東部(俄亥俄)區(qū)域、亞太地區(qū)(東京)區(qū)域和歐洲(愛(ài)爾蘭)區(qū)域運(yùn)行Amazon Redshift RA3 節(jié)點(diǎn)的客戶已經(jīng)可以使用AQUA for Amazon Redshift ,其它區(qū)域也將很快推出。
??怂构就ㄟ^(guò)包括福克斯新聞、??怂贵w育、福克斯網(wǎng)絡(luò)和??怂闺娨暸_(tái)在內(nèi)的一些世界領(lǐng)先和最具價(jià)值的品牌,制作和分銷內(nèi)容。福克斯讓各種各樣的創(chuàng)作者能夠想象和創(chuàng)作具有文化意義的內(nèi)容,同時(shí)建立一個(gè)集創(chuàng)意、運(yùn)營(yíng)專業(yè)知識(shí)和戰(zhàn)略思維于一體的組織。“??怂构镜氖姑褪亲寯?shù)百萬(wàn)觀眾享受屏幕帶來(lái)的簡(jiǎn)單樂(lè)趣。我們?yōu)槿蛴^眾提供新聞、體育和娛樂(lè)等新鮮資訊,而數(shù)據(jù)是我們所做一切事情的核心?!备?怂构緮?shù)據(jù)服務(wù)副總裁Alex Tverdohleb表示,“Amazon Redshift使我們可以跨數(shù)據(jù)倉(cāng)庫(kù)、運(yùn)營(yíng)數(shù)據(jù)庫(kù)和Amazon S3數(shù)據(jù)湖分析我們PB級(jí)的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),從而發(fā)現(xiàn)、分析和激活數(shù)據(jù)驅(qū)動(dòng)的決策,獲得強(qiáng)有力的洞察。隨著PB級(jí)數(shù)據(jù)的持續(xù)快速增長(zhǎng),我們一直在測(cè)試AQUA for Amazon Redshift的性能,在保持成本不變的同時(shí),為分析查詢提供更強(qiáng)的性能。AQUA for Amazon Redshift將我們的一些分析查詢性能提高了一個(gè)數(shù)量級(jí),讓我們通過(guò)使用最新技術(shù),向觀眾提供更個(gè)性化、精心設(shè)計(jì)和及時(shí)體驗(yàn)?!?
亞馬遜廣告幫助各種規(guī)模的企業(yè)和品牌增長(zhǎng),通過(guò)提供合適的廣告解決方案,幫助企業(yè)提高品牌知名度及產(chǎn)品、品牌或服務(wù)認(rèn)知度,推動(dòng)購(gòu)買,或增強(qiáng)客戶忠誠(chéng)度。“我們使用Amazon Redshift的Lake House(智能湖倉(cāng))架構(gòu)(能夠在數(shù)據(jù)倉(cāng)庫(kù)、運(yùn)營(yíng)數(shù)據(jù)庫(kù)和數(shù)據(jù)湖中查詢數(shù)據(jù))來(lái)管理數(shù)百PB的數(shù)據(jù),每天為成千上萬(wàn)的客戶服務(wù)?!? 亞馬遜廣告高級(jí)經(jīng)理Shamik Ganguly表示,“我們最近開始使用AQUA for Amazon Redshift,它改變了游戲規(guī)則。我們發(fā)現(xiàn),一些最復(fù)雜的分析查詢,涉及掃描大型數(shù)據(jù)集的歸因、個(gè)性化、品牌洞察和聚合等,通過(guò)AQUA能將性能提高10倍。對(duì)于一些要求極高的查詢,AQUA極大地減少平均等待時(shí)間,讓我們能夠在系統(tǒng)上多運(yùn)行50%的查詢,同時(shí)保持成本不變,從而更快地實(shí)現(xiàn)價(jià)值,為客戶提供更好的體驗(yàn)?!?
Sisense的使命是幫助企業(yè)在任何地方都可注入分析技術(shù),讓企業(yè)的客戶和員工在任何時(shí)候都能對(duì)他們的數(shù)據(jù)采取及時(shí)行動(dòng)。 “數(shù)千家企業(yè)和全球品牌依靠我們?nèi)斯ぶ悄茯?qū)動(dòng)的分析平臺(tái)創(chuàng)新、顛覆市場(chǎng),并推動(dòng)世界發(fā)生有意義的變化?!?Sisense首席戰(zhàn)略官Guy Levy-Yurista博士表示,“我們使用Amazon Redshift,讓我們的客戶能夠快速和輕松地將復(fù)雜的數(shù)據(jù)轉(zhuǎn)換為高度交互的、可操作的應(yīng)用程序,可以嵌入和大規(guī)模交付。我們正在使用AQUA for Amazon Redshift,很高興地看到,掃描、過(guò)濾和聚合大型數(shù)據(jù)集的復(fù)雜分析查詢運(yùn)行速度比以前快了8至10倍。AQUA for Amazon Redshift為我們提供了快速分析PB級(jí)數(shù)據(jù)所需的性能和可伸縮性,并提供及時(shí)的見解,使每個(gè)用戶和每個(gè)團(tuán)隊(duì)受益?!?