近日，江蘇電信順應(yīng)中國電信改革的步伐，攜手華為積極開展鯤鵬計(jì)算平臺在運(yùn)營商領(lǐng)域的商用驗(yàn)證和實(shí)踐宣布成功上線全球首個基于鯤鵬處理器的運(yùn)營商大數(shù)據(jù)平臺。該平臺的成功上線開創(chuàng)了鯤鵬處理器在運(yùn)營商大數(shù)據(jù)領(lǐng)域的商用實(shí)踐先河，為江蘇電信的業(yè)務(wù)成長提供了新的計(jì)算引擎。

技術(shù)創(chuàng)新敢為天下先，率先實(shí)現(xiàn)基于鯤鵬處理器的開源大數(shù)據(jù)平臺混合部署

江蘇電信大數(shù)據(jù)平臺承載著江蘇電信所有生產(chǎn)系統(tǒng)的運(yùn)行數(shù)據(jù)、存儲及分析，是江蘇電信最核心的業(yè)務(wù)系統(tǒng)之一，對計(jì)算性能、并發(fā)處理能力、運(yùn)行穩(wěn)定性都有極高的要求。經(jīng)過多次方案論證和性能測試，江蘇電信最終選擇基于鯤鵬處理器的華為TaiShan服務(wù)器和開源Hadoop軟件構(gòu)建大數(shù)據(jù)平臺。

圖1江蘇電信基于開源Hadoop大數(shù)據(jù)平臺

此次項(xiàng)目中，江蘇電信攜手華為團(tuán)隊(duì)，完成基于鯤鵬處理器的開源Hadoop源代碼編譯，重建RPM(軟件包)，并調(diào)優(yōu)Hadoop參數(shù)等工作，并實(shí)現(xiàn)Ambari、HDFS、YARN、Mapreduce、Tez等關(guān)鍵的大數(shù)據(jù)業(yè)務(wù)組件在華為TaiShan服務(wù)器上的成功部署和運(yùn)行。在集群部署的具體方案上，雙方在原有集群上實(shí)現(xiàn)了傳統(tǒng)架構(gòu)服務(wù)器和TaiShan服務(wù)器融合部署。

大數(shù)據(jù)平臺上線后穩(wěn)定運(yùn)行，根據(jù)實(shí)際測試數(shù)據(jù)顯示，相比傳統(tǒng)服務(wù)器，TaiShan服務(wù)器的大數(shù)據(jù)批量執(zhí)行能力顯著提升，完全滿足了運(yùn)營商系統(tǒng)商用的性能和可靠性要求，證明基于鯤鵬處理器的TaiShan大數(shù)據(jù)方案在電信領(lǐng)域的大規(guī)模商用已經(jīng)成熟。

鯤鵬多核架構(gòu)，實(shí)現(xiàn)高性能的電信大數(shù)據(jù)平臺

華為TaiShan服務(wù)器所搭載的鯤鵬處理器具有高性能、高帶寬、高集成度、高效能四大特點(diǎn)，尤其是單芯片最高可提供的64核計(jì)算能力，完全匹配大數(shù)據(jù)計(jì)算場景下的高并發(fā)IO負(fù)載特征。

從具體性能方面來看，鯤鵬處理器計(jì)算效率提升2.5倍，網(wǎng)絡(luò)讀取性能提升4.75倍，網(wǎng)絡(luò)寫入速率提升2倍。原有傳統(tǒng)服務(wù)器大數(shù)據(jù)集群整個業(yè)務(wù)過程耗時接近2小時，接入TaiShan服務(wù)器混合部署后，耗時減少至1h左右。

江蘇電信攜手華為，加速共建鯤鵬產(chǎn)業(yè)生態(tài)

本次項(xiàng)目工程結(jié)合江蘇電信大數(shù)據(jù)業(yè)務(wù)特點(diǎn)和未來演進(jìn)趨勢，充分發(fā)揮鯤鵬處理器的多核高效能優(yōu)勢，有效提高數(shù)據(jù)存儲、計(jì)算等資源的使用效率，為江蘇電信的市場營銷、客戶服務(wù)、運(yùn)營管理等業(yè)務(wù)提供更精確、多樣化的數(shù)據(jù)分析。

同時，實(shí)現(xiàn)了江蘇省市一體的數(shù)據(jù)共享方案，充分挖掘電信智能管道和海量數(shù)據(jù)資源的價(jià)值。江蘇電信和華為將在未來繼續(xù)緊密合作，運(yùn)營商領(lǐng)域加速共建鯤鵬產(chǎn)業(yè)生態(tài)。