11月6日消息，在Techo開發(fā)者大會上，騰訊云副總裁、騰訊數(shù)據(jù)平臺部總經(jīng)理蔣杰正式對外披露騰訊大數(shù)據(jù)平臺10年技術(shù)演進歷程。

騰訊云副總裁、騰訊數(shù)據(jù)平臺部總經(jīng)理蔣杰

蔣杰指出，經(jīng)過10年的積累，騰訊大數(shù)據(jù)平臺的算力資源池目前已有超過20萬臺的規(guī)模，每天實時數(shù)據(jù)計算量超過30萬億條。并且每天數(shù)據(jù)接入條數(shù)達35萬億條數(shù)據(jù)。此外，騰訊云的分布式機器學習平臺，能支撐1萬億維度的數(shù)據(jù)訓練。

據(jù)介紹，能支撐如此大規(guī)模數(shù)據(jù)的接入和運算，是騰訊在大數(shù)據(jù)技術(shù)領(lǐng)域超過10年的積累，其核心的大數(shù)據(jù)平臺已經(jīng)完成了三次迭代。從以Hadoop為核心的離線計算時代到以Spark、Storm、Flink為核心的實時計算時代，再到如今的機器學習和深度學習時代，騰訊從無到有研發(fā)了分布式的機器學習引擎Angel，以及一站式AI開發(fā)平臺智能鈦TI，用來解決數(shù)據(jù)訓練和算法的問題。

2015年初，騰訊開始自研高性能的分布式機器學習平臺Angel，采用PS架構(gòu)，能支持10億維度。目前Angel發(fā)展到3.0版本，能支持萬億維度，也可以兼容Spark、PyTorch、TensorFlow等生態(tài)，進一步降低了使用門檻。此外，Angel今年還新增了對深度學習、圖計算等的支持。

目前，騰訊正在研究以批流融合、ABC融合、以及數(shù)據(jù)湖和聯(lián)邦學習為方向的下一代大數(shù)據(jù)平臺的研究,該平臺將具備混合部署、跨域數(shù)據(jù)共享和邊緣計算等能力。

技術(shù)迭代不斷加速，企業(yè)建設(shè)大數(shù)據(jù)平臺和機器學習平臺，不僅成本高昂，而且缺乏相應的專業(yè)人才，面臨種種問題。

目前，騰訊已經(jīng)把網(wǎng)絡(luò)、存儲、數(shù)據(jù)庫等IaaS能力，大數(shù)據(jù)、機器學習等PaaS的能力，以及上層的圖像、語音、NLP、BI等SaaS能力，通過騰訊云對外開放。在大數(shù)據(jù)和AI兩個領(lǐng)域，騰訊推出了以TBDS和智能鈦TI為首的雙引擎。讓每個企業(yè)，不需要專業(yè)的大數(shù)據(jù)和AI團隊，也能便捷用上領(lǐng)先的大數(shù)據(jù)和AI的能力。

另外，騰訊也通過開源和廣大開發(fā)者共享技術(shù)成果。從2014開始，將第一代平臺的核心，騰訊版的Hive進行了開源，2017年，更是把第三代平臺的核心Angel開源。今年，騰訊加快了開源的腳步，在內(nèi)部推開源協(xié)同的戰(zhàn)略推動下，騰訊所有的技術(shù)棧，后續(xù)會越來越開放。

此次在Techo大會現(xiàn)場，騰訊宣布正式開源資源管理平臺核心TKE和分布式數(shù)據(jù)庫TBase。兩個月前，騰訊在ApacheCon 2019上，面向全球開發(fā)者正式宣布開源自身核心平臺—;—;實時數(shù)據(jù)采集平臺TubeMQ，并捐獻給Apache社區(qū)。