大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒(méi)有必要神話它或?qū)λ３志次分模谝栽朴?jì)算為代表的技術(shù)創(chuàng)新大幕的襯托下，這些原本看起來(lái)很難收集和使用的數(shù)據(jù)開(kāi)始容易被利用起來(lái)了，通過(guò)各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會(huì)逐步為人類(lèi)創(chuàng)造更多的價(jià)值。11月6日，在Techo開(kāi)發(fā)者大會(huì)上，騰訊云副總裁、騰訊數(shù)據(jù)平臺(tái)部總經(jīng)理蔣杰表示，經(jīng)過(guò)10年的積累，騰訊大數(shù)據(jù)平臺(tái)的算力資源池目前已有超過(guò)20萬(wàn)臺(tái)的規(guī)模，每天實(shí)時(shí)數(shù)據(jù)計(jì)算量超過(guò)30萬(wàn)億條，騰訊已經(jīng)成為中國(guó)實(shí)時(shí)數(shù)據(jù)計(jì)算量最大的公司。

上述數(shù)據(jù)背后是騰訊大數(shù)據(jù)平臺(tái)技術(shù)過(guò)去10年的不斷演進(jìn)。據(jù)蔣杰介紹，騰訊的數(shù)據(jù)量在短短5、6年時(shí)間增長(zhǎng)了幾千倍，目前每天產(chǎn)生的數(shù)據(jù)量超過(guò)幾十萬(wàn)億條數(shù)據(jù)在產(chǎn)生。為了應(yīng)對(duì)這種爆炸式增長(zhǎng)，騰訊走出了一條技術(shù)引進(jìn)+改造+自研的道路，在過(guò)去10年間，騰訊大數(shù)據(jù)平臺(tái)已經(jīng)經(jīng)歷了四代演進(jìn)。

從以Hadoop為核心的離線計(jì)算時(shí)代到以Spark、Storm、Flink為核心的實(shí)時(shí)計(jì)算時(shí)代，再到如今的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)時(shí)代，騰訊從無(wú)到有研發(fā)了分布式的機(jī)器學(xué)習(xí)引擎Angel，以及一站式AI開(kāi)發(fā)平臺(tái)智能鈦TI，用來(lái)解決數(shù)據(jù)訓(xùn)練和算法的問(wèn)題。目前，騰訊正在研究以批流融合、ABC融合、以及數(shù)據(jù)湖和聯(lián)邦學(xué)習(xí)為方向的下一代大數(shù)據(jù)平臺(tái)的研究,該平臺(tái)將具備混合部署、跨域數(shù)據(jù)共享和邊緣計(jì)算等能力。

蔣杰表示，從開(kāi)始的技術(shù)引進(jìn)、局部?jī)?yōu)化到如今的自主創(chuàng)新，騰訊的大數(shù)據(jù)技術(shù)也在實(shí)踐中不斷完善和創(chuàng)新。“十年前，騰訊管理幾百個(gè)節(jié)點(diǎn)都很困難，調(diào)度性能差，規(guī)模上不去。后來(lái)為了有效解決計(jì)算能力和大規(guī)模集群?jiǎn)栴}，騰訊自研調(diào)度器，相對(duì)原生調(diào)度器性能提升150倍，大大提升了集群可擴(kuò)展性?，F(xiàn)在，騰訊大數(shù)據(jù)平臺(tái)每天有1500萬(wàn)個(gè)分析任務(wù)，每天數(shù)據(jù)接入條數(shù)達(dá)35萬(wàn)億條數(shù)據(jù)。”

2個(gè)月前，騰訊在ApacheCon 2019上，面向全球開(kāi)發(fā)者正式宣布開(kāi)源自身核心平臺(tái)——實(shí)時(shí)數(shù)據(jù)采集平臺(tái)TubeMQ，并捐獻(xiàn)給Apache社區(qū)。此次在Techo大會(huì)現(xiàn)場(chǎng)，再次重磅宣布正式開(kāi)源資源管理平臺(tái)核心TKE和分布式數(shù)據(jù)庫(kù)TBase，隨著在大數(shù)據(jù)開(kāi)源領(lǐng)域的開(kāi)源逐步加速，騰訊正在成為中國(guó)大數(shù)據(jù)領(lǐng)域開(kāi)源最全面的廠商。“目前，已經(jīng)有數(shù)百萬(wàn)的開(kāi)發(fā)者在騰訊云上構(gòu)建應(yīng)用，相信后面會(huì)有越來(lái)越多開(kāi)發(fā)者加入，我們將和所有開(kāi)發(fā)者一起，共建云上的應(yīng)用生態(tài)”，蔣杰表示。