現(xiàn)實(shí)生活中，大數(shù)據(jù)、云計(jì)算等技術(shù)的迭代、融合和落地更是影響著上層應(yīng)用(企業(yè)端)的方方面面。11月6日，雷鋒網(wǎng)應(yīng)邀參加了騰訊舉辦的Techo開發(fā)者大會(huì)。騰訊云副總裁、騰訊數(shù)據(jù)平臺(tái)總經(jīng)理蔣杰就騰訊大數(shù)據(jù)平臺(tái)演進(jìn)歷程、騰訊大數(shù)據(jù)平臺(tái)發(fā)展方向以及AI、云技術(shù)的融合使用進(jìn)行分享。日數(shù)據(jù)計(jì)算量超30萬億，騰訊業(yè)務(wù)部門的資源和大數(shù)據(jù)平臺(tái)機(jī)器資源的結(jié)合，形成大數(shù)據(jù)全平臺(tái)算力。

蔣杰透露，截止目前，該算力資源池目前已有超過20萬臺(tái)的規(guī)模，每天實(shí)時(shí)數(shù)據(jù)計(jì)算超過30萬億條，而這樣的成果并非一日得來。10年間，騰訊大數(shù)據(jù)平臺(tái)的發(fā)展一共經(jīng)歷三個(gè)階段：

1、離線計(jì)算

2009年1月，騰訊搭建起第一個(gè)Hadoop集群，開始做數(shù)據(jù)規(guī)?；?/p>

這是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，它實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(簡(jiǎn)稱HDFS)。

HDFS有高容錯(cuò)性的特點(diǎn)，適于設(shè)計(jì)用來部署在低廉的(low-cost)硬件上;它提供高吞吐量(high throughput)來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集(large data set)的應(yīng)用程序。

HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，而MapReduce則為海量的數(shù)據(jù)提供了算力。

2、實(shí)時(shí)計(jì)算

2012年，移動(dòng)互聯(lián)網(wǎng)爆發(fā)，騰訊大數(shù)據(jù)平臺(tái)發(fā)展進(jìn)入第二階段——從Hadoop轉(zhuǎn)向Spark和Storm體系。

在吸收開源技術(shù)的基礎(chǔ)上，該平臺(tái)結(jié)合業(yè)務(wù)需求進(jìn)行了重寫。期間，騰訊開始探索流式計(jì)算、秒級(jí)采集系統(tǒng)的建設(shè)，并構(gòu)建企業(yè)級(jí)的實(shí)時(shí)數(shù)據(jù)分析體系。

大數(shù)據(jù)平臺(tái)的在線分析和實(shí)時(shí)計(jì)算功能在實(shí)時(shí)報(bào)表、實(shí)時(shí)查詢、實(shí)時(shí)監(jiān)控等諸多場(chǎng)景下得以應(yīng)用。

3、機(jī)器計(jì)算

2015年至今，為了支持業(yè)務(wù)數(shù)據(jù)挖掘的需求，開始主要建設(shè)機(jī)器學(xué)習(xí)平臺(tái)。從數(shù)據(jù)分析到數(shù)據(jù)挖掘的轉(zhuǎn)變，是大數(shù)據(jù)平臺(tái)“智能化”的體現(xiàn)。

2016年，騰訊自研機(jī)器學(xué)習(xí)平臺(tái)Angel，專攻復(fù)雜計(jì)算場(chǎng)景，可進(jìn)行大規(guī)模的數(shù)據(jù)訓(xùn)練，支撐內(nèi)容推薦、廣告推薦等AI應(yīng)用場(chǎng)景。

蔣杰稱，騰訊大數(shù)據(jù)平臺(tái)的發(fā)展，是一個(gè)從引進(jìn)到自研、從離線到實(shí)時(shí)、從分析計(jì)算到人工智能的全維度的演進(jìn)歷程。隨著資源管理平臺(tái)核心TKE和分布式數(shù)據(jù)庫TBase正式對(duì)外開源，與開發(fā)計(jì)算平臺(tái)TDW、全棧機(jī)器學(xué)習(xí)平臺(tái)Angel、開源實(shí)時(shí)數(shù)據(jù)采集平臺(tái)TubeMQ一起構(gòu)成騰訊大數(shù)據(jù)開源陣營，證實(shí)了騰訊大數(shù)據(jù)平臺(tái)從開源中來，在具備自主研發(fā)能力后積極推動(dòng)開源，回饋產(chǎn)業(yè)。

大數(shù)據(jù)平臺(tái)新方向：融合

當(dāng)談到發(fā)展方向時(shí)，蔣杰重點(diǎn)強(qiáng)調(diào)了“融合”二字。在他看來，騰訊大數(shù)據(jù)平臺(tái)正向著這三個(gè)特點(diǎn)進(jìn)行迭代：

1、批流融合，批量計(jì)算、實(shí)時(shí)計(jì)算從分離，到SQL層面的融合，再到底層計(jì)算引擎層面、存儲(chǔ)層面的多方面技術(shù)融合;2、ABC融合，即人工智能、大數(shù)據(jù)和云的融合，前兩者天生就應(yīng)該綁在一起的，騰訊自研的機(jī)器學(xué)習(xí)平臺(tái)Angel就是一個(gè)融合的案例，Angel目前已經(jīng)實(shí)現(xiàn)了預(yù)處理到數(shù)據(jù)訓(xùn)練融合，當(dāng)把整個(gè)體系能搬在云上后，即實(shí)現(xiàn)ABC的真正融合;3、數(shù)據(jù)湖，實(shí)現(xiàn)跨IDC、跨平臺(tái)、跨異構(gòu)數(shù)據(jù)源的數(shù)據(jù)共享，通過聯(lián)邦學(xué)習(xí)來解決數(shù)據(jù)共享中存在的數(shù)據(jù)安全和隱私的問題。技術(shù)的發(fā)展，并不總是一帆風(fēng)順的。蔣杰表示，在經(jīng)歷大數(shù)據(jù)平臺(tái)發(fā)展的階段中，走過的坑可謂只多不少。

在資源調(diào)度領(lǐng)域，原生Hadoop的可承載規(guī)模較小，這就意味著需要自研調(diào)度器。通過自研調(diào)度器，騰訊在2014年讓Hadoop單集群規(guī)模達(dá)到8800臺(tái)，目前超過4萬臺(tái)。解決完離線規(guī)模的問題以后，騰訊大數(shù)據(jù)團(tuán)隊(duì)再度面臨解決在線資源問題。他們需要實(shí)現(xiàn)在線平臺(tái)和離線平臺(tái)的混合部署，這個(gè)過程需要更好的資源隔離，并且需要容器具備虛擬機(jī)一樣的隔離能力。同時(shí)，還要獲得在線業(yè)務(wù)的優(yōu)先調(diào)度能力，以提高在線資源率。

在數(shù)據(jù)采集方面，騰訊大數(shù)據(jù)團(tuán)隊(duì)在開始階段主要引入和使用開源軟件，經(jīng)常會(huì)出現(xiàn)數(shù)據(jù)重復(fù)和數(shù)據(jù)丟包問題，后來自研了TubeMQ來解決，從2013年到目前，該平臺(tái)數(shù)據(jù)規(guī)模從百億到35萬億，翻了幾千倍。10萬億規(guī)模的數(shù)據(jù)消費(fèi)存在延時(shí)問題，TubeMQ要在如此大規(guī)模之下達(dá)到平均5毫秒的延時(shí)要求，他們采取軟硬結(jié)合的技術(shù)來解決。

在數(shù)據(jù)處理方面，騰訊要以毫秒級(jí)的速度對(duì)數(shù)據(jù)中心里分布在不同的國家、不同的存儲(chǔ)系統(tǒng)、不同的集群的異構(gòu)數(shù)據(jù)進(jìn)行快速處理，漂移計(jì)算SuperSQL解決方案應(yīng)運(yùn)而生。SuperSQL通過智能CBO優(yōu)化器(基于成本的優(yōu)化)，將計(jì)算下推到分布在各地的異構(gòu)數(shù)據(jù)源，實(shí)現(xiàn)高效的異構(gòu)數(shù)據(jù)分析，使得數(shù)據(jù)分析過程的整個(gè)性能表現(xiàn)比傳統(tǒng)處理方式高出26倍，特別是針對(duì)海量數(shù)據(jù)情況下，這樣的解決方案優(yōu)勢(shì)也就越發(fā)明顯。

最后的難點(diǎn)，是騰訊面臨著萬億規(guī)模的大數(shù)據(jù)訓(xùn)練需求。最開始，他們的數(shù)據(jù)訓(xùn)練需求來源于廣告業(yè)務(wù)，他們使用Spark來構(gòu)建數(shù)據(jù)訓(xùn)練體系，但只能支持千萬級(jí)別維度的訓(xùn)練。因此他們自研高性能的機(jī)器學(xué)習(xí)平臺(tái)Angel來解決，從最開始Anlge支持十億維度，逐步提升到千億。目前，Angel平臺(tái)的訓(xùn)練量級(jí)已經(jīng)從千億擴(kuò)增到萬億。

10年間，走過的坑有多深，只有騰訊大數(shù)據(jù)團(tuán)隊(duì)知曉。而他們，把這些都搬上云，同時(shí)，他們從2014年起就對(duì)外開源，希望為同類廠商及廣大開發(fā)者提供可行性的解決方案。

踩過的坑，別人就別再踩了

蔣杰稱，騰訊大數(shù)據(jù)平臺(tái)的底層技術(shù)本源自于開源，通過發(fā)展、迭代，再以開源的方式回饋社區(qū)是最好的選擇。

會(huì)后，蔣杰在采訪環(huán)節(jié)闡述了更多關(guān)于大數(shù)據(jù)平臺(tái)技術(shù)發(fā)展的觀點(diǎn)，這里將采訪內(nèi)容整理出來以供分享：

1、TBase作為在線交易數(shù)據(jù)庫，都有哪些適用場(chǎng)景?TBase和其他類型數(shù)據(jù)庫如何協(xié)同運(yùn)作，其中是否存在多存儲(chǔ)管理?

答：現(xiàn)在某大型保險(xiǎn)公司在用TBase數(shù)據(jù)庫，其他像云南省公安、數(shù)字廣東及十多家其他傳統(tǒng)行業(yè)的企業(yè)都在用TBase數(shù)據(jù)庫，應(yīng)用場(chǎng)景還是比較多的。

具體來說，這家保險(xiǎn)公司是用TBase作為新一代的分布式數(shù)據(jù)庫來替換傳統(tǒng)集中數(shù)據(jù)庫，這使得其一些關(guān)鍵應(yīng)用實(shí)現(xiàn)了遷移及生產(chǎn)上線。TBase經(jīng)過專門的設(shè)計(jì)可以做到HTAP，也同時(shí)支持高效的OLAP和海量的OLTP。

2、會(huì)上您說騰訊大數(shù)據(jù)全部開源，這樣做對(duì)于騰訊來說好處體在哪兒?另外請(qǐng)您詳細(xì)分享一下剛才會(huì)上您提到的ABC融合。

答：開源的目的主要是為了更好的回饋社區(qū)，另外我們也希望能有更多的開發(fā)者和團(tuán)隊(duì)加入到這個(gè)生態(tài)中來，這樣的話整個(gè)大數(shù)據(jù)的功能會(huì)越來越多。

對(duì)騰訊來說，去做開源主要有兩點(diǎn)：

第一，其影響力優(yōu)勢(shì)能夠吸引更多的開發(fā)者加入跟我們一起來研發(fā)。第二，只有整個(gè)開源生態(tài)的繁榮，才能夠讓開源軟件的功能更加完善，也能夠更好的支撐到我們的業(yè)務(wù)。

關(guān)于ABC，這其實(shí)也突顯了今天說到的融合這個(gè)主題。首先，因?yàn)闄C(jī)器學(xué)習(xí)平臺(tái)和大數(shù)據(jù)平臺(tái)屬于一個(gè)大團(tuán)隊(duì)，底層研發(fā)力量的融合。另外，Angel就是AB融合中的一個(gè)很好的成果體現(xiàn)，我們把數(shù)據(jù)處理和數(shù)據(jù)訓(xùn)練，在Angel里面做閉環(huán)，所以一個(gè)Angel就能呈現(xiàn)出一些同類產(chǎn)品不具備的優(yōu)勢(shì)。

在上層應(yīng)用上，如果光有AI、沒有數(shù)據(jù)去支撐，整個(gè)業(yè)務(wù)其實(shí)很難跑得起來。和C的融合，指的是無論CPU資源還是GPU資源，亦或是FPGA資源，要擁有很好的彈性和開箱即用的能力，就需要云的能力，所以希望把這些能力都放在云上，能夠提供給開發(fā)者和企業(yè)，來實(shí)現(xiàn)整個(gè)的ABC的融合。

3、第一個(gè)問題，現(xiàn)在業(yè)界談自主可控比較多，開源在自主可控方面具有哪些優(yōu)勢(shì)?第二個(gè)問題，騰訊在開源建設(shè)和開源項(xiàng)目上做了很多嘗試，那么具體做了哪些努力?取得了哪些成果?

答：相對(duì)于閉源軟件，基于開源最大的好處是無任何廠商綁定風(fēng)險(xiǎn)。自主可控不等于從零開始研發(fā)，使用主流的開源技術(shù)，廠商和用戶聯(lián)合創(chuàng)新，核心的技術(shù)由企業(yè)自己掌握。在這個(gè)基礎(chǔ)之上來談自主可控，通過吸收自己以外的一些能力和資源，更好的實(shí)現(xiàn)自主可控。

在2017年，騰訊將第一代計(jì)算平臺(tái)Angel開源出來;到了2019年，新開發(fā)的Angel3.0平臺(tái)也已開源，現(xiàn)在已經(jīng)有像華為、小米、新浪微博等公司在使用這一平臺(tái)。

今天大會(huì)上，我們?cè)俣乳_源資源管理平臺(tái)核心TKE和分布式數(shù)據(jù)庫TBase。未來，類似漂移計(jì)算、聯(lián)邦學(xué)習(xí)數(shù)據(jù)庫等這樣的能力，我們都會(huì)陸續(xù)去開放和開源。所以整個(gè)開源生態(tài)，其實(shí)如果由企業(yè)來推動(dòng)大家來加入這才是一個(gè)正生態(tài)，如果好東西永遠(yuǎn)都留在自己家里，那其實(shí)這個(gè)生態(tài)很難去繁榮。

4、關(guān)于大數(shù)據(jù)的四個(gè)方向，具體是什么?

答：大數(shù)據(jù)平臺(tái)發(fā)展的四個(gè)方向：

第一個(gè)是批流融合，一直以來，批和流的引擎都是分開的，近幾年批流融合的嘗試越來越多，但是基本都是在SQL層面做融合，未來有沒有可能從底層的計(jì)算引擎融合?我們正在做這個(gè)方面的研究。

第二是ABC的融合，上一個(gè)問題也說過了，不再重復(fù)。

第三個(gè)就是數(shù)據(jù)湖和聯(lián)邦學(xué)習(xí)。剛才分享過的漂移計(jì)算就是數(shù)據(jù)湖方向的，是為了解決跨IDC、跨平臺(tái)、解決異構(gòu)數(shù)據(jù)的共享計(jì)算的問題，而聯(lián)邦學(xué)習(xí)是為了解決數(shù)據(jù)共享帶來的數(shù)據(jù)安全和數(shù)據(jù)隱私的問題。

第四個(gè)是必須具備混合部署的能力，公有云、私有云，不同的集群，都能管理好。還有跨域的數(shù)據(jù)共享，不同區(qū)域，不同機(jī)房，不同的云。

5、Angel平臺(tái)目前針對(duì)于哪些復(fù)雜計(jì)算場(chǎng)景在做數(shù)據(jù)的訓(xùn)練?

答：Angel原來更專注解決大數(shù)據(jù)、大模型體系。舉一個(gè)最簡(jiǎn)單的例子，在Spark引擎下現(xiàn)在只能支持幾千萬維度的計(jì)算，而我們現(xiàn)在的實(shí)際需求已經(jīng)達(dá)到了萬億，就是說這之間有幾百倍的差距，所以必須要去做自研。

主要的應(yīng)用場(chǎng)景像我們本身的廣告、金融、微信支付、整個(gè)社交體系等都有應(yīng)用。除了上述提到的幾家廠商，現(xiàn)在又在平臺(tái)上迭代了一些新的能力，讓開發(fā)者應(yīng)用，希望將Angel做成一個(gè)全棧式的平臺(tái)，能夠給開發(fā)者更好的體驗(yàn)。

6、騰訊的數(shù)據(jù)庫有很多，為什么選擇TBase開源?選擇開源的標(biāo)準(zhǔn)是什么?

答： TBase源于開源的PostgreSQL，功能強(qiáng)大，適合企業(yè)級(jí)應(yīng)用。

可以用來開源的平臺(tái)，第一基礎(chǔ)是至少這個(gè)平臺(tái)是穩(wěn)定的、可靠的，并且在騰訊已有的大業(yè)務(wù)經(jīng)過歷練的。第二個(gè)基礎(chǔ)，開源出去的東西對(duì)業(yè)界是有價(jià)值的，而不能說光在騰訊環(huán)境下有用。最后一個(gè)基礎(chǔ)，騰訊在大力推動(dòng)開源協(xié)同的技術(shù)戰(zhàn)略，這是自上而下的，整個(gè)騰訊的數(shù)據(jù)庫大方向會(huì)是開源協(xié)同。

7、騰訊(大數(shù)據(jù)類的)開源項(xiàng)目能為運(yùn)營商提供怎樣的助力(偏向運(yùn)營商角度)?

答：包括電信、聯(lián)通、移動(dòng)在內(nèi)，現(xiàn)在的運(yùn)營商都在做云。云架構(gòu)的搭建和優(yōu)化對(duì)運(yùn)營商本身的基礎(chǔ)建設(shè)是有很大幫助的。

5G技術(shù)的發(fā)展，會(huì)帶來非結(jié)構(gòu)化數(shù)據(jù)大規(guī)模的增加，包括AI能力的實(shí)現(xiàn)，需要更多去尋找數(shù)據(jù)本身的價(jià)值，通過數(shù)據(jù)的價(jià)值去回填于運(yùn)營商自身業(yè)務(wù)的發(fā)展。

也就是說，所有數(shù)據(jù)相關(guān)的動(dòng)作，都是跟業(yè)務(wù)強(qiáng)關(guān)聯(lián)的，有商業(yè)價(jià)值的，才有我們長(zhǎng)期發(fā)展的空間。值得注意的是，在做數(shù)據(jù)價(jià)值挖掘的時(shí)候，需要大數(shù)據(jù)平臺(tái)和AI的平臺(tái)來構(gòu)建底層建設(shè)，這是一脈相承的邏輯。

8、做開源對(duì)于企業(yè)來說有哪些商業(yè)價(jià)值的回饋?

答：首先互聯(lián)網(wǎng)公司最大的價(jià)值是人才，開源會(huì)聚集很多的人才。

在我看來，研發(fā)和開發(fā)只有高端人才云集，我們才能做出高價(jià)值的產(chǎn)品，能夠服務(wù)我們高價(jià)值的業(yè)務(wù)，這是很關(guān)鍵的一個(gè)邏輯。所以開源其實(shí)沒有直接的商業(yè)價(jià)值，但間接的商業(yè)價(jià)值是一定會(huì)有的并且會(huì)越來越大。

9、Spark on Angel和Pytorch on Angel這兩個(gè)平臺(tái)的區(qū)別在哪里?各自帶來的優(yōu)勢(shì)或者是能力是什么?

答：主要是深度學(xué)習(xí)和圖計(jì)算的能力，為了滿足不同的開發(fā)者，我們會(huì)去支持不同的引擎，這個(gè)我覺得是一個(gè)功能和生態(tài)的延伸。可能未來有新的好用的開發(fā)平臺(tái)出來，我們也會(huì)去支持，因?yàn)檫@才能夠活躍生態(tài)。

10、做開源的成本有哪些?對(duì)比國內(nèi)外開源的進(jìn)度，打造騰訊大數(shù)據(jù)平臺(tái)時(shí)如何在技術(shù)上作取舍?

答：開源一定會(huì)帶來人力成本的消耗，會(huì)涉及到一些額外的工作量。我相信每一個(gè)推動(dòng)開源的人、組織和企業(yè)都是富有社會(huì)責(zé)任感的，如果沒有社會(huì)責(zé)任感的企業(yè)是不會(huì)做開源這件事情。對(duì)于騰訊這樣體量的企業(yè)，去消耗一部分人力去做生態(tài)的建設(shè)，投入是非常值得的。

雷鋒網(wǎng)了解到，2014年，騰訊的第一代開發(fā)計(jì)算平臺(tái)TDW開源，到2017年第三代的計(jì)算平臺(tái)Angel也已經(jīng)開源，該平臺(tái)已經(jīng)捐給Linux基金會(huì)。到今年9月份，騰訊開源了實(shí)時(shí)數(shù)據(jù)采集平臺(tái)TubeMQ，并將其捐獻(xiàn)給Apache基金會(huì)。

無論國內(nèi)國外，整體上是一個(gè)逐步前進(jìn)的過程，而開源社區(qū)的認(rèn)同感是社區(qū)可以給予的，越來越多的開發(fā)者也開始認(rèn)可國內(nèi)開源社區(qū)的存在。其次，國外有很多商業(yè)機(jī)構(gòu)在做商業(yè)的大數(shù)據(jù)產(chǎn)品，這是基于企業(yè)的生產(chǎn)需要。開源大數(shù)據(jù)項(xiàng)目，更多是形成監(jiān)督和共建的機(jī)制，反過來推進(jìn)團(tuán)隊(duì)更好地往前的發(fā)展。

目前，騰訊云已經(jīng)提供了對(duì)外開放的能力，其中包括存儲(chǔ)網(wǎng)絡(luò)、數(shù)據(jù)庫到上層整個(gè)大數(shù)據(jù)平臺(tái)、機(jī)器學(xué)習(xí)平臺(tái)，到上層服務(wù)于SAAS、語音NLP的整個(gè)體系。通過云上的產(chǎn)品，企業(yè)可以在沒有專業(yè)大數(shù)據(jù)和AI人才的前提下進(jìn)行大數(shù)據(jù)的各項(xiàng)分析。會(huì)議當(dāng)天，蔣杰宣布，資源管理容器平臺(tái)TKE和分布式數(shù)據(jù)庫TBase開源，隨著在大數(shù)據(jù)開源領(lǐng)域的開源逐步加速，騰訊正在成為中國大數(shù)據(jù)領(lǐng)域開源最全面的廠商之一。