記者消息，2019 年 7 月 11 日，Google 宣布旗下的 Google Cloud Platform（GCP）在最新一輪的 MLPerf 基準(zhǔn)競賽中創(chuàng)造了三個(gè)新的表現(xiàn)記錄，這三個(gè)記錄都是基于 Cloud TPU v3 Pod 實(shí)現(xiàn)的。

Google 表示，利用 Cloud TPU Pod 的強(qiáng)大速度，這三個(gè)記錄用了不到兩分鐘的計(jì)算時(shí)間就得以完成。

MLPerf：機(jī)器學(xué)習(xí)領(lǐng)域的華山論劍

MLPerf 是 2018 年 5 月由 Google、百度、Intel、AMD、哈佛大學(xué)和斯坦福大學(xué)等企業(yè)和學(xué)術(shù)機(jī)構(gòu)聯(lián)合發(fā)布的一款基準(zhǔn)測試工具，它的用處是用來測量機(jī)器學(xué)習(xí)軟件和硬件的執(zhí)行速度，獲得了吳恩達(dá)和 Google 機(jī)器學(xué)習(xí)負(fù)責(zé)人 Jeff Dean 的強(qiáng)烈推薦。

針對(duì) MLPerf 的發(fā)布，吳恩達(dá)聲明稱：

AI 正在給各個(gè)行業(yè)帶來改變，但為了充分這項(xiàng)技術(shù)的真正潛力，我們?nèi)匀恍枰斓挠布c軟件……我們當(dāng)然希望獲得更強(qiáng)大的資源平臺(tái)，而基準(zhǔn)測試方案的標(biāo)準(zhǔn)化進(jìn)程將幫助 AI 技術(shù)開發(fā)人員創(chuàng)造出此類產(chǎn)品，從而幫助采用者更明智地選擇適合需求的 AI 選項(xiàng)。

Jeff Dean 也在 Twitter 上表示，Google 很高興與眾多大學(xué)和企業(yè)一起，成為致力于將 MLPerf 作為衡量機(jī)器學(xué)習(xí)性能的通用標(biāo)準(zhǔn)的組織之一。

MLPerf 項(xiàng)目的主要目標(biāo)包括：

通過公平且實(shí)用的衡量標(biāo)準(zhǔn)加快機(jī)器學(xué)習(xí)發(fā)展進(jìn)程。對(duì)各競爭系統(tǒng)進(jìn)行公平比較，同時(shí)鼓勵(lì)創(chuàng)新以改善業(yè)界領(lǐng)先的機(jī)器學(xué)習(xí)技術(shù)。保持基準(zhǔn)測試的成本合理性，允許所有人參與其中。為商業(yè)及研究社區(qū)提供服務(wù)。提供可重復(fù)且可靠的測試結(jié)果。

在具體的測試項(xiàng)目上，MLPerf 覆蓋了視覺、語言、商業(yè)和通用四大領(lǐng)域，包含七項(xiàng)基準(zhǔn)測試方案。每個(gè) MLPerf 訓(xùn)練基準(zhǔn)測試的度量標(biāo)準(zhǔn)是：在特定數(shù)據(jù)集上訓(xùn)練一個(gè)模型使其達(dá)到特定性能的總體時(shí)間。眾所周知，機(jī)器學(xué)習(xí)任務(wù)的訓(xùn)練時(shí)間有很大差異，因此，MLPerf 的最終訓(xùn)練結(jié)果是由指定次數(shù)的基準(zhǔn)測試時(shí)間平均得出的，其中會(huì)去掉最低和最高的數(shù)字。

MLPerf 的結(jié)果根據(jù)專區(qū)和給定的產(chǎn)品或平臺(tái)進(jìn)行分類，目前有兩種專區(qū)，即封閉專區(qū)（Closed Division）和開放專區(qū)（Open Division）。其中封閉專區(qū)會(huì)指定使用的模型，并限制批量大小或?qū)W習(xí)率等超參數(shù)的值，它對(duì)于對(duì)比硬件和軟件系統(tǒng)非常公平。

英偉達(dá)成為第一回合最大贏家

2018 年 12 月 12 日，支持 MLPerf 的研究者和工程師們公布了第一個(gè)回合的競賽結(jié)果，其中測量了多種機(jī)器學(xué)習(xí)任務(wù)在主流機(jī)器學(xué)習(xí)硬件平臺(tái)上的訓(xùn)練時(shí)間，包括 Google 的 TPU、英特爾的 CPU 和英偉達(dá)的 GPU。其測試基準(zhǔn)如下：

通過這次競賽，MLPerf 產(chǎn)生了封閉專區(qū) V0.5 版本，其結(jié)果如下：

從結(jié)果來看，英偉達(dá)在其提交的六個(gè) MLPerf 基準(zhǔn)測試結(jié)果中取得了最佳性能，其中包括圖像分類、目標(biāo)實(shí)例分割、目標(biāo)檢測、非循環(huán)翻譯、循環(huán)翻譯和推薦系統(tǒng)——從而成為最大贏家。

利用 Cloud TPU v3 Pod，Google 五局三勝

2019 年 7 月 10 日，MLPerf 第二回合的競賽結(jié)果公布，其測試標(biāo)準(zhǔn)如下：

基于這輪競賽結(jié)果的封閉專區(qū) V0.6 版本如下：

可以看到，根據(jù) MLPerf 封閉專區(qū) 0.6 版本所呈現(xiàn)的結(jié)果，在基于 Transformer 和 SSD 模型的基準(zhǔn)測試項(xiàng)目中，Google Cloud TPU 比英偉達(dá)預(yù)置 GPU 的最佳表現(xiàn)高出了超過 84%。另外，基于 ResNet-50 模型，Google Cloud TPU 也比英偉達(dá)預(yù)置 GPU 略微勝出。

在本次競賽中，幫助 Google 勝出的，是 Cloud TPU v3 Pod。

Cloud TPU v3 Pod 是 Google 推出的第三代可擴(kuò)展云端超級(jí)計(jì)算機(jī)，其核心特征就是內(nèi)置了 Google 自主打造的 TPU 處理器。2019 年 5 月，Google 在 I/O 開發(fā)者大會(huì)上宣布了它的測試版并進(jìn)行了公開預(yù)覽。

據(jù)記者了解，每一個(gè) Cloud TPU 最高可包含 1024 個(gè)單獨(dú)的 TPU 芯片，這些芯片通過二維環(huán)形網(wǎng)狀網(wǎng)絡(luò)連接，TPU 軟件堆棧使用該網(wǎng)絡(luò)通過各種高級(jí) API 將多個(gè)機(jī)架作為一臺(tái)機(jī)器進(jìn)行編程；用戶還可以利用 Cloud TPU Pod 的一小部分，稱為“切片”。

Google 方面表示，最新一代 Cloud TPU v3 Pod 采用了液冷式設(shè)計(jì)，可實(shí)現(xiàn)最佳性能；每一個(gè)都提供超過 100 petaFLOP 的計(jì)算能力；Google 也號(hào)稱，就每秒原始數(shù)學(xué)運(yùn)算而言 Cloud TPU v3 Pod 與全球五大超級(jí)計(jì)算機(jī)相當(dāng)，盡管它的數(shù)值精度較低。

借著這次在 MLPerf 第二次結(jié)果中出風(fēng)頭的機(jī)會(huì)，Google 也不忘在官網(wǎng)推介一下 Cloud TPU v3 Pod 的最新進(jìn)展。比如說，Recursion Pharmaceuticals 是一家運(yùn)用計(jì)算機(jī)視覺技術(shù)來處理細(xì)胞圖像，通過分析細(xì)胞特征來評(píng)估疾病細(xì)胞藥后反應(yīng)結(jié)果的公司；以往該公司在通過本地 GPU 訓(xùn)練模型時(shí)需要 24 小時(shí)，但利用 Cloud TPU Pod，只需要 15 分鐘就可以完成。

當(dāng)然，在記者看來，作為一個(gè)典型的技術(shù)派，Google 之所以如此著力推進(jìn) Cloud TPU 的進(jìn)展，當(dāng)然也是希望有更多的開發(fā)者參與其中——畢竟云計(jì)算是當(dāng)前 Google 最為重視的業(yè)務(wù)之一。