近日，Google和Facebook宣布，使開源機(jī)器學(xué)習(xí)框架PyTorch與Tensor-Processing Units(TPU)進(jìn)行合作。這種伙伴關(guān)系標(biāo)志著人工智能研究合作進(jìn)入新時代。

“今天，我們很高興地宣布，Google TPU團(tuán)隊(duì)的工程師正積極與PyTorch核心開發(fā)人員合作，將PyTorch與Cloud TPU連接起來。長期目標(biāo)是讓每個人都能享受PyTorch的簡便性和靈活性，同時能夠從Cloud TPU的性能、可擴(kuò)展性和成本效益上獲益。”Google產(chǎn)品總監(jiān)Rajen Sheth說道。

PyTorch是Facebook的開源框架，可以開發(fā)人工智能研究中使用的數(shù)學(xué)程序。這樣的框架允許研究人員開發(fā)任意復(fù)雜的數(shù)學(xué)計(jì)算圖并自動計(jì)算衍生產(chǎn)物。

TPU是由Google專門為AI系統(tǒng)設(shè)計(jì)的計(jì)算機(jī)芯片。據(jù)Google描述，TPU比傳統(tǒng)的圖形處理單元(GPU)快15到30倍。

PyTorch有什么新功能?

近日，F(xiàn)acebook發(fā)布的深度學(xué)習(xí)框架 PyTorch 1.0主要有三大更新：

一是添加了一個新的混合前端，支持從 Eager 模式到圖形模式的跟蹤和腳本模型，以彌合研究和生產(chǎn)部署之間的差距。

二是一個經(jīng)過改進(jìn)的 Torch 分布式庫，可以在 Python 和 C++環(huán)境中實(shí)現(xiàn)更快的訓(xùn)練。

三是添加了針對關(guān)鍵性能研究的 Eager 模式 C++接口，將在測試版中發(fā)布。

目前，研究人員和工程師必須面對許多框架和工具，以創(chuàng)建新的深度學(xué)習(xí)模型并將其轉(zhuǎn)移到生產(chǎn)環(huán)境中大規(guī)模運(yùn)運(yùn)行，而這里多數(shù)框架和工具通常是不兼容的。如此，將會降低開發(fā)者在規(guī)模化生產(chǎn)中部署 AI 能力的速度。通過這個最新版本，將現(xiàn)有 PyTorch 框架的靈活性與 Caffe2的生產(chǎn)能力結(jié)合，提供從研究到生產(chǎn)性 AI 的無縫路徑。

Google的TPU有什么優(yōu)勢?

雖然 TPU 是一種專用集成電路，但它運(yùn)行的程序來自 TensorFlow 框架下的神經(jīng)網(wǎng)絡(luò)，驅(qū)動了谷歌數(shù)據(jù)中心的許多重要應(yīng)用，包括圖像識別、翻譯、搜索和游戲。通過專門為神經(jīng)網(wǎng)絡(luò)重新分配芯片計(jì)算資源，TPU 在真實(shí)數(shù)據(jù)中心負(fù)載環(huán)境下效率要比通用類型的計(jì)算機(jī)高30-80 倍，目前已為全球 10 億人提供日常服務(wù)。另外，神經(jīng)網(wǎng)絡(luò)的推理階段通常會有嚴(yán)格的響應(yīng)時間要求，這降低了通用計(jì)算機(jī)所使用技術(shù)的有效性;通用計(jì)算機(jī)通常運(yùn)行得較快，但某些情況下也會較慢。

為什么Pytorch與TPU建立連接很重要

將GPU上的大量數(shù)據(jù)與神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)合是當(dāng)前深度學(xué)習(xí)系統(tǒng)成功的催化劑?？赡苄枰ㄙM(fèi)數(shù)月訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，在使用GPU訓(xùn)練時，時間縮短到短短的幾個小時。隨著深度學(xué)習(xí)的成熟，神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)集變得越來越大，這些網(wǎng)絡(luò)現(xiàn)在需要數(shù)月才能在GPU上進(jìn)行訓(xùn)練。谷歌專有的TPU為這些龐大的系統(tǒng)提供了一種更快速的訓(xùn)練方法。更快的訓(xùn)練意味著研究人員可以更快地進(jìn)行實(shí)驗(yàn)，從而提高AI研究的速度。

為什么這種伙伴關(guān)系有利于人工智能研究

傳統(tǒng)上，Google和Facebook通過Google Deepmind，Google Brain和Facebook AI Research進(jìn)行了獨(dú)立的AI研究。因此，人工智能工具生態(tài)系統(tǒng)已經(jīng)在Tensorflow(谷歌的AI框架)與Pytorch的辯論中分立，雖然競爭使得兩個框架都以極快的速度發(fā)展，但其也使得研究在可重復(fù)性方面困難重重。

如果此公告標(biāo)志著一種更加協(xié)作的AI研究方法，我們可能會看到這兩個框架之間的互操作性得到改善。此外，這樣的結(jié)果使得AI在智能手機(jī)上的部署更容易，也便于多種框架建構(gòu)統(tǒng)一的工具生態(tài)系統(tǒng)，并改善研究結(jié)果的可重復(fù)性。