Facebook人工智能母體技術(shù)解析
Facebook今天第一次正式介紹了FBLearner Flow,一個可以為全公司員工管理機器學(xué)習模型的機器學(xué)習軟件。換句話說,這是一個可以自己制造人工智能的人工智能,你可以理解為傳說中的人工智能母體。
它與其他基于云端的機器學(xué)習服務(wù)有點相似,例如微軟的Azure機器學(xué)習或者Airbnb的開源Airflow,不過,F(xiàn)BLearner Flow是根據(jù)Facebook自己的業(yè)務(wù)而進行最優(yōu)化的,裝滿了Facebook工程師開發(fā)的算法,讓公司其他人都可以為自己的模型而使用該平臺。
圖片來源:webcorenigeria
“公司超過25%的人都在使用,使用情景是我們之前無法預(yù)想的。”Facebook核心機器學(xué)習小組總監(jiān)Hussein Mehanna在一次訪談中告訴Venture Beat。
Facebook不只可以發(fā)布關(guān)于FBLearner Flow的學(xué)術(shù)論文,還可以最終將其開源。Facebook工程師已經(jīng)與其他公司的人討論了這類技術(shù),包括Linkedin、Twitter和Uber等公司。Mehanna說,他們都非常感興趣。
當然會對開源感興趣啦——這個系統(tǒng)已經(jīng)在Facebook這樣的大公司驗證可行,而且,這!不!花!錢!這一點就與來自Domino Data Lab和Yhat的數(shù)據(jù)科學(xué)合作工具不同。
Facebook經(jīng)常將一些技術(shù)開源,這樣的做法也符合公司自己的需要,因此如果未來FBLearner Flow完全開源了也不奇怪。問題是Facebook是否愿意投入工程資源,將這項技術(shù)與其專利系統(tǒng)的匹配斷開。話雖如此,如果Facebook不愿開源、將FBLearner Flow壓在箱底也不奇怪。因為多虧了這項技術(shù),員工變得更加高效了。這會是一個競爭優(yōu)勢。人們在新系統(tǒng)中可以看到過往的試驗和結(jié)果,甚至將兩個不同的機器學(xué)習流水線結(jié)合起來,設(shè)計出某種更加復(fù)雜的東西。此外,圖形交互界面讓非工程師也可以使用這個新平臺,因此才會有Mehanna說高達的25%的人都在使用。
無論未來是否會開源,至少,我們今天獲得了一部分FBLearner Flow的技術(shù)詳解。讓我們來看看Facebook工程師Jeffrey Dunn的博文,詳細解讀FBLearner Flow作為Facebook的人工智能母體到底厲害在哪兒。Jefferey Dunn從卡內(nèi)基梅隆大學(xué)獲得碩士學(xué)位,2011年加入Facebook,參與打造圖片搜索中的網(wǎng)絡(luò)搜索等工作。
圖片來源:Facebook Code
如今,F(xiàn)acebook的許多體驗和交互都是依靠AI實現(xiàn)的。當你登錄Facebook,我們使用機器學(xué)來給你提供獨特的、個人化的體驗。機器學(xué)習(ML)模型實現(xiàn)了個人化新聞流(News Feed)、過濾了可能得罪人的內(nèi)容、突顯流行熱點話題并將搜索結(jié)果排名。還有很多其他體驗可以從機器學(xué)習中獲益。但是以前,工程師必須有很強機器學(xué)習背景,不然沒法好好利用公司的機器學(xué)習基礎(chǔ)設(shè)施。在2014年底,我們從零開始,重新定義Facebook的機器學(xué)習平臺,將最先進的AI和ML算法送到Facebook每一位工程師的手中。
我們希望能有這樣的一個平臺:
1.每個機器學(xué)習算法應(yīng)該可以一次性設(shè)置好,可以重復(fù)使用;
2. 工程師可以寫一個訓(xùn)練流水線,在許多機器上平行運行,可以被很多工程師所用。
3. 無論工程師在機器學(xué)習領(lǐng)域的背景深淺,都可以很簡單地訓(xùn)練模型,而且,其中幾乎所有的 步驟都可以完全自動化。
4. 人人都能很方便地搜索過往試驗、查看結(jié)果、與他人分享,并在某一個試驗中開啟新的變量。
我們決定建造一個全新平臺:FBLearner Flow,可以簡單方便地在不同產(chǎn)品中重復(fù)使用算法,可以放大規(guī)模同時運行幾千個定制試驗,并且能夠輕松管理試驗。這個平臺提供了創(chuàng)新性的功能,例如從流水線定義和自動平行Python代碼自動生成UI體驗。平臺從創(chuàng)立起已經(jīng)訓(xùn)練了超過一百萬個模型,我們的預(yù)測服務(wù)發(fā)展到每秒超過600萬次預(yù)測。
減少了手動工作的工程師們可以花更多時間進行特征工程,這反過來又可以進一步提升精度。工程師可以在更大的平臺層面去發(fā)揮影響。FBLearner Flow提供了平臺和工具,讓工程師每天進行幾千個試驗。