NVIDIA 方面宣布與開源社區(qū)達成合作，為 Apache Spark 3.0 帶來端到端的 GPU 加速。Apache Spark 3.0 是一種用于大數(shù)據(jù)處理的分析引擎，目前已被全球超過 500,000 名數(shù)據(jù)科學家所使用。

按照計劃，隨著 Spark 3.0 于春季晚些時候發(fā)布，數(shù)據(jù)科學家和機器學習工程師將首次能夠把革命性的 GPU 加速應(yīng)用于普遍使用 SQL 數(shù)據(jù)庫操作進行的 ETL（提取、轉(zhuǎn)換和加載）數(shù)據(jù)處理工作負載中。

此外，AI 模型訓練將能夠在相同的 Spark 集群上進行處理，而不是將工作負載作為單獨的流程在單獨的基礎(chǔ)架構(gòu)上運行。這樣就可以對整個數(shù)據(jù)科學的處理流程進行高性能數(shù)據(jù)分析，對從數(shù)據(jù)湖到模型訓練所涉及的數(shù)十、乃至數(shù)千 TB 的數(shù)據(jù)進行加速，而且無需對已被應(yīng)用于本地和云端 Spark 應(yīng)用程序的現(xiàn)有代碼進行修改。

NVIDIA 企業(yè)計算部門負責人 Manuvir Das 表示：“數(shù)據(jù)分析是當今企業(yè)和研究人員面臨的最大的高性能計算挑戰(zhàn)?！?“從 ETL 到培訓再到推理，整個 Spark 3.0 方案的原生 GPU 加速為用戶提供了最終將大數(shù)據(jù)潛力與 AI 性能相連所需的性能和規(guī)模?！?/p>

基于與 NVIDI A的戰(zhàn)略 AI 合作關(guān)系，Adobe 是最早在 Databricks 上運行 Spark 3.0 預(yù)覽版的公司之一。Adobe 已在 Adobe Experience Cloud 中使用 GPU 加速數(shù)據(jù)分析技術(shù)進行產(chǎn)品開發(fā)，并為各項推進數(shù)字化業(yè)務(wù)進程的功能提供支持。并且在初步測試中，其已將性能提高了 7 倍，以及節(jié)省了 90% 的成本。

性能提升后的 Spark 3.0 讓科學家能夠訓練包含有更大數(shù)據(jù)集的模型，并增加反復(fù)訓練模型的頻率，從而提高模型的精度?，F(xiàn)在，數(shù)據(jù)科學家每天可以處理數(shù)TB的新數(shù)據(jù)，這對于需要為在線推薦系統(tǒng)提供支持或分析新研究數(shù)據(jù)的數(shù)據(jù)科學家們而言至關(guān)重要。此外，處理速度的加快，減少了交付結(jié)果所需的硬件資源，從而節(jié)省了大量成本。

Adobe 機器學習高級總監(jiān) William Yan 表示：“相比于在 CPU 上運行 Spark，NVIDIA 加速的 Spark 3.0 性能速度得到了大幅提高。伴隨著 GPU 性能的飛躍性提升，也將為我們?nèi)?Adobe Experience Cloud 應(yīng)用中 AI 功能的提升帶來新的可能性。”

NVIDIA正在為 Apache Spark 貢獻一種新的開源 RAPIDS 加速器，以幫助數(shù)據(jù)科學家提高其數(shù)據(jù)流程的端到端性能。該加速器能夠?qū)⒅靶枰?CPU 上運行的功能轉(zhuǎn)到 GPU 上運行，以發(fā)揮 GPU 的性能：

在無需更改任何代碼的情況下顯著提高 Spark SQL 和 DataFrame 的運行性能，從而加速 Spark 中的 ETL 數(shù)據(jù)流程。

無需獨立的機器學習和深度學習集群，即可在相同的基礎(chǔ)架構(gòu)上加速數(shù)據(jù)準備和模型訓練。

加速 Spark 分布式集群中各節(jié)點之間的數(shù)據(jù)傳輸性能。這些資源庫使用 UCF Consortium 的開源 UCX（Unified Communication X）框架，并通過使數(shù)據(jù)直接在 GPU 內(nèi)存之間移動來最大程度地減少延遲。

Spark 3.0 預(yù)覽版下載地址：https://spark.apache.org/downloads.html