?Amazon Graviton4是目前亞馬遜云科技性能最強、最具能效的自研芯片，支持廣泛的云上工作負載

?Amazon Trainium2提供亞馬遜云科技上用于模型訓練的最高計算性能，提高訓練速度、降低成本及能耗

北京——2023 年12月1日 亞馬遜云科技在2023 re:Invent全球大會上宣布其自研芯片家族的兩個系列推出新一代，包括Amazon Graviton4和Amazon Trainium2，為機器學習（ML）訓練和生成式人工智能（AI）應用等廣泛的工作負載提供更高性價比和能效。Graviton4和Trainium2是亞馬遜云科技自研芯片的最新創(chuàng)新。亞馬遜云科技每一代自研芯片都持續(xù)提升性價比和能效，為客戶提供了基于AMD、Intel以及英偉達等的最新芯片和實例組合之外的更多選擇，從而使Amazon Elastic Compute Cloud（Amazon EC2）可以為客戶虛擬運行幾乎所有應用和工作負載。

Graviton4與當前一代Graviton3處理器相比，性能提升高達30%，獨立核心增加50%以上，內(nèi)存帶寬提升75%以上，為在Amazon EC2上運行的工作負載提供最佳性能和能效。

Trainium2與第一代Trainium芯片相比訓練速度提升多達4倍，并能在EC2 UltraClusters中部署多達100,000個芯片，可以在極短的時間訓練基礎(chǔ)模型（FMs）和大語言模型（LLMs），同時能效提升多達2倍。

Amazon Graviton4 和Amazon Trainium （原型）（Business Wire提供）

亞馬遜云科技計算和網(wǎng)絡(luò)副總裁David Brown表示：“芯片是用戶所有工作負載的基礎(chǔ)，這也是為什么亞馬遜云科技一直將這一領(lǐng)域視為其至關(guān)重要的創(chuàng)新領(lǐng)域。通過將芯片設(shè)計聚焦于客戶真正關(guān)心的實際工作負載，我們能夠為客戶提供最先進的云基礎(chǔ)架構(gòu)。Graviton4是我們在短短五年推出的這一系列的第四代，是我們至今功能最強大和最具能效的芯片，為客戶廣泛的工作負載提供支持。隨著生成式 AI 引起的廣泛關(guān)注，Tranium2可以幫助客戶以更低成本和更佳能效，更快地訓練機器學習模型?！?

Graviton4為客戶廣泛的工作負載提供更佳性價比和更高能效

如今，亞馬遜云科技在全球規(guī)?；峁┑幕贕raviton的Amazon EC2實例種類達150多個，已經(jīng)構(gòu)建的Graviton處理器數(shù)量超過200萬個，并擁有超過50,000客戶。這些客戶涵蓋了EC2最大的前100個客戶，他們使用基于Graviton的實例為其應用提供最佳性價比。Datadog、DirecTV、Discovery、Formula 1 (F1)、NextRoll、Nielsen、Pinterest、SAP、Snowflake、Sprinklr、Stripe以及Zendesk等客戶正使用基于Graviton的實例運行廣泛的工作負載，包括數(shù)據(jù)庫、數(shù)據(jù)分析、網(wǎng)絡(luò)服務(wù)器、批處理、廣告服務(wù)、應用服務(wù)器以及微服務(wù)等。隨著客戶把更大的內(nèi)存數(shù)據(jù)庫和分析工作負載遷移到云上，他們對計算、內(nèi)存、存儲和網(wǎng)絡(luò)的要求也隨之增加。為此，他們需要更高性能和更大實例來運行這些要求嚴苛的工作負載，同時需要優(yōu)化成本。針對這些工作負載，客戶還希望能使用更加節(jié)能的計算資源，減少對環(huán)境的影響。目前，很多亞馬遜云科技的托管服務(wù)都支持使用Graviton，包括Amazon Aurora、Amazon ElastiCache、Amazon Elastic MapReduce（Amazon EMR）、Amazon MemoryDB、Amazon OpenSearch、Amazon Relational Database Service（Amazon RDS）、Amazon Fargate以及Amazon Lambda等，將Graviton的性價比優(yōu)勢帶給使用這些服務(wù)的用戶。

Graviton4處理器相比Graviton3處理器性能提升30%，獨立核心增加50%以上，內(nèi)存帶寬提升75%以上。Graviton4還進一步通過高速物理硬件接口的完全加密提升了安全性。Amazon EC2 R8g內(nèi)存優(yōu)化性實例將采用最新的Graviton4，提升客戶運行高性能數(shù)據(jù)庫、內(nèi)存緩存、大數(shù)據(jù)分析等工作負載的效率。R8g實例相比當前一代R7g實例提供更大的實例大小，虛擬處理器（vCPU）以及內(nèi)存均提升了3倍。這讓用戶可以處理更大量的數(shù)據(jù)、更大規(guī)模的工作負載、更快地獲得運行結(jié)果，并降低總擁有成本?；贕raviton4的R8g實例現(xiàn)已提供預覽版，并將在未來幾個月推出正式可用版。

Trainium2的EC2 UltraClusters致力于為客戶提供云中最高性能、最具能效的AI模型訓練基礎(chǔ)架構(gòu)

如今日益增加的生成式 AI 應用背后的基礎(chǔ)模型和大語言模型需要使用海量數(shù)據(jù)集進行訓練。這些模型通過創(chuàng)造文字、音頻、圖片、視頻、甚至軟件代碼等大量新的內(nèi)容，幫助客戶重構(gòu)用戶體驗。當今最先進的基礎(chǔ)模型和大語言模型通常包含數(shù)千億甚至數(shù)萬億個參數(shù)或變量，需要能夠支持上萬機器學習芯片進行擴展的可靠高性能計算能力。亞馬遜云科技現(xiàn)已提供廣泛而深入的由機器學習芯片支持的Amazon EC2實例選項，包括最新的英偉達 GPU、Trainium以及Inferentia2。Databricks、Helixon、Money Forward以及Amazon Search團隊等眾多客戶都在使用Trainium訓練大規(guī)模深度學習模型，從而受益于Trainium的高性能、可擴展、可靠以及低成本等諸多優(yōu)勢。但即便已經(jīng)在使用當今最快的加速實例，客戶仍然希望獲得更強的性能和規(guī)模來訓練這些日益復雜的模型，從而提高訓練速度、降低成本，同時降低能源消耗。

Trainium2芯片專為以高性能訓練具有數(shù)萬億個參數(shù)或變量的基礎(chǔ)模型和大語言模型而構(gòu)建。Trainium2與第一代Trainium芯片相比，性能提升多達4倍，內(nèi)存提升3倍，能源效率（每瓦性能）提升多達2倍。Amazon EC2 Trn2實例采用最新的Trainium2，一個單獨實例包含16個Trainium加速芯片。Trainium2實例致力于為客戶在新一代EC2 UltraClusters中擴展多達100,000個Trainium2加速芯片，并與Amazon Elastic Fabric Adapter（EFA）PB級網(wǎng)絡(luò)互聯(lián)，提供的算力高達65 exaflops，客戶可按需獲得超級計算級別的性能。有了這個級別的規(guī)模，客戶可在數(shù)周而非數(shù)月就能訓練完成一個具有3千億參數(shù)的大語言模型。通過以顯著降低的成本提供最高橫向擴展的模型訓練，Trainum2實例可以幫助客戶解鎖并加速生成式AI的新一輪創(chuàng)新。

Anthropic是一家人工智能安全和研究公司，是負責任地部署生成式人工智能的主要倡導者，致力于創(chuàng)建可靠、可解釋和可控的人工智能系統(tǒng)。Anthropic自2021年開始使用亞馬遜云科技。近期，Anthropic推出了Claude——一款專注于提供幫助、無害且誠實的人工智能助手。Anthropic聯(lián)合創(chuàng)始人Tom Brown表示：“自支持Amazon Bedrock以來，Claude已獲得亞馬遜云科技客戶的廣泛采用。Trainium2將幫助我們大規(guī)模構(gòu)建和訓練模型，對于一些工作負載，Trainium2相比第一代Trainium芯片速度至少提升了4倍。我們與亞馬遜云科技的合作，將幫助各種規(guī)模的組織有機會同時受益于Anthropic的安全并先進的人工智能系統(tǒng)以及亞馬遜云科技可靠的云技術(shù)，從而釋放新的可能性?！?

Databricks幫助全球超過10,000家組織機構(gòu)，包括Comcast、Condé Nast及50%以上的財富500強企業(yè)，統(tǒng)一其數(shù)據(jù)、分析和AI。Databricks生成式AI副總裁Naveen Rao表示：“數(shù)千家客戶在亞馬遜云科技上運行Databricks，使用MosaicML對各種用例的基礎(chǔ)模型進行預訓練、微調(diào)及其他操作。Amazon Trainium為我們提供了訓練Mosaic MPT模型所需要的規(guī)模、高性能以及低成本。Trainium2使更快的構(gòu)建下一代Mosaic MPT模型成為可能，讓我們有機會為客戶提供前所未有的規(guī)模和性能，助力他們比以往更快地推出自己的生成式AI應用?！?