什么是架構?架構是上文中沒有提到的一個概念，就是說這些旋鈕并不是一字排開的，他們分成很多層，不同層級的旋鈕之間有很多連接。這些層級和關聯(lián)關系就組成了架構。比如說同樣的十個旋鈕，下圖中左右兩側的架構是不同的。在參數(shù)量(旋鈕的數(shù)量)和參數(shù)值(旋鈕的刻度)一樣的情況下，架構不同，也會產生完全不同的效果。

2022年對AI來說注定是不平凡的一年，這不吳恩達、Bengio等一眾圈內大佬在接受DeepLearning.ai的采訪中展望了2023年AI的發(fā)展趨勢，還分享了自己的科研小故事。

還有不到3天，2022年就要過去了。

辭舊迎新之際，吳恩達、Bengio等一眾AI大佬們在DeepLearning.ai聚在一起，展望了自己眼中的2023年。

作為DeepLearning.ai的創(chuàng)始人，吳恩達首先發(fā)表了歡迎致辭，并回憶起自己剛開始搞研究的那段歲月 ，為這場多位大佬參與的討論開了個好頭。

從北京冬奧會上支持多語言服務的智能機器人、AI手語虛擬主播到近日“方向盤后無人”車開跑，人工智能可謂大放異彩。以Generative Pre-trained Transformer 3(GPT- 3)為代表的大模型(Foundation Model)正在成為人工智能“新高地”。如何理解AI大模型?其發(fā)展主要經歷了哪些重要階段?AI大模型主要用于解決哪些問題?就業(yè)界關注的這些熱點問題，《人民郵電》報記者分別采訪了中國人民大學高瓴人工智能學院執(zhí)行院長文繼榮和中國信息通信研究院云計算與大數(shù)據(jù)研究所人工智能部副主任曹峰。AI大模型就是Foundation Model(基礎模型)，指通過在大規(guī)模寬泛的數(shù)據(jù)上進行訓練后能適應一系列下游任務的模型。

谷歌于2018年10月發(fā)布的BERT模型是最為典型的基礎模型，它利用BooksCorpus和英文維基百科里純文字的部分，無須標注數(shù)據(jù)，用設計的兩個自監(jiān)督任務來做訓練，訓練好的模型通過微調在11個下游任務上實現(xiàn)最佳性能。

OpenAI在2020年5月發(fā)布的GPT-3則是一個自回歸語言模型，具有1750億參數(shù)，在互聯(lián)網(wǎng)文本數(shù)據(jù)上訓練得到的這一基礎模型，可以使用提示的例子完成各式各樣的任務，使用描述任務(如“把英文翻譯成法語：”)加一個示例(如“sea otter => loutre de mer”)，再給一個prompt提示(如“cheese =>”)，GPT-3模型即可生成cheese對應的法文。這類模型正在成為主流的AI范式。

AI大模型是人工智能邁向通用智能的里程碑技術。深度學習作為新一代人工智能的標志性技術，完全依賴模型自動從數(shù)據(jù)中學習知識，在顯著提升性能的同時，也面臨著通用數(shù)據(jù)激增與專用數(shù)據(jù)匱乏的矛盾。AI大模型兼具“大規(guī)?！焙汀邦A訓練”兩種屬性，面向實際任務建模前需在海量通用數(shù)據(jù)上進行預先訓練，能大幅提升AI的泛化性、通用性、實用性。

AI(人工智能)大模型相當于“超級大腦”，正成為人工智能“新高地”。AI大模型有望實現(xiàn)人工智能從感知到認知的躍遷，重新定義人工智能產業(yè)模式和產業(yè)標準，給部分產業(yè)帶來重大變革。我國有較大的AI大模型應用市場，但發(fā)展過程中面臨部分技術薄弱、人才稀缺、成本高昂等多重挑戰(zhàn)，亟須對相關技術研發(fā)和產業(yè)布局加以引導和支持。

“學富五車”的“超級大腦”

——“不開心的話可以聽點開心的歌，看看喜劇，也可以去運動，或者好好休息一下?！?

——“心情不好是一種很正常的情緒，所以不用太過自責。”

針對“今天心情不好應該怎么辦”這一問題，一個人工智能平臺以不同的“人設”，給出了不同的回答。通過網(wǎng)址鏈接進入該平臺，在“人設問答”區(qū)隨機輸入問題，機器可支持和扮演不同“人設”，對問題給出多角度答案。該平臺正是基于AI大模型打造而成。

創(chuàng)新工場首席科學家、北京瀾舟科技創(chuàng)始人周明介紹，AI大模型也稱人工智能預訓練模型，將海量數(shù)據(jù)導入具有幾億量級甚至十萬億量級參數(shù)的模型中，機器通過做類似“完形填空”等任務，深度學習數(shù)據(jù)中蘊含的特征、結構，最終被訓練成具有邏輯推理和分析能力的人工智能。

通俗地說，AI大模型相當于做了無數(shù)套關于各領域知識練習題、模擬題的“超級大腦”，深諳各領域知識內在邏輯和解題思路，既能理解人類世界的知識體系，也可能產出新的知識。

2018年起，人工智能進入“大模型時代”，由重復開發(fā)、手工作坊式人工智能，即“一千個應用場景就有一千個小模型”的零散、低效局面，走向工業(yè)化、集成化智能的全新路徑，以一個大模型“走天下”，為通用人工智能帶來曙光。比如，為生產智能音響，各個品牌競相開發(fā)各自的AI小模型，未來各品牌只需在同一個AI大模型基礎上開發(fā)即可。

從2020年開始，國際最頂尖的AI技術發(fā)展，愈來愈像一場比拼資金與人才的軍備競賽。

2020年，OpenAI發(fā)布NLP預訓練模型GPT-3，光論文就有72頁，作者多達31人，該模型參數(shù)1750億，耗資1200萬美元;

2021年1月，谷歌發(fā)布首個萬億級模型Switch Transformer，宣布突破了GPT-3參數(shù)記錄;

4月，華為盤古大模型參數(shù)規(guī)模達到千億級別，定位于中文語言預訓練模型;

11月，微軟和英偉達在燒壞了4480塊CPU后，完成了5300億參數(shù)的自然語言生成模型(MT-NLG)，一舉拿下單體Transformer語言模型界“最大”和“最強”兩個稱號;

今年1月，Meta宣布要與英偉達打造AI超級計算機RSC，RSC每秒運算可達50億次，算力可以排到全球前四的水平。

除此之外，阿里、浪潮、北京智源研究院等，均發(fā)布了最新產品，平均參數(shù)過百億。

看起來，這些預訓練模型的參數(shù)規(guī)模沒有最大，只有更大，且正以遠超摩爾定律的速度增長。其在對話、語義識別方面的表現(xiàn)，一次次刷新人們的認知。