恢復增強一代 RAG已經成為一種主要的模式,以消除幻覺和其他影響大型語言模型內容生成的不準確。然而,RAP需要圍繞它的正確的數據體系結構來有效和高效地擴展。數據流方法為向LLMS提供大量不斷豐富、可信的數據以產生準確結果的最佳架構奠定了基礎。這種方法還允許數據和應用程序團隊獨立工作和規(guī)?；?以加快創(chuàng)新。

基礎性LMS,如GTPT和LMA,接受了大量數據的培訓,通常能夠對廣泛的主題做出合理的回應,但確實產生了錯誤的內容。正如福雷斯特最近指出的那樣,公共LLMS"經常產生不相關或完全錯誤的結果",因為他們的培訓數據側重于公開的互聯網數據。此外,這些基本LMS完全無視鎖定在客戶數據庫、企業(yè)資源規(guī)劃系統(tǒng)、企業(yè)維基和其他內部數據源中的企業(yè)數據。必須利用這些隱藏數據來提高準確性,并釋放實際業(yè)務價值。

RAG允許數據團隊將提示與特定領域的公司數據實時化。有了這個額外的上下文,LLS更有可能在數據中識別正確的模式,并提供正確的、相關的響應。這對于流行的企業(yè)使用案例(如語義搜索、內容生成或復制)至關重要,在這些案例中,輸出必須基于準確的、最新的信息才能是可信的。

為什么不僅僅訓練一個關于公司特定數據的LLM呢?

目前生成性人工智能的最佳做法往往要求通過培訓大量數據上的十億節(jié)點變壓器來創(chuàng)建基礎模型,使這種方法對大多數組織來說成本過高。比如說,他說?超過1億美元去訓練GTP-4。研究和工業(yè)界已開始為小型語言模型和較便宜的培訓方法提供有希望的結果,但這些還沒有被推廣和商品化。對現有模式進行微調是另一種資源密集程度較低的方法,將來也可能成為一種好的選擇,但這一方法仍然需要大量的專門知識才能正確。LLMS的好處之一是,他們使對AI的訪問民主化,但不得不雇傭一個博士團隊來微調一個模型,這在很大程度上否定了這種好處。

RAG是當今最好的選擇,但它的實施方式必須能夠提供準確和最新的信息,并以一種可以跨應用程序和團隊進行擴展的管理方式。為了了解為什么事件驅動的體系結構最適合于此,我們可以看看四個熱奈應用程序開發(fā)模式。

1.數據增強

應用程序必須能夠提取相關的上下文信息,通常是通過使用向量數據庫來查找語義相似的信息,通常編碼在半結構化或非結構化文本中。這意味著從不同的操作庫中收集數據,并將其"分塊"到可管理的部分,從而保留其含義。然后將這些信息塊嵌入到向量數據庫中,在那里它們可以與提示符耦合。

事件驅動的體系結構在這里是有益的,因為它是一種有效的方法,可以實時集成來自整個企業(yè)的不同數據源,提供可靠和可信的信息。相比之下,使用級聯批處理操作的更為傳統(tǒng)的ETL(提取、轉換、負載)管道不太適合使用,因為當信息到達LLP時,它通常會失效。事件驅動的體系結構確保在對操作數據存儲進行更改時,這些更改會被轉移到將用于上下文化提示的向量存儲中。將這些數據組織成流數據產品也有助于可重用性,因此這些數據轉換可以被看作是可組合的組件,可以支持多個使用LLP的應用程序的數據增強。

2. Inference

推斷涉及到工程提示和先前步驟中準備的數據和處理來自LOM的響應。當用戶發(fā)出提示時,應用程序從向量數據庫或對等服務中收集相關上下文,以生成盡可能好的提示。

像Tg-1這樣的應用程序通常需要幾秒鐘的時間來響應,這是分布式系統(tǒng)中的永恒。使用事件驅動的方法意味著這種通信可以在服務和團隊之間異步進行。有了事件驅動的體系結構,服務可以按照功能專業(yè)進行分解,這使應用程序開發(fā)團隊和數據團隊能夠分別工作,以實現其性能和準確性目標。

此外,通過提供分解的、專門的服務而不是單一的服務,這些應用程序可以獨立地部署和擴展。這有助于減少進入市場的時間,因為新的推理步驟是消費者群體,并且組織可以模板基礎結構快速實例化這些。

3. Workflows

推理代理和推理步驟通常被鏈接到序列中,其中下一個LLM調用基于以前的響應。這在復雜任務的自動化中是有用的,在這些復雜任務中,單個LRAM調用將不足以完成流程。將代理分解為調用鏈的另一個原因是,當我們提出多個更簡單的問題時,如今流行的LLMS往往會返回更好的結果,盡管這種情況正在發(fā)生變化。

下面的示例工作流說明,通過數據流平臺,Web開發(fā)團隊可以獨立于后端系統(tǒng)工程師工作,允許每個團隊根據自己的需要進行規(guī)?；?。數據流平臺能夠實現技術、團隊和系統(tǒng)的脫鉤。

4. Post-Processing

盡管我們盡了最大努力,LLMS仍然可以產生錯誤的結果,所以我們需要一種方法來驗證輸出和執(zhí)行業(yè)務規(guī)則,以防止這些錯誤造成損害。

通常情況下,LLS工作流和依賴項的變化要比決定輸出是否可以接受的業(yè)務規(guī)則快得多。在上面的例子中,我們再次看到了與數據流平臺脫鉤的很好的應用:通過合規(guī)團隊驗證LLS輸出,可以獨立地操作來定義規(guī)則,而不需要與構建LOM應用程序的團隊進行協調。

結論

RAG是一個強大的模型,可以提高LLMS的準確性,并使生成的AI應用程序在企業(yè)用例中可行。但破布不是銀子彈。它需要被一個架構和數據傳遞機制所包圍,這些架構和機制允許團隊構建多個生成的AI應用程序,而不需要重新設計車輪,并以符合企業(yè)數據治理和質量標準的方式進行。

數據流模型是滿足這些需求的最簡單和最有效的方式,它使團隊能夠釋放LLMS的全部能量,從而為其業(yè)務帶來新的價值。隨著技術成為業(yè)務,人工智能提高了這項技術,那些有效競爭的公司將合并人工智能,以增加和簡化越來越多的流程。