波多野结衣久久一区无码,十八禁视频网站国产日产欧美,精品久久久久久久久久久久久乐

當前位置：首頁 > 公眾號精選 > AI科技大本營

[導讀]導讀PaddleNLP是兼具科研學習和產業(yè)實踐能力的PythonNLP工具包，提供中文領域豐富的預訓練模型和部署工具，被高校、企業(yè)開發(fā)者廣泛應用。近日，PaddleNLPv2.1正式發(fā)布，為開發(fā)者帶來三項重要更新：開箱即用的工業(yè)級NLP預置任務能力Taskflow：八大經典場景一...

導讀
PaddleNLP 是兼具科研學習和產業(yè)實踐能力的 Python NLP 工具包，提供中文領域豐富的預訓練模型和部署工具，被高校、企業(yè)開發(fā)者廣泛應用。近日，PaddleNLP v2.1正式發(fā)布，為開發(fā)者帶來三項重要更新：

開箱即用的工業(yè)級NLP預置任務能力Taskflow：八大經典場景一鍵預測。

預訓練時代的微調新范式應用：三行代碼顯著提升小樣本學習效果。
高性能預測加速：文本生成任務28倍加速效果。

傳送門：GitHub項目: https://github.com/PaddlePaddle/PaddleNLP
預訓練時代微調新范式，高性能加速2800%，NLPer趕緊看過來！

PaddleNLP整體開源

能力速覽

PaddleNLP是飛槳生態(tài)的自然語言處理開發(fā)庫，旨在提升文本領域的開發(fā)效率，為開發(fā)者帶來模型構建、訓練及預測部署的全流程優(yōu)質體驗。

PaddleNLP功能全景圖

PaddleNLP項目自發(fā)布以來，就受到廣大NLPer的關注。在2021年6月PaddleNLP官方直播打卡課中，有7000 用戶參加PaddleNLP的項目學習和實踐，加速了自身科研和業(yè)務實踐進程，同時也帶動PaddleNLP多次登上GitHub Trending榜單。

那么最近的2021年10月份更新，PaddleNLP又給大家?guī)砟男@喜呢？下文將為您逐一細細解讀。
預訓練時代微調新范式，高性能加速2800%，NLPer趕緊看過來！

PaddleNLP 全新升級深入解讀

1. 開箱即用的工業(yè)級NLP預置任務能力——Taskflow

依托于百度在多年語言與知識領域的業(yè)務積淀，PaddleNLP面向NLP八種任務場景，聚合了眾多百度自研的算法以及社區(qū)開源模型，并憑借飛槳核心框架的能力升級提供開箱即用、極致優(yōu)化的高性能一鍵預測能力——Taskflow。本次Taskflow升級覆蓋自然語言理解（NLU）和生成（NLG）兩大場景共八大任務，包括中文分詞、詞性標注、命名實體識別、句法分析、文本糾錯、情感分析、生成式問答和智能寫詩。這些高質量模型的背后，一方面聚合了百度在語言與知識領域多年的業(yè)務積淀和領先的開源成果：如詞法分析工具LAC、句法分析工具DDParser、情感分析系統(tǒng)Senta、文心ERNIE系列家族模型、開放域對話預訓練模型PLATO、文本知識關聯(lián)框架解語等；另一方面也涵蓋了開源社區(qū)優(yōu)秀的中文預訓練模型如CPM等。未來Taskflow會隨著PaddleNLP的版本迭代不斷擴充技能，如開放域對話、文本翻譯、信息抽取等能力，以滿足更多NLP開發(fā)者的需求。如下圖所示，通過PaddleNLP Taskflow，只需要一行代碼，傳入任務名稱即可自動選擇最優(yōu)的預置模型，并且以極致優(yōu)化的方式完成推理，開發(fā)者可以方便地集成到下游的應用中。預訓練時代微調新范式，高性能加速2800%，NLPer趕緊看過來！

圖：Taskflow使用示意圖https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/taskflow.md

2. 預訓練時代的微調新范式應用：三行代碼提升小樣本學習效果

Few-Shot Learning（以下簡稱FSL）是機器學習的一個子領域。在僅有少數監(jiān)督樣本的情況下，訓練得到強泛化能力的模型，實現對新數據的分類。結合最新的Prompt Tuning的思想，PaddleNLP中集成了三大前沿FSL算法： （1）EFL(Entailment as Few-Shot Learner)[1]，將 NLP Fine-tune任務統(tǒng)一轉換為二分類的文本蘊含任務。 （2）PET(Pattern-Exploiting Training)[2]，通過人工構建模板，將分類任務轉成完形填空任務。 （3）P-Tuning[3]：自動構建模板，將模版的構建轉化為連續(xù)參數優(yōu)化問題。使用小樣本學習策略，僅僅32條樣本即可在電商評論分類任務上取得87%的分類精度[4]。此外，PaddleNLP集成 R-Drop 策略作為 API，只需要增加三行代碼即可在原任務上快速漲點，如圖所示：預訓練時代微調新范式，高性能加速2800%，NLPer趕緊看過來！

https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/few_shot

3. 高性能預測加速：文本生成場景高達28倍加速效果

PaddleNLP與NVDIA強強聯(lián)合，以FasterTransformer[5]為基礎，提供了Faster系列的推理API，重點拓展了更多主流網絡結構適配與解碼策略支持。同時結合飛槳核心框架2.1版本全新的自定義OP的功能，提供了與飛槳框架無縫銜接的使用體驗。預訓練時代微調新范式，高性能加速2800%，NLPer趕緊看過來！

FasterTransformer Decoding Workflow （1）大幅提升生成任務的推理能力在Transformer機器翻譯、GPT文本生成兩個任務中，分別對比使用動態(tài)圖版本的性能和內置Faster系列的推理API后，不同batch size下預測性能加速比，從對比數據可以看到無論Transformer還是GPT，均可得到高達28倍推理速度提升！預訓練時代微調新范式，高性能加速2800%，NLPer趕緊看過來！

PaddleNLP Transformer翻譯模型加速優(yōu)化前后的Nsight Profling對比圖 （2）支持豐富的經典解碼策略PaddleNLP v2.1提供工業(yè)界主流的解碼加速支持，包括經典的Beam Search，以及多個Sampling-based的解碼方式：如Diverse Sibling Search[6]、T2T版本的Beam Search實現[7]、Top-k/Top-p Sampling等。豐富的加速策略可以滿足對話、翻譯等工業(yè)場景的實際應用，同時PaddleNLP的加速實現也在百度內部經過了大規(guī)?；ヂ?lián)網業(yè)務的真實考驗。表1：PaddleNLP 2.1 支持加速的模型結構與解碼策略預訓練時代微調新范式，高性能加速2800%，NLPer趕緊看過來！

更多PaddleNLP加速使用文檔可以參考：https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/advanced_guide/fastertransformer.rst別的不需要多說了，大家訪問GitHub點過star之后自己體驗吧：https://github.com/PaddlePaddle/PaddleNLP 預訓練時代微調新范式，高性能加速2800%，NLPer趕緊看過來！

本站聲明：本文章由作者或相關機構授權發(fā)布，目的在于傳遞更多信息，并不代表本站贊同其觀點，本站亦不保證或承諾內容真實性等。需要轉載請聯(lián)系該專欄作者，如若文章內容侵犯您的權益，請及時聯(lián)系本站刪除。

關閉

www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

預訓練時代微調新范式，高性能加速2800%，NLPer趕緊看過來！

預訓練時代微調新范式，高性能加速2800%，NLPer趕緊看過來！