模型|开箱即用的产业级NLP工具库,性能加速最高可达28倍( 二 )



模型|开箱即用的产业级NLP工具库,性能加速最高可达28倍
文章图片

Taskflow 使用示意图
项目地址:https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/taskflow.md
预训练时代的微调新范式应用:三行代码提升小样本学习效果
Few-Shot Learning(以下简称 FSL)是机器学习的一个子领域 。 在仅有少数监督样本的情况下 , 训练得到强泛化能力的模型 , 实现对新数据的分类 。
结合最新的 Prompt Tuning 的思想 , PaddleNLP 中集成了三大前沿 FSL 算法:

  • EFL(Entailment as Few-Shot Learner)[1] , 将 NLP Fine-tune 任务统一转换为二分类的文本蕴含任务;
  • PET(Pattern-Exploiting Training)[2] , 通过人工构建模板 , 将分类任务转成完形填空任务;
  • P-Tuning[3]:自动构建模板 , 将模版的构建转化为连续参数优化问题 。
使用小样本学习策略 , 仅仅 32 条样本即可在电商评论分类任务上取得 87% 的分类精度 [4] 。 此外 , PaddleNLP 集成 R-Drop 策略作为 API , 只需要增加三行代码即可在原任务上快速涨点 , 如图所示:

模型|开箱即用的产业级NLP工具库,性能加速最高可达28倍
文章图片

项目地址:https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/few_shot
高性能预测加速:文本生成场景高达 28 倍加速效果
PaddleNLP 与 NVDIA 强强联合 , 以 FasterTransformer[5] 为基础 , 提供了 Faster 系列的推理 API , 重点拓展了更多主流网络结构适配与解码策略支持 。 同时结合飞桨核心框架 2.1 版本全新的自定义 OP 的功能 , 提供了与飞桨框架无缝衔接的使用体验 。

模型|开箱即用的产业级NLP工具库,性能加速最高可达28倍
文章图片

FasterTransformer Decoding Workflow
(1) 大幅提升生成任务的推理能力
在 Transformer 机器翻译、GPT 文本生成两个任务中 , 分别对比使用动态图版本的性能和内置 Faster 系列的推理 API 后 , 不同 batch size 下预测性能加速比 , 从对比数据可以看到无论 Transformer 还是 GPT , 均可得到高达 28 倍推理速度提升!

模型|开箱即用的产业级NLP工具库,性能加速最高可达28倍
文章图片


模型|开箱即用的产业级NLP工具库,性能加速最高可达28倍
文章图片


模型|开箱即用的产业级NLP工具库,性能加速最高可达28倍
文章图片


模型|开箱即用的产业级NLP工具库,性能加速最高可达28倍
文章图片

PaddleNLP Transformer 翻译模型加速优化前后的Nsight Profling 对比图
(2)支持丰富的经典解码策略

推荐阅读