文章图片
鹏城 - 百度 · 文心大模型在线蒸馏技术
这种新颖的蒸馏方式利用了鹏城 - 百度 · 文心的规模优势 ， 在蒸馏完成后保证了学生模型的效果和尺寸丰富性 ， 方便不同性能需求的应用场景使用 。
此外 ， 研究团队还发现 ， 鹏城 - 百度 · 文心与学生模型尺寸差距千倍以上 ， 模型蒸馏难度极大甚至失效 。 为此 ， 研究团队引入了助教模型进行蒸馏的技术 ， 利用助教作为知识传递的桥梁以缩短学生模型和鹏城 - 百度 · 文心表达空间相距过大的问题 ， 从而促进蒸馏效率的提升 。
文章图片
鹏城 - 百度 · 文心压缩版模型效果
鹏城 - 百度 · 文心在线蒸馏方案的效果非常显著 ， 压缩版模型仅保留 0.02% 参数规模就能与原有模型效果相当 。 相比直接训练参数规模是自身 2 倍的 BERT Base 模型 ， 鹏城 - 百度 · 文心在 5 项任务准确率上绝对提升了 2.5% ， 而相对于同等规模的 RoBERTa Base ， 准确率则绝对提升了 3.4% ， 验证了鹏城 - 百度 · 文心在线蒸馏方案的有效性 。
得益于这些技术方面的改进 ， 百度的文心系列模型已经在金融、保险等多个行业得到应用 。 以某公司的保险合同解析场景为例 ， 这项任务要求从一份合同中提取出近 40 个维度的信息 ， 但百度文心大模型能把任务时间缩减至 1 分钟 。 从合作落地至今 ， 目前这套保险合同条款智能解析模型已覆盖百余份合同模板 ， 完成了上亿份合同条款的智能分类；且将近九成的合同在一天之内就能实现上线 ， 完美实现了降本增效 。
百度文心也正通过百度飞桨平台陆续对外开放 。 从 AI 核心技术到 AI 基础平台 ， 从技术创新到实践落地再到开放生态 ， 多年来 ， 百度正不断降低 AI 技术开发和应用的门槛 。 王海峰表示 ， 「我们希望这样一个知识增强大模型 ， 能为产业发展注入新动能 。 」
推荐阅读
- 水管|柔性泄水管概述、性能参数
- 旗舰|小米 12 Pro 评测：多项「首发」，能否再次成为安卓旗舰「质检员」？
- 参数|CELL+100 细胞制备隔离器，欢迎咨询
- 方面|小米12 Pro将于12月28日发布，主要参数已确认，价格很感人！
- 参数|联想拯救者 Y90 双擎风冷电竞手机官宣，搭载 6.92 英寸 144Hz 屏
- Huawei|多项交互创新，体验更上层楼 华为发布超级智慧笔记本
- Google|Google新增多项COVID-19功能：帮用户快速找到附近检测点和接种点
- 网络|中国移动与华为推出多项5.5G成果，拟将现有5G能力提升十倍
- IT|新款本田奥德赛将于12月27日正式上市 外观内饰有多项变化
- 参数|俄开发能找到血液中癌细胞的新技术