易坊好文馆

  1. 首页 > 玩科技 >

模型|百度发布首个知识增强千亿大模型，参数规模达2600亿

百度 全球 效果 知识 深度 任务 参数 模型 鹏城实验室 鹏城 王海峰 文心


模型|百度发布首个知识增强千亿大模型，参数规模达2600亿
文章图片

图片来源：百度官方

采访人员 | 崔鹏
12月8日消息 ， 百度与鹏城实验室联合发布共同研发的全球首个知识增强千亿大模型——鹏城-百度·文心（模型版本号：ERNIE 3.0 Titan） 。
百度首席技术官（CTO）、深度学习技术及应用国家工程实验室主任王海峰表示 ， 该模型参数规模达到2600亿 ， 是目前全球最大中文单体模型 。
据中国工程院院士、鹏城实验室主任高文院士介绍 ， “预训练模型对整个科学的发展、社会的发展、创新的发展都是非常重要的工具 。 运用这个工具 ， 可以帮助做很多人工智能的赋能 ， 不局限于某个领域 。 ”
王海峰则强调 ， 百度知识增强大模型从大规模知识和海量数据中融合学习 ， 效率更高 ， 效果更好 ， 具有良好的可解释性 。 这次发布的产业级知识增强大模型文心全景图 ， 既包含基础通用的大模型 ， 也包含面向重点领域、重点任务的大模型 。
百度方面表示 ， 本次发布的鹏城-百度·文心是“全球首个知识增强千亿大模型” ， 在机器阅读理解、文本分类、语义相似度计算等60多项任务取得最好效果 ， 并在30余项小样本和零样本任务上刷新基准 。
这个模型背后是鹏城实验室的算力系统“鹏城云脑Ⅱ”和飞桨深度学习平台支持 。 百度方面称 ， “鹏城云脑Ⅱ”是国产自主的首个E级AI算力平台 ， 飞桨是我国首个自主研发的深度学习开源开放平台 ， 研制了端到端自适应分布式训练框架 ， 实现多硬件支持 ， 并行效率90% 。
为解决大模型应用落地难题 ， 百度团队推出大模型在线蒸馏技术 ， 模型参数压缩率为99.98% 。 压缩版模型仅保留0.02% ， 参数规模就能与原有模型效果相当 。
【模型|百度发布首个知识增强千亿大模型，参数规模达2600亿】据悉 ， 鹏城-百度·文心模型代码近期会在OpenI启智社区开源 。

    推荐阅读


    上一篇：太阳系|别错过，本年度最亮！即将到达！

    下一篇：Samsung|设计师分享Galaxy A53 5G新机概念渲染图