文章图片
百度文心全景既包含基础通用的知识增强跨语言大模型 ERNIE 3.0、知识增强跨模态理解大模型 ERNIE-M、知识增强跨模态生成大模型 ERNIE-ViL 等 ， 也包含面向重点领域和重点任务的大模型 ， 同时还有丰富的大模型开发工具、轻量化工具与 AI 开发平台支撑高效便捷的应用开发 。
【参数|2600亿参数，60多项任务突破，全球首个知识增强千亿大模型鹏城-百度·文心发布】王海峰介绍说 ， 「经过这几年的发展 ， 百度文心大模型已经应用于很多行业 ， 比如通信、金融、医疗、保险、证券、办公、互联网、物流等等 。 」
在全景图展示的众多模型中 ， 有个模型不得不提 ， 它就是语言理解与生成模型 ERNIE 3.0 。
今年 7 月份 ， 作为首个在百亿级预训练模型中引入大规模知识图谱的模型 ， ERNIE 3.0 一举刷新了 50 多个中文 NLP 任务基准 ， 其英文模型还在 SuperGLUE 上以超越人类水平 0.8 个百分点的成绩登顶全球榜首 。 这一结果为 ERNIE 向千亿级知识增强预训练模型进发提供了依据 。 因此 ， 在之后的几个月里 ， ERNIE 3.0 经历了新一轮的升级 。
刚刚 ， 中国工程院院士、鹏城实验室主任高文 ， 百度首席技术官、深度学习技术及应用国家工程实验室主任王海峰共同公布了 ERNIE 3.0 升级的结果 。 新模型名叫鹏城 - 百度 · 文心（ERNIE 3.0 Titan） ， 是全球首个知识增强千亿大模型 ， 也是目前为止全球最大的中文单体模型 。
文章图片
具体来说 ， 鹏城 - 百度 · 文心是一款融合了自然语言理解和自然语言生成的全能模型 ， 其参数量达到了 2600 亿 ， 相对 GPT-3 的参数量提升 50% 。 而且 ， 作为单体模型 ， 该模型在实际运算中参与计算的参数可以达到稀疏大模型的百倍以上 。
文章图片
鹏城 - 百度 · 文心模型结构图
鹏城 - 百度 · 文心已在机器阅读理解、文本分类、语义相似度计算等 60 多项任务中取得最好效果 。 此外 ， 模型还在 30 余项小样本和零样本任务中取得了世界领先的成绩 。
文章图片
鹏城 - 百度 · 文心小样本学习效果
文章图片
鹏城 - 百度 · 文心零样本学习效果
从 GPT-3 到鹏城 - 百度 · 文心 ， 千亿大模型的训练、推理从来都不是容易的事 ， 需要算力、框架的软硬配合和算法、落地方面的综合优化 。 在今天的「鹏城 - 百度 · 文心大模型发布仪式」上 ， 百度 CTO 王海峰介绍了鹏城 - 百度 · 文心的诞生过程 。
推荐阅读
- 水管|柔性泄水管概述、性能参数
- 旗舰|小米 12 Pro 评测：多项「首发」，能否再次成为安卓旗舰「质检员」？
- 参数|CELL+100 细胞制备隔离器，欢迎咨询
- 方面|小米12 Pro将于12月28日发布，主要参数已确认，价格很感人！
- 参数|联想拯救者 Y90 双擎风冷电竞手机官宣，搭载 6.92 英寸 144Hz 屏
- Huawei|多项交互创新，体验更上层楼 华为发布超级智慧笔记本
- Google|Google新增多项COVID-19功能：帮用户快速找到附近检测点和接种点
- 网络|中国移动与华为推出多项5.5G成果，拟将现有5G能力提升十倍
- IT|新款本田奥德赛将于12月27日正式上市 外观内饰有多项变化
- 参数|俄开发能找到血液中癌细胞的新技术