在1日召开的2021北京智源大会上 ， 北京智源人工智能研究院发布了新版超大规模智能模型“悟道2.0” ， 这是在今年3月20日发布的“悟道1.0”基础上更新迭代而来 ， 具备大规模、高精度、高效率的特点 。
“悟道”模型旨在打造数据和知识双轮驱动的认知智能 ， 让机器像人一样思考 ， 实现“超越图灵测试的机器认知能力” 。“悟道”团队在大规模预训练模型研发上做了很多基础性工作 ， 形成了自主的超大规模智能模型技术创新体系 ， 拥有理论、工具、模型构建和测评的完整链条 。
“悟道2.0”模型的参数规模达到1.75万亿 ， 是GPT-3的10倍 ， 打破了之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录 ， 是目前中国首个、全球最大的万亿级模型 。
文章图片
Google万亿模型的核?技术MoE（Mixture of Experts）与其分布式训练框架和其定制硬件强绑定 。“悟道”团队研究并开源的FastMoE是首个支持PyTorch框架的MoE系统 ， 具有简单易用、灵活、高性能等特点 ， 并且支持大规模并行训练 。新一代FastMoE ， 支持Switch、GShard等复杂均衡策略 ， 支持不同专家不同模型 ， 是实现“万亿模型”的关键技术 。
“悟道2.0”模型在中英双语共4.9T的高质量大规模清洗数据上进行训练 。训练数据包含WuDaoCorpora中的1.2TB中文文本数据、2.5TB中文图文数据 ， 以及Pile数据集的1.2TB英文文本数据 。
据介绍 ， “悟道2.0”在世界公认的9项Benchmark基准测试任务上取得较好的成绩 。
【AI|超大规模智能模型“悟道2.0”发布 参数规模达GPT-3的10倍】
文章图片
新版模型的另一突破在于减少了算力资源、训练时间等方面的巨大消耗 。为提升大规模预训练模型的产业普适性和易用性 ， 悟道团队搭建高效预训练框架 ， 在编码、模型、训练、调参和推理等方面效率大幅提升 。
（1）高效编码：研发了最高效、最抗噪的中文预训练语言模型编码 ， 解决生僻字等问题；
（2）高效模型：构建了世界首个纯非欧空间模型 ， 只需要一半的参数量即可达到近似欧式模型的效果；
（3）高效训练：世界首创大规模预训练模型融合框架 ， 形成高效训练新模式 ， 训练时间缩短27.3% ， 速度提升37.5%；
（4）高效微调：世界首创多类别Prompt微调 ， 只需训练0.001%参数即可实现下游任务适配；
（5）高效推理：世界首创低资源大模型推理系统 ， 单机单卡GPU即可以进行千亿参数规模的模型推理 。
“悟道”模型在3月首发时已经预告要和一些龙头企业共同研发应用成果 ， 本次发布时就宣布了与新华社、美团、小米、快手、搜狗、360、寒武纪、第四范式、好未来、智谱华章等22家合作企业正式签约 。同时启动“悟道之巅”模型应用大赛 ， 鼓励开发者利用该模型开发应用案例 。
文章图片
推荐阅读
- 松下智能座便器盖怎么样
- fossil智能电话手表测评 fossil手表怎么样
- 智能手机会让你的皮肤镍中毒
- 箭牌多功能马桶 箭牌马桶怎么样
- 三星发布Grand Neo Plus智能手机 双卡双待
- 作物生长模拟模型有哪些作用
- 不是智能手表！HTC首款可穿戴设备是健身腕带
- 简述逻辑模型的特点
- 我国作物生长模拟模型的发展是怎样的
- 索尼发布SmartEyeGlass智能眼镜演示视频