浏览器|百亿参数、中文NLU能力首次超越人类,QQ浏览器大模型神舟登顶CLUE( 二 )


首个在中文自然语言理解能力上超过人类水平的模型
在英文各类榜单上 , 机器水平已经超过人类有一段时间 。 中文作为世界上最大规模又极难的语种 , 面临很多相比于英文更复杂的语言语境问题 , 比如切词、词法、句法等层面的差异 , 语言理解的整体难度更大 。 业界中文语言理解能力距离人类(HUMAN)仍然一定距离 , 当自然语言理解能力不断深化并到达人类的水平后 , 在中文环境下技术就可以完成更多传统意义上只有人类才能完成的工作 。
结合结合腾讯 pcg venus 机器学习平台引入大量模型优化和加速算法 , 「神舟」在之前十亿级别参数量的「小」模型摩天(Motian)基础上 , 构建了百亿参数的训练能力 , 结合算法的大量优化 , 最终得到了这个在中文语言理解表现上业界表现最佳的模型 。
为了进一步验证预训练模型的效果 , 腾讯 QQ 浏览器实验室在中文语言理解测评基准 CLUE 榜单上进行了效果验证 , 于 2021 年 9 月 19 日登顶 CLUE1.0 总榜单 / 分类榜单 / 阅读理解榜 , 全部超过人类水平 , 同时也在 CLUE 1.1 的总榜单 / 分类榜单 / 阅读理解榜均取得了第一的成绩 。

浏览器|百亿参数、中文NLU能力首次超越人类,QQ浏览器大模型神舟登顶CLUE
文章图片


浏览器|百亿参数、中文NLU能力首次超越人类,QQ浏览器大模型神舟登顶CLUE
文章图片


浏览器|百亿参数、中文NLU能力首次超越人类,QQ浏览器大模型神舟登顶CLUE
文章图片


浏览器|百亿参数、中文NLU能力首次超越人类,QQ浏览器大模型神舟登顶CLUE
文章图片


浏览器|百亿参数、中文NLU能力首次超越人类,QQ浏览器大模型神舟登顶CLUE
文章图片


浏览器|百亿参数、中文NLU能力首次超越人类,QQ浏览器大模型神舟登顶CLUE
文章图片

当前「神舟」已经在 QQ 浏览器搜索、腾讯看点信息流、QQ 浏览器小说场景下支持了几十个语义类算法应用 , 在多业务场景中取得明显收益;同时也基于腾讯搜索中台和大内容中台场景 , 辐射至腾讯新闻、视频、微视等腾讯 PCG 业务场景 。
刷新 27 个 NLP 基准任务
基于「神舟」领先的中文自然语言理解能力 , 腾讯 QQ 浏览器实验室团队在 27 个中文自然语言公开数据集上取得了最优效果 , 问题类型覆盖了自然语言的方方面面 , 包括文档检索、事件抽取、观点抽取、自然语言推断、语义相似度、分类、机器阅读理解、命名实体识别等等 。

浏览器|百亿参数、中文NLU能力首次超越人类,QQ浏览器大模型神舟登顶CLUE
文章图片

除此以外 , 借助「神舟」的预训练模型效果 , 可以为所有的语义理解能力带来更强的综合效果 , 包括但不限于以下场景:

推荐阅读