易坊好文馆

  1. 首页 > 玩科技 >

MetaDL|清华大学朱文武团队夺冠AAAI 2021国际深度元学习挑战赛

数据 团队 国际 样本 测试 训练 深度 模型 挑战赛 数据集 MetaDL 朱文武

机器之心发布
机器之心编辑部
清华大学朱文武教授团队摘得AAAI 2021 国际深度元学习挑战赛（MetaDL Challenge）冠军 。
近日 ， 国际人工智能顶级会议 AAAI 2021 召开 ， 清华大学朱文武教授团队的 Meta_Learners 团队在 AAAI 2021 国际深度元学习挑战赛（MetaDL Challenge）中夺得冠军 。 该团队在最终阶段的隐藏测试数据集上取得了 40.4% 的准确率 ， 以高于第二名 13% 性能的大幅度领先强势摘得桂冠 。
【MetaDL|清华大学朱文武团队夺冠AAAI 2021国际深度元学习挑战赛】
MetaDL|清华大学朱文武团队夺冠AAAI 2021国际深度元学习挑战赛
文章图片

元学习是机器学习自动化过程的一个重要步骤 ， 旨在设计和训练拥有强大适应能力和泛化能力的机器学习模型 ， 来应对现实应用场景中环境变化剧烈、训练数据不足的挑战 。
随着机器学习解决实际问题的日益复杂化 ， 元学习 ， 特别是深度元学习 ， 近期受到了来自产学研各界越来越多的关注 ， 成为人工智能领域最热门的研究方向之一 。 目前 ， 谷歌、微软、亚马逊等国际巨头均已将元学习算法应用到自己的产业链之中；国内许多知名公司 ， 如腾讯、百度、字节跳动等 ， 也在不断完善自己的元学习算法和系统 。
此次 MetaDL 挑战赛是元学习领域举办的第一届比赛 ， 由第四范式和微软联合举办 ， 并登陆人工智能领域顶级会议 AAAI 2021 ， 吸引了众多国内外优秀团队的关注和参与 。 本次赛事共有近一百支队伍参赛 ， 内容为图像分类领域中的小样本学习问题 。
小样本学习是目前机器学习国际前沿正在解决的问题之一 ， 是元学习的一个重要应用场景 ， 而基于小样本的深度元学习将更加复杂 ， 面临巨大挑战 。 与以往的小样本学习不同 ， 本次比赛同时考察元学习算法本身的泛化性和自适应性 ， 对算法在各个场景下的有效性进行测试 。
比赛分为两个阶段：Feedback 阶段与 Blind test 阶段 。
Feedback 阶段是代码提交及完善阶段 。 主办方提供了一个公开的线下数据集以及一个隐藏的线上数据集 ， 供参赛者构建以及调试他们的 MetaDL 系统 。
Blind test 阶段是最终测试阶段 。 此阶段拥有另一个完全不同的隐藏测试集 。 第一阶段提交的最后一次代码会在这个数据集上进行训练和测试 ， 最终的结果将被作为最终效果用于排名 。

MetaDL|清华大学朱文武团队夺冠AAAI 2021国际深度元学习挑战赛
文章图片

每个数据集都由两部分组成：元训练数据集以及元测试数据集 。 元训练数据集包含若干类图片供深度元学习模型进行元训练过程 ， 而元测试数据集包含 600 个片段（episode） ， 每个片段均是五分类一训练样本十九测试样本（5-way-1-shot-19-query）的小样本图像分类任务 。 对于每个片段 ， 模型需要在给定的五个训练样本（support set）上执行训练过程 ， 并对剩余九十五个测试样本（query set）进行测试 。
本次比赛具有以下三个方面的挑战：
一、如何使模型具有快速适应小样本新任务的能力 。 在这次比赛中 ， 参赛者提交的模型拥有两次训练过程：元训练过程以及测试训练过程 。 在元训练过程中 ， 模型必须提炼出该数据集的元知识以及最佳的学习方法 ， 来确保模型在测试训练过程中能快速学习并防止过拟合 。
二、时间以及空间约束 。 本次比赛拥有对时间以及空间的约束条件 。 总时长不超过 2h ， 总 GPU 资源占用不得超过 4 张 8G M60 GPU 。 这要求参赛者提供的模型必须高效、轻量地提取元知识和学习方法 。
三、适配未知数据集 。 相别于传统小样本学习 ， 本次比赛还考察了模型对于不同类型数据集的适应效果 。 由于事先并不知道测试阶段的隐藏元训练数据 ， 挑战者提交的模型必须拥有足够的泛化能力 ， 来应对在未知类型的数据集中提炼元知识的能力 。 这一点又被称为元-元学习 ， 是对元学习的补充与提升 。
为了应对以上三个问题 ， Meta-Learners 参赛团队提出了自适应深度元学习系统 Meta-Delta 来实现轻量级、高效、高泛化性的元学习模型 。

MetaDL|清华大学朱文武团队夺冠AAAI 2021国际深度元学习挑战赛
文章图片


MetaDL|清华大学朱文武团队夺冠AAAI 2021国际深度元学习挑战赛
文章图片

Meta-Delta 系统采用基于测量的方法（metric-based method）来作为元学习模型的内核（如图 Meta-Learner） 。 这种方法将数据集映射到一个元知识空间 ， 并以空间中测试样本点（query）和训练样本点（support）的距离远近 ， 来快速进行小样本分类 。 这样的做法将元知识的提取转化为空间变换问题 ， 是最近研究中效果最好的元学习算法之一 ， 很好地解决了快速适应小样本新任务的挑战 。
基于此内核 ， 团队精心构造了资源控制模块 ， 精准管控与分配模型学习时的时间空间消耗 ， 采用多进程与多线程相结合的方式 ， 在不超时的前提下进行尽可能充分的元知识提取 。 最后 ， 系统采用不同的预训练模型 + 多模型整合（ensemble）的方式 ， 使得整个系统在面对未知的数据集时 ， 仍然能够有效地提取出最佳元知识 ， 使其具有更强的泛化能力 。
团队成员介绍
Meta_Learners 团队成员包括计算机系在读硕士生关超宇、卫志坤、陈禹东 ， 由关超宇担任队长 ， 朱文武教授与王鑫助理教授担任指导教师 。
团队从 2015 年开始关注和研究机器学习自动化相关研究领域 ， 已经具备了较为丰富的领域知识和较为深厚的技术积累 ， 该团队曾摘得 NeurIPS 2018 Lifelong-AutoML 比赛高校冠军 。 此次参与 MetaDL 第一届比赛以显著优势夺得冠军 。
元学习作为一个越来越受关注的研究领域 ， 其应用价值已得到了广泛认可 ， 但其中的关键技术目前仍无法满足日益复杂的现实场景需求 ， 具备广阔的研究前景 。 Meta_Learners 团队将持续深耕 ， 以保持在该领域的竞争力 。
Meta-Delta 论文下载地址：http://mn.cs.tsinghua.edu.cn/xinwang/PDF/AAAI21_MetaDelta.pdf
Meta-Delta 系统源码链接：https://github.com/Frozenmad/MetaDelta

    推荐阅读


    上一篇：Panasonic|松下推出了一款会放屁的“猫咪”机器人

    下一篇：用户|快看 | 米聊退场：将于2月19日12点停止服务