机器之心报道
机器之心编辑部
一个参数画出大象 。据说 , 冯 · 诺依曼有次参加一个会议 , 某物理研究员在报告一个研究进展 , 用了一个非常复杂的模型 , 试图论证实验数据点都落在同一条曲线上 , 符合模型预期 。 于是冯 · 诺依曼就说了一句 , 还不如说这些点都在同一个平面上 。 最后 , 冯 · 诺依曼留下了一句名言:「With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.」
这就是冯 · 诺依曼经典的「四个参数画大象 , 五个参数鼻子晃」的故事 。
2010 年 , 来自德国马克斯普朗克分子细胞生物学和遗传学研究所和欧洲分子生物学实验室的三位研究者发表的论文实现了四个参数画大象 , 具体如下:
文章图片
图源:https://publications.mpi-cbg.de/Mayer_2010_4314.pdf
相同的思想 , 近日 , 一篇发表于 2019 年 4 月的老论文《 Real numbers, data science and chaos: How to fit any dataset with a single parameter 》 , 在推特上又引来一波讨论量 。 论文作者 Laurent Boué 现为微软高级机器学习科学家 , 他讲述了「如何使用单个参数拟合任何数据集」 。
文章图片
论文地址:https://arxiv.org/pdf/1904.12320.pdf
【大象|深度学习作弊,用单个参数fit任何数据集,这篇19年论文「火」了】发帖者为普林斯顿博士生、DeepMind 研究科学家实习生 Miles Granmer , 他表示 , 「该论文提供了一个具有单个参数的标量函数 , 并且这个函数是可微和连续的!」
文章图片
对于这项研究 , 有人认为:「从技术上讲 , 这篇文章存在一些『作弊』 , 因为该论文使用了任意精度的浮点数 。 由于浮点数所需的位数非常少 , 因此本文可能是压缩表示的一个很好的候选者 。但它绝对不是『单一』参数 。 我同意这篇论文是一种将数据集编码为数字 , 然后将其解码回重建单个点的聪明方法 。 」
文章图片
还有人对这项研究的拟合参数标准误差产生了兴趣 , 如果它是单个参数 , 误差将有多大?
文章图片
还有人表示:「1 个参数的连续可微函数可以生成无限 VC 维族 。 这篇论文似乎是该技巧的某个版本 。 」
推荐阅读
- MateBook|深度解析:华为MateBook X Pro 2022的七大独家创新技术
- 问答|紧追B站加码知识类内容,抖音上线“学习频道”
- Siamese|一个框架统一Siamese自监督学习,清华、商汤提出简洁、有效梯度形式,
- 技术|探秘AI智慧之旅,科大讯飞AI学习机研学游第一期圆满落幕
- 人物|最有深度的8个公众号,你关注了吗
- 材料|别在玩吃鸡,小学生都开始学习3d打印技术了
- 字节跳动|抖音上线学习频道,为知识内容增加一级入口
- 数据|抖音上线学习频道,位于一级入口
- 国际|特奖得主任队长,清华夺冠NeurIPS 2021国际深度元学习挑战赛
- 深度|小米真无线降噪耳机 3 Pro 新年特别版即将发布,带来全新配色等