大象|深度学习作弊,用单个参数fit任何数据集,这篇19年论文「火」了

机器之心报道
机器之心编辑部

一个参数画出大象 。
据说 , 冯 · 诺依曼有次参加一个会议 , 某物理研究员在报告一个研究进展 , 用了一个非常复杂的模型 , 试图论证实验数据点都落在同一条曲线上 , 符合模型预期 。 于是冯 · 诺依曼就说了一句 , 还不如说这些点都在同一个平面上 。 最后 , 冯 · 诺依曼留下了一句名言:「With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.」
这就是冯 · 诺依曼经典的「四个参数画大象 , 五个参数鼻子晃」的故事 。
2010 年 , 来自德国马克斯普朗克分子细胞生物学和遗传学研究所和欧洲分子生物学实验室的三位研究者发表的论文实现了四个参数画大象 , 具体如下:

大象|深度学习作弊,用单个参数fit任何数据集,这篇19年论文「火」了
文章图片

图源:https://publications.mpi-cbg.de/Mayer_2010_4314.pdf
相同的思想 , 近日 , 一篇发表于 2019 年 4 月的老论文《 Real numbers, data science and chaos: How to fit any dataset with a single parameter 》 , 在推特上又引来一波讨论量 。 论文作者 Laurent Boué 现为微软高级机器学习科学家 , 他讲述了「如何使用单个参数拟合任何数据集」 。

大象|深度学习作弊,用单个参数fit任何数据集,这篇19年论文「火」了
文章图片

论文地址:https://arxiv.org/pdf/1904.12320.pdf
【大象|深度学习作弊,用单个参数fit任何数据集,这篇19年论文「火」了】发帖者为普林斯顿博士生、DeepMind 研究科学家实习生 Miles Granmer , 他表示 , 「该论文提供了一个具有单个参数的标量函数 , 并且这个函数是可微和连续的!」

大象|深度学习作弊,用单个参数fit任何数据集,这篇19年论文「火」了
文章图片

对于这项研究 , 有人认为:「从技术上讲 , 这篇文章存在一些『作弊』 , 因为该论文使用了任意精度的浮点数 。 由于浮点数所需的位数非常少 , 因此本文可能是压缩表示的一个很好的候选者 。但它绝对不是『单一』参数 。 我同意这篇论文是一种将数据集编码为数字 , 然后将其解码回重建单个点的聪明方法 。 」

大象|深度学习作弊,用单个参数fit任何数据集,这篇19年论文「火」了
文章图片

还有人对这项研究的拟合参数标准误差产生了兴趣 , 如果它是单个参数 , 误差将有多大?

大象|深度学习作弊,用单个参数fit任何数据集,这篇19年论文「火」了
文章图片

还有人表示:「1 个参数的连续可微函数可以生成无限 VC 维族 。 这篇论文似乎是该技巧的某个版本 。 」

大象|深度学习作弊,用单个参数fit任何数据集,这篇19年论文「火」了

推荐阅读