诺亚|超参数调优河伯、组合优化器CompBO，华为诺亚开源贝叶斯优化库_CompBO|函数|贝叶斯|组合|论文

机器之心报道
编辑：陈萍、杜伟

华为诺亚开源了一个贝叶斯优化的库，该库包含三个部分：河伯、T-LBO、CompBO 。

贝叶斯优化可以说是一种黑盒优化算法，该算法用于求解表达式未知函数的极值问题。因其具有极强的样本有效性，近年来被广泛使用，研究者只需较少地迭代次数，即可得到一个较好的结果，因此可用于机器学习模型算法调参。
近日，华为诺亚开源了一个新的关于贝叶斯优化的库，该库可用于低维和高维领域的贝叶斯优化，主要包含：

河伯（Heteroscedastic Evolutionary Bayesian Optimization ， HEBO）：异方差演化贝叶斯优化，可用于超参数调优，华为诺亚凭借该算法赢得 NeurIPS BBO 竞赛冠军；
T-LBO：一种将深度度量学习与潜在空间贝叶斯优化相结合以实现高维优化的算法，该算法可以减少 97% 的数据需求；
CompBO：使用组合优化器进行贝叶斯优化。

文章图片

项目地址：https://github.com/huawei-noah/HEBO
河伯

文章图片

河伯算法是华为诺亚方舟决策与推理（DMnR）实验室开发的贝叶斯优化库。该算法击败了 NVIDIA、IBM、Jetbrain 等，以 93.519 得分赢得了 AI 国际顶会 NeurIPS 2020 的黑盒优化竞赛冠军。
HEBO 是与前 5 名竞争对手之间差异最大的算法，以非常大的优势获胜。下面是比赛结果的截图：

文章图片

完整榜单：https://bbochallenge.com/leaderboard/
T-LBO 算法
该算法出自论文《High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning》，全篇 42 页，研究者来自华为诺亚方舟实验室。

文章图片

论文地址：https://arxiv.org/pdf/2106.03609.pdf
研究者提出了一种基于深度度量学习的方法，以使用变分自编码器（VAE）在高维结构化空间中执行贝叶斯优化。通过扩展监督深度度量学习的想法，他们解决了高维 VAE 贝叶斯优化中长期存在的一个问题，即如何将判别式隐空间作为归纳偏置来执行。重要的是，研究者仅使用以往工作的 1% 的标记数据就实现了这种归纳偏置，显示出了所提方法面向样本的高效性。
在实验中，研究者展示了在真实世界高维黑盒优化问题（包括属性引导的分子生成）上的 SOTA 结果。他们希望，本文展示的结果可以作为实现高效高维贝叶斯优化的指导原则。