诺亚|超参数调优河伯、组合优化器CompBO，华为诺亚开源贝叶斯优化库( 二 )_CompBO|函数|贝叶斯|组合|论文

文章图片

利用组合优化器做贝叶斯优化（CompBO）
这是一篇发表在机器学习研究杂志 JMLR 2021 上的论文，标题为《Are We Forgetting about Compositional Optimisers in Bayesian Optimisation?》，全篇共 78 页。研究者来自华为英国研发中心。

文章图片

论文地址：https://www.jmlr.org/papers/volume22/20-1422/20-1422.pdf
项目地址 https://github.com/huawei-noah/noah-research/tree/CompBO/BO/HEBO/CompBO

贝叶斯优化为全局优化提供了一种面向样本高效的方法。在这个框架内，采集函数（acquisition function）的最大化是决定性能的关键因素。但是，由于采集函数往往是非凸的，因此不容易优化，导致其最大化变得复杂。
华为的这篇论文对最大化采集函数的方法进行了全面的实证研究。此外，通过为流行的采集函数推导出全新但数学上等效的组合形式，研究者将采集函数的最大化任务重新定义为组合优化问题，从而能够从领域大量文献中获益。他们特别强调了 3,958 个单独实验中采集函数最大化组合方法的实证优势，这些实验包括组合优化任务和贝叶斯任务。
鉴于采集函数最大化方法的通用性，研究者认为采用组合优化器有可能在当前贝叶斯优化应用的所有领域内实现性能提升。
【诺亚|超参数调优河伯、组合优化器CompBO，华为诺亚开源贝叶斯优化库】