贝叶斯优化

贝叶斯优化是一种用于对黑盒函数进行的序贯设计策略，它不假定任何函数形式。该方法通常用于优化代价高昂、难以评估的函数。随着21世纪人工智能的兴起，贝叶斯优化算法在机器学习问题中获得了显著应用，常用于超参数优化（hyperparameter values）。

历史
术语通常归功于，并在其1970年代和1980年代关于全局优化的一系列出版物中提出。

早期数学基础
1960年代到1980年代
贝叶斯优化的最早想法 sprang in 1964, from a paper by American applied mathematician Harold J. Kushner, 可追溯到1964年，由美国应用数学家Harold J. Kushner在一篇题为[https://asmedigitalcollection.asme.org/fluidsengineering/article/86/1/97/392213/A-New-Method-of-Locating-the-Maximum-Point-of-an “A New Method of Locating the Maximum Point of an Arbitrary Multipeak Curve in the Presence of Noise”] 的论文中提出。虽然该论文并未直接提出贝叶斯优化，但他首次提出了一种在噪声环境下定位任意多峰曲线最大点的新方法，该方法为后续的贝叶斯优化提供了重要的理论基础。

到1980年代，我们现在使用的贝叶斯优化框架已被明确建立。1978年，立陶宛科学家Jonas Mockus在其论文“The Application of Bayesian Methods for Seeking the Extremum”中讨论了如何在各种不确定条件下使用贝叶斯方法寻找函数的极值。在该论文中，Mockus首次提出了期望改进（[https://schneppat.com/expected-improvement_ei.html Expected Improvement principle] ，简称EI）原则，EI是贝叶斯优化的核心采样策略之一。该准则通过最大化期望改进在探索与利用之间取得平衡，从而高效地优化函数。由于该原则的实用性和深远影响，Jonas Mockus被广泛认为是贝叶斯优化的奠基人。尽管期望改进是最早提出的核心采样策略之一，但并非唯一；随着现代发展，还出现了改进概率（Probability of Improvement，PI）、上置信界（Upper Confidence Bound，UCB）等策略。

从理论到实践
在1990年代，贝叶斯优化开始逐步从纯理论向实际应用过渡。1998年，Donald R. Jones及其合作者发表了一篇题为“Efficient Global Optimization of Expensive Black-Box Functions”的论文。在该论文中，他们提出了高斯过程（Gaussian Process，GP）并详细阐述了Jonas Mockus在1978年提出的期望改进准则。通过Donald R. Jones及其同事的工作，贝叶斯优化开始在计算机科学和工程等领域崭露头角。然而，由于当时计算能力的限制，贝叶斯优化在计算复杂度方面仍受到较大影响。

进入21世纪，随着人工智能和仿生机器人技术的兴起，贝叶斯优化被广泛用于机器学习和深度学习，成为超参数调优的重要工具。如Google、Facebook和OpenAI等公司已将贝叶斯优化纳入其深度学习框架以提高搜索效率。然而，贝叶斯优化仍面临诸多挑战，例如当使用高斯过程作为代理模型时，在数据量大的情形下高斯过程的训练会非常缓慢且计算代价很高，这使得该优化方法在更复杂的药物开发与医学实验中难以良好适用。

策略
贝叶斯优化用于如下形式的问题：\max_{x \in X } f(x)，其中X为所有可能参数x的集合，通常为最佳使用场景设定維度不超过20（X \rightarrow \mathbb{R}^d \mid d \le 20），且其成员资格可以容易地被评估。对于计算代价高昂导致评估困难的函数，贝叶斯优化尤为有利。目标函数f是连续的且具有未知结构，称为“黑盒”函数；在评估后只能观测到f(x)，而其导数通常不可用。

由于目标函数未知，贝叶斯策略将其视为随机函数并在其上放置先验分布。先验反映了对函数行为的信念。在收集到被视为数据的函数评估后，将先验更新为目标函数的后验分布。后验分布进而用于构造采集函数（acquisition function，也常称为填充采样准则），以决定下一次查询点。

用于定义目标函数先验/后验分布的方法有若干种。最常见的两种方法是使用高斯过程（Gaussian processes）进行（kriging）方法。另一种较低成本的方法使用树结构Parzen估计器为“高”和“低”点构建两组分布，然后寻找使期望改进最大的位点。

标准贝叶斯优化依赖于每个x \in X易于评估这一假设；偏离该假设的问题被称为“奇异贝叶斯优化”（exotic Bayesian optimization）问题。如果已知存在噪声、评估以并行方式进行、评估质量在难度与准确性之间存在权衡、存在随机环境条件，或评估涉及导数，优化问题就可能变为奇异问题。这些采集函数在探索与利用之间进行权衡，以尽量减少函数查询次数。因此，贝叶斯优化适用于评估代价昂贵的函数。

求解方法
通常通过离散化或借助辅助优化器来寻找采集函数的最大值。采集函数的最大化采用数值优化技术，例如牛頓法或拟牛顿法，如BFGS算法。

应用
该方法已被广泛应用于解决问题，包括排序学习、计算机图形学与视觉设计、机器人学 、無線感測網路、自动算法配置 、自动机器学习工具箱、强化学习、规划、视觉注意力、深度学习中的架构配置、静态程序分析、粒子物理实验、质量-多样性优化、化学、材料设计和药物开发等领域。

贝叶斯优化也被应用于面部识别领域。方向梯度直方图（Histogram of Oriented Gradients，HOG）算法作为一种流行的特征提取方法，其性能高度依赖参数设置。优化这些参数虽具挑战性但对提高准确率至关重要。一种基于树结构帕森估计器（Tree-structured Parzen Estimator，TPE）的贝叶斯优化方法来同时优化HOG算法参数和图像尺寸，用于面部识别。该优化方法具有适配其他计算机视觉应用的潜力，并推动基于手工参数的特征提取算法的发展。

参见

• 多臂赌博机
• 帕累托效率
• 多目标优化

参考