【贝叶斯优化计算公式】贝叶斯优化是一种用于求解黑箱函数最优化问题的高效方法，尤其适用于目标函数计算成本高、不可导或非凸的问题。其核心思想是通过构建概率模型（如高斯过程）来近似目标函数，并利用该模型进行序列化搜索，以最小的样本量找到最优解。
本文将总结贝叶斯优化中的关键计算公式，并以表格形式展示主要步骤与公式内容，帮助读者更清晰地理解其原理与实现方式。
一、贝叶斯优化的主要步骤
1. 初始化：选择初始采样点，建立先验分布。
2. 构建代理模型：使用高斯过程或其他概率模型对目标函数进行建模。
3. 选择下一个采样点：根据采集函数（如EI、UCB、PI）确定下一个待评估点。
4. 更新模型：在新点处获取目标函数值后，更新代理模型。
5. 迭代优化：重复上述步骤，直到达到预设的迭代次数或收敛条件。
二、贝叶斯优化相关公式汇总
| 步骤 | 公式名称 | 公式表达 | 说明 | |
| 1 | 高斯过程先验 | $ f(x) \sim \mathcal{GP}(m(x), k(x, x')) $ | 假设目标函数服从高斯过程，均值函数为 $ m(x) $，协方差函数为 $ k(x, x') $ | |
| 2 | 后验分布 | $ p(f_ | X, y, x_) = \mathcal{N}(\mu_, \sigma_^2) $ | 在已知观测数据 $ (X, y) $ 的情况下，预测新点 $ x_ $ 的后验均值和方差 |
| 3 | 后验均值 | $ \mu_ = k(x_, X)^T [k(X, X) + \sigma_n^2 I]^{-1} y $ | 新点的预测均值，依赖于核函数和观测数据 | |
| 4 | 后验方差 | $ \sigma_^2 = k(x_, x_) - k(x_, X)^T [k(X, X) + \sigma_n^2 I]^{-1} k(x_, X) $ | 表示预测的不确定性 | |
| 5 | 期望改进（EI） | $ \text{EI}(x) = \mathbb{E}_{f_}[\max(0, f_{\min} - f_)] $ | 用于衡量新点的改进潜力，其中 $ f_{\min} $ 是当前最优值 | |
| 6 | 置信上限（UCB） | $ \text{UCB}(x) = \mu(x) + \kappa \sigma(x) $ | 通过加权均值和标准差决定探索与利用的平衡 | |
| 7 | 概率改进（PI） | $ \text{PI}(x) = P(f_ < f_{\min}) $ | 衡量新点比当前最优值更优的概率 |
三、总结
贝叶斯优化通过结合概率模型与采集函数，能够在较少样本下高效地逼近目标函数的最优解。其核心在于利用高斯过程对未知函数进行建模，并通过不同的采集策略指导后续的采样点选择。掌握这些关键公式有助于深入理解贝叶斯优化的工作机制，并在实际应用中灵活调整参数与策略。
如需进一步了解具体算法实现或应用场景，可参考相关文献或开源工具库（如Hyperopt、BayesianOptimization等）。
