树结构Parzen估计器（简称Tree-structured Parzen Estimator、Parzen-Tree Estimator或TPE）是一种估计量（Estimator），主要用于贝叶斯超参数优化中，通过构建目标函数f: \mathcal{X} \to \mathbb{R}的近似模型p(y| x)来实现优化（其中\mathcal {X}为配置空间，x为一组超参数，y = f(x)为目标函数的评分）。
由于评估实际函数f的成本非常“昂贵”（例如，寻找深度神经网络的合适层数），因此希望借助p(y|x)找到最佳超参数x，随后再将其代入f 中。该方法假设配置空间\mathcal {X}具有树形结构（例如，只有在至少存在4层的情况下，才会确定第4层的神经元数量）。随后，TPE会构建一个由核密度估计器组成的树。
概率密度p ( y | x)也被称为“代理模型”（surrogate probability model），它并不被直接建模，而是通过应用贝叶斯定理：
p(y|x)=\frac{p(x|y)p(y)}{p(x)}
通过对p (x | y)和p(y)进行建模来实现。
函数p(x |y)通过引入阈值y^ *被拆分为两个概率密度，使其不再依赖于y：
p(x|y)=\begin{cases}l(x) & y
其中，阈值y^是一个\alpha-分位数，即满足p( y\leq y ^{})= \alpha。
概率密度l(x)和g(x)随后利用核密度估计器构建。对于l (x)，使用满足f(x_i) 的观测值\{ x_i\}；而其余满足f (x_k) >y^*的观测值则用于构建g(x)。
参考
评论 (0)