随机逼近

随机逼近方法是一类迭代方法，通常用于求解方程的根或最佳化問題。随机逼近方法的递归更新规则可用于多种场景，例如在收集的数据受到噪声干扰时求解线性系统，或在函数无法直接计算、只能通过带噪观测估算时近似其极值。

简而言之，随机逼近算法处理的函数通常具有如下形式：

f(\theta) = \operatorname E_{\xi} [F(\theta,\xi)]

其中f是依赖随机变量\xi 的函数F(\theta,\xi)的期望值。算法的目标是在不直接计算f的情况下，恢复该函数的性质。相反，随机逼近算法通过对F(\theta,\xi)的随机样本进行处理，高效地逼近f的性质，例如其零点或极值。

近年来，随机逼近方法在统计学和机器学习领域得到了广泛应用，尤其是在大数据环境下。这些应用涵盖了随机优化方法及算法、最大期望算法的在线形式、基于时序差分的强化学习、深度学习等。随机逼近算法在社会科学中也被用于描述群体动态：例如在学习理论中的虚拟博弈和共识算法的研究，都可以借助其理论进行分析 。

此类方法的最早也是最具代表性的算法为Robbins–Monro算法和Kiefer–Wolfowitz算法，分别于1951年和1952年提出。

参考文献