学习率

在机器学习和统计学中，学习率（）是优化算法中的一个可调参数，它决定了每次迭代的步长，使得优化向损失函数的最小值前进。它影响到新学习到的信息在多大程度上取代了旧信息，暗示了机器学习模型 "学习 "的速度。在自适应控制中，学习率通常被称为增益（Gain）。

设置学习率需要在收敛速度和过冲（Overshooting）之间进行权衡。学习时的前进方向通常由损失函数的负梯度决定，而学习率决定了在这个方向上迈出多大一步。过高的学习率会使迈一大步，超过最小值；但过低的学习率会导致收敛速度变慢，或收敛于局部最小值。

为了加速收敛，防止振荡和陷入不理想的局部极小值，学习率在训练过程中往往按照计划或自适应改变。

学习率计划表
初始学习率速率可以参考系统默认值，也可以使用其他方式选择。学习率计划表在学习过程中改变学习率，最常见的是在epochs或iterations之间改变。学习率的改变通常由两个参数决定：衰减（Decay）和动量（Momentum）。目前常见的学习率修改方式是基于时间、基于步骤或基于指数的。），这些算法通常内置于深度学习库。

参考文献