梯度下降法
梯度下降法（）是一种求解无约束最优化问题的一阶迭代最优化算法，它被用来求得可微函数的局部极小值，通常也称为最陡下降法，但是不該與近似積分的最陡下降法（）混淆。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索，因为这是最陡下降的方向。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点，这个过程则被称为梯度上升法。梯度下降法在机器学习中对于成本的最小化或…
标签：#一阶方法
共 4 篇文章
欧拉方法
在数学和计算机科学中，欧拉方法（），是一种一阶数值方法，用以对给定初值的常微分方程求解。 欧拉方法是常微分方程數值方法中最基本的显式方法；是一阶的方法，意味着其局部截断误差正比于步长的平方，并且其全局截断误差正比于步长。欧拉方法是單步法，只需上一點的近似值即可計算目前這一點的近似值。 非正式的几何描述 考虑计算這樣的一个未知曲線的形状：它具有给定的起点并且满足一个给定的微分方程。 这里，所谓“微分方程”可以看作能够通过曲线上任意点的位置…
线性近似
在数学中，线性近似就是用线性函数对普通函数进行近似。这个线性函数称为仿射函数。 例如，有一个实数变量的可导函数 f，根据 n=1 的泰勒公式 : f(x) = f(a) + f\ '(a)(x - a) + R_2 其中 R_2 是余数。舍去余数就是线性近似： : f(x) \approx f(a) + f\ '(a)(x - a) 当 x 无限接近于 a 的时候这个等式成立。右侧的表示是 f 在点 (a, f(a)) 处的切线，因此这…
梯度法
在最佳化中，梯度法（）是一種解決以下形式問題的算法 :\min_{x\in\mathbb R^n}\; f(x) 搜索方向由當前點的函數梯度定義。梯度法的例子有梯度下降法和共軛梯度法。 參見 梯度下降法 坐標下降法 共軛梯度法 共軛梯度法的推導 穩定雙共軛梯度法 參考資料