均方误差
在统计学中，平均平方誤差（，MSE）或均方误差，又称均方偏差（mean-square deviation，MSD）、均方差，是预测值或估计值与真实值的差异平方的均值。均方误差越小说明模型的预测或者参数的估计精度越准确。 計算公式 对于无法观察的参数\theta的一个估计函数T；其定义为： \operatorname{MSE}(T)=\operatorname{E}((T-\theta)^2), 即，它是“误差”的平方的期望值。误差就是估…
标签：#損失函數
共 4 篇文章
Hinge loss
在機器學習中，鉸鏈損失是一個用於訓練分類器的損失函數。鉸鏈損失被用於「最大間格分類」，因此非常適合用於支持向量機 (SVM)。 对于一个预期输出 t={\pm}1，分类结果 y 的鉸鏈損失定義為 :\ell(y) = \max(0, 1-t \cdot y) 特別注意：以上式子的y應該使用分類器的「原始輸出」，而非預測標籤。例如，在線性支持向量機當中，y = \mathbf{w} \cdot \mathbf{x} + b，其中 (\ma…
交叉熵
在信息论中，基于相同事件测度的两个概率分布p和q的交叉熵（）是指，当基于一个“非自然”（相对于“真实”分布p而言）的概率分布q进行编码时，在事件集合中唯一标识一个事件所需要的平均比特数（bit）。 给定两个概率分布p和q，p相对于q的交叉熵定义为： :H(p, q) = \operatorname{E}_p[-\log q] = H(p) + D_{\mathrm{KL}}(p \| q),\! 其中H(p)是p的熵，D_{\mathr…
损失函数
在数学优化与决策论中，损失函数（亦称成本函数或误差函数）是将事件或变量值映射至实数域的函数，其数值直观体现与该事件相关的“代价”。优化问题的核心目标即是最小化损失函数。与之相对的目标函数在不同领域有不同称谓——收益函数、效用函数、适应度函数等——这类函数则需要通过最大化来实现价值。值得注意的是，损失函数的设计往往融合多层级结构的要素。 统计学科领域内，损失函数常被应用于参数估计过程，其函数形式通常反映数据实例中估计值与真实值之间的差异度…