茶年 · 中文维基百科

最小均方误差

Wikipedia · 2026-06-16 维基百科 👁 2 阅读

在統計學和信号处理中，最小均方误差（，缩写MMSE）估計是一种使均方误差（MSE）最小化的估计函数，其通常被称为最优估计。

與均方誤差的關係
均方誤差（mean square error, MSE）是一種以平方誤差衡量估計或近似品質的指標。若 X 為欲估計的量，\hat X 為估計值，則均方誤差可寫成

:\operatorname{MSE}(\hat X)=\operatorname{E}\left[(X-\hat X)^2\right]

最小均方誤差則是以最小化 MSE 為目標的估計或設計準則。換言之，MSE 是被衡量與最小化的誤差量，而 MMSE 表示在某一組可行估計器或可行系統中，使該誤差達到最小的選擇。在線性系統、濾波器設計與隨機信號估計中，MSE 常被用作比較不同估計器或濾波器性能的準則。

在 FIR 濾波器設計中的 MSE 準則
在FIR 濾波器設計中，MSE 可用來衡量實際頻率響應與期望頻率響應之間的平均平方誤差。令 R(F) 表示設計出的 FIR 濾波器頻率響應，H_d(F) 表示期望頻率響應，則一種常見的 MSE 形式為

:\mathrm{MSE}=\int_{-1/2}^{1/2}\left|R(F)-H_d(F)\right|^2\,dF

其中 F=f/f_s 為正規化頻率，f_s 為取樣頻率。此設計準則會使整個頻率範圍內的平均平方誤差變小，因此可稱為以均方誤差準則設計 FIR 濾波器。

以第一型線性相位 FIR 濾波器為例，令濾波器長度 N 為奇數，並令

:k=\frac{N-1}{2}

若脈衝響應滿足偶對稱條件

:h[n]=h[N-1-n]

則可將脈衝響應平移為

:r[n]=h[n+k]

並定義係數

:s[0]=r[0]

以及

:s[n]=2r[n],\quad n>0

此時去除線性相位項後的零相位頻率響應可寫成

:R(F)=\sum_{n=0}^{k}s[n]\cos(2\pi nF)

因此，在這種 FIR 設計形式中，s[n] 不是新的輸入信號，而是由實際濾波器脈衝響應 h[n] 經由平移與對稱合併後得到的係數。最小化 MSE 可轉化為求這些係數 s[n] 的問題。對未加權的情況，可令 MSE 對各係數的偏微分為零，進而得到 FIR 濾波器係數。

加權均方誤差
若不同頻帶的重要性不同，可在 MSE 中加入權重函數 W(F)：

:\mathrm{MSE}=\int_{-1/2}^{1/2}W(F)\left|R(F)-H_d(F)\right|^2\,dF

權重函數可用來控制不同頻帶的設計精度。例如在通帶給予較大權重時，設計會較重視通帶誤差；在阻帶給予較大權重時，設計會較重視阻帶誤差。此概念常用於通帶漣波與阻帶衰減之間的取捨。

加入權重函數後，餘弦基底在加權內積下不一定保持正交，因此係數求解可寫成矩陣方程：

:BS=C

其中矩陣 B 與向量 C 由 W(F)、H_d(F) 以及餘弦項的積分決定。若 B 可逆，則可形式化地寫成

:S=B^{-1}C

其中 S 為由 s[n] 組成的係數向量。這表示加權 MSE 設計通常比未加權情況多了矩陣運算。

與 minimax 準則的差異
MSE 準則與 minimax 準則的主要差異在於誤差衡量方式。MSE 關心平均平方誤差，而 minimax 關心最大誤差。若一個設計在大部分頻率上誤差很小，但在少數頻率上誤差較大，它可能具有較小的 MSE，卻不一定具有較小的最大誤差。相反地，minimax 設計會試圖降低最壞情況下的誤差，使通帶與阻帶中的最大偏差受到控制。

若以濾波器頻率響應表示，minimax 可寫成最小化

:\max_F \left|R(F)-H_d(F)\right|

或在加入權重函數後最小化

:\max_{F\notin \text{transition band}} W(F)\left|R(F)-H_d(F)\right|

因此，MSE 與 minimax 並非同一種最佳化目標；前者偏向平均意義下的誤差，後者偏向最壞情況下的誤差。

與維納濾波器的關係
維納濾波器是與隨機過程相關的濾波器，其設計不是單純指定通帶與阻帶，而是根據原始信號、觀測信號與雜訊的統計特性決定濾波器。此類設計與最小均方誤差準則密切相關，因為其目標是在統計意義下得到較佳的信號重建或估計結果。

若以 S_{XY}(F) 表示原始信號 X 與觀測信號 Y 的交叉功率譜密度，以 S_{YY}(F) 表示觀測信號的自功率譜密度，則維納濾波器的一種頻域形式可寫為

:H_{\mathrm{opt}}(F)=\frac{S_{XY}(F)}{S_{YY}(F)}

其中功率譜密度可視為相關函數在頻域中的表示。此式顯示，維納濾波器的設計依賴信號與觀測資料的相關性，而不只是固定的頻帶規格。

限制
以 MSE 為準則的設計通常具有明確的數學形式，且便於推導或數值計算。不過，MSE 最小並不等同於最大誤差最小；在濾波器設計中，若應用重視最壞情況下的通帶漣波或阻帶衰減，minimax 準則可能更適合。此外，若使用維納濾波器或其他統計式方法，設計結果會依賴所假設或估計的信號與雜訊統計量。

参见
*
*均方误差
*最小二乘法
*最小方差無偏估計
*
*维纳滤波
*卡尔曼滤波
*线性预测
*

參考資料

外部链接

#统计偏差和离散度 #估计理论

评论 (0)

  • 还没有评论，来抢沙发吧。