隨機控制（stochastic control）或隨機最优控制（stochastic optimal control）是控制理论中的一個領域，是針對有不確定性的系統進行控制，不確定性可能是在量測上，也有可能是因為雜訊的影響。系統設計者會假設影響狀態變數的隨機雜訊，（以贝叶斯概率的觀點來看）其機率分布是已知的。隨機控制的目的是在雜訊存在的情形下，設計受控變數的時間軌跡，在最小成本的情形下（其成本可能會適有適當的定義）使系統完成預期的控制任務。隨機控制可能是配合離散時間系統，也可能是連續時間系統。
確定性等效
隨機控制中最常被探討的控制器是線性平方高斯控制（LQG控制），其模型為線性的，目標函數的期望值為二次性，而擾動是純疊加性的。若是離散時間集中式系統，其不確定性是純疊加性，有一個基本的特性為「確定性等效性質」（certainty equivalence property）：其最佳控制的解和沒有疊加性擾動下的解一樣。所有線性系統方程、二次目標函數、雜訊為純疊加性的集中式系統中，確定性等效性質都會成立，二次目標函數的假設是讓（配合確定性等效性質）的最佳控制律是控制器觀測值的線性函數。
若有任何和上述假設不同的地方：非線性狀態方程、非二次目標函數、或是系統為分散式控制系統都會讓確定性等效性質不成立。例如在分散式系統中的Witsenhausen反例就是說明確定性等效性質在分散式系統中不成立。
離散時間系統
在離散時間系統中，控制器會在每個時間週期觀測狀態變數（也可能包括估測雜訊）。其目標可以針對所有時間內的非線性（可能是二次的）目標函數計算不同時間期望值的加權和，也可以只針對最後時間的目標函數進行最佳化。每個時間區間內會產生新的估測值，依最佳化的方式調整控制變數。找目前時間最佳解的作法是後向迭代計算線性平方高斯控制（矩陣Riccati方程），從最後的時間一直倒退迭代到目前時間。
考慮離散時間系統，其傳遞矩陣或控制響應矩陣中的參數有不確定性（因此狀態變數的目前值會有變化），但仍然是線性狀態函數以及二次性目標函數，仍然可以用每一個時間週期的解，用後向迭代的方式求解Riccati方程，不過可能沒有確定性等效的特性。若離散時間系統的目標函數不是二次性的，但是只要處理加性不確定性，也可以進行隨機控制，不過會比較複雜。
例子
以下是一個典型的離散時間隨機線性二次控制問題，要最小化
:\text{E}_1\sum_{t=1}^S [y_t^T Qy_t + u_t^T Ru_t]
其中E1為在y0條件下的期望值運算子，上標T表示是转置矩阵，S為時間區間，其狀態方程如下
:y_t = A_ty_{t-1} + B_tu_t,
其中y是n × 1的可觀察狀態變數向量，u是k × 1的控制變數向量，At是時間t時的隨機n × n狀態轉移矩陣的實現，Bt是時間t時的隨機n × k控制乘數矩陣的實現，Q (n × n)和R (k × k)是已知的正定費用矩陣。假設A和B的每個元素都是在時間上聯合的独立同分布，因此期望值運算不用考慮時間的條件。
可以用貝爾曼方程得到每個時間的最佳控制解。
金融的應用
在金融領域連續系統的研究中，隨機微分方程的狀態變數多半是財富或是淨值，控制變數是不同時間下各資產的配置情形。給定任一時間下的，財富變化的決定因素是資產的隨機收益以及無風險資產的利率。隨機控制的領域在1970年代開始大幅發展，有不少人應用在金融上。Robert Merton用隨機控制來研究安全資產以及風險資產的。以及布莱克-舒尔兹模型改變了金融文獻的特質。有影響力的相關數學教科書包括及Rishel合著的教科書、以及Fleming和合著的教科書。Jerome Stein將這些技巧應用在2007年–2008年環球金融危機。
在最後日期T的淨值期望值對數的最大值，和財富成份的隨機過程有關。在連續系統中，伊藤引理是主要分析工具。若是要探討在時間(0,T)內凹函數積分的最大值，會使用動態規劃。這裡沒有類似較舊的文獻的確定等效關係，因為控制變數的係數（所選資產份額所獲得的回報）也是隨機性的。
相關條目
*
- 随机过程
- 控制理论
*
*
参考文献
评论 (0)