连续时间马尔可夫链
在概率论中，连续时间马尔可夫链（continuous-time Markov chain，CTMC）是离散时间马尔可夫链的变体。连续时间马尔可夫链是一个连续随机过程，即将时间映射至一个随机变量，并且在每个时刻，该过程会等待一个依指数分布的随机时间，然后跳到由转移矩阵所确定的一个状态。 一个等价的描述是，该过程会等待一组依指数分布的随机时间的最小值移动状态，新的状态只由当前状态所决定。 : 由于指数分布和离散时间马尔可夫链的无记忆性，连续…
标签：#马尔可夫过程
共 6 篇文章
等候理論
排队论（），或称排隊理論、随机服务系统理论，是研究服务系统中排队现象随机规律的学科。排队论作为数学运筹学的分支学科广泛应用于電信、交通工程、计算机网络、生产、运输、库存等各项资源共享的随机服务系统， 在现实中则可以指导工廠、商店、辦公室、醫院等公共设施的設計。 排队论研究的内容有3个方面：统计推断，根据资料建立模型；系统的性态，即和排队有关的数量指标的概率规律性；系统的最佳化问题。其目的是正确设计和有效运行各个服务系统，使之发挥最佳效益…
查普曼-科尔莫戈罗夫等式
在数学之概率论中，尤其是随机过程理论中，查普曼-科尔莫戈罗夫等式（）是一个重要的结论。它将一个随机过程的几个不同维的联合分布函数联系在一起。 假设 { fi } 是一个随机过程，即一个随机变量集合（每个元素对应一个只命名不排序的索引）。 记 :p_{i_1,\ldots,i_n}(f_1,\ldots,f_n) 为从f1到fn的各随机变量的联合分布函数，则查普曼-科尔莫戈罗夫等式为： :p_{i_1,\ldots,i_{n-1}}(f_…
分散式部分可观察马尔可夫决策过程
分散式部分可观察马尔可夫决策过程（，Dec-POMDP）是一种多智慧体协调决策模型。这是一种概率模型，对于现实生活中结果、传感器和通信的不确定性具有很好的解决能力。 该模型是马尔可夫决策过程和部分可觀察馬可夫決策過程的泛化，适用于分布式多智慧体的情形。 定义 正式定义 Dec-POMDP是一个7元组，其中： S是状态的集合， A_i是智慧体i的行动集合，其中A=\times_i A_i是联合行动的集合， T是是状态间条件转移概率的集合，…
部分可觀察馬可夫決策過程
部分可觀察馬可夫決策過程（Partially Observable Markov Decision Process，缩写：POMDP），是一種通用化的馬可夫決策過程。POMDP模擬代理人決策程序是假設系統動態由MDP決定，但是代理人無法直接觀察目前的狀態。相反的，它必須要根據模型的全域與部分區域觀察結果來推斷狀態的分佈。 因為POMDP架構的通用程度足以模擬不同的真實世界的連續過程，應用於機器人導航問題、機械維護和不定性規劃。架構最早由…
凯利引理
在概率论中，凯利引理是指，对于平稳连续时间马尔可夫链，由时间反演所定义的过程与正向时间的过程具有相同的平稳分布。 该定理以弗兰克·凯利的名字命名。 定理陈述 在状态空间S和转移矩阵Q=(q_{ij})的连续时间马尔可夫链，如果存在一组数q_{ij}'以及和为1的\pi_i满足 :: \begin{align} \sum_{j \neq i} \pi_i q'_{ij} &= \sum_{j \neq i} q_{ij} \quad \f…