转移熵

转移熵（）是测量两个随机过程之间有向（时间不对称）信息转移量的一种非参数统计量。过程X到另一个过程Y的转移熵可定义为：在已知Y过去值的情况下，了解X的过去值所能减少Y未来值不确定性的程度。更具体地说，假定 X_t 和 Y_t （ t\in \mathbb{N} ）表示两个随机过程，并用香农熵来度量信息量，则转移熵可定义为：

:
T_{X\rightarrow Y} = H\left( Y_t \mid Y_{t-1:t-L}\right) - H\left( Y_t \mid Y_{t-1:t-L}, X_{t-1:t-L}\right),

其中H ( X ) 表示X的香农熵。此外，还可以使用其他类型的熵度量（例如）对上述定义进行扩展。

转移熵可看作一种，其条件为受影响变量的历史值Y_{t-1:t-L}：

:
T_{X\rightarrow Y} = I(Y_t ; X_{t-1:t-L} \mid Y_{t-1:t-L}).

对向量自回归过程而言，转移熵可简化为格兰杰因果关系。 因而，转移熵适用于非线性信号分析等格兰杰因果关系的模型假设不成立的场合。然而，它通常需要更多的样本才能进行准确估计。熵公式中的概率可以使用分箱、最近邻等不用方法来估计，或为了降低复杂性而使用非均匀嵌入方法。虽然转移熵的原始定义是建立在基础上的，但后来也扩展到多变量分析中。这种扩展可以以其他潜在源变量为条件 ，或考虑从一组源进行转移，不过这些都需要更多的样本。

转移熵被用于估计神经元的功能连接、社交网络中的社会影响转移熵是的有限形式，于1990年由定义为I(X^n\to Y^n) =\sum_{i=1}^n I(X^i;Y_i|Y^{i-1})，其中X^n表示向量X_1,X_2,...,X_n，Y^n则表示Y_1,Y_2,...,Y_n 。有向信息在描述具有或没有反馈的通信信道的基本极限（信道容量）中起着关键作用。

参见

• 互信息
• 因果关系
• 潜在结果模型

参考文献