对称信道

在信息论中，对称信道是一种转移概率矩阵具有某种对称性的信道，主要出现在离散信道中。

定义
设一个离散无记忆信道（Discrete Memoryless Channel）具有有限的输入集 \mathcal X 和有限的输出符号集 \mathcal Y，以及转移概率矩阵 \mathcal Q = (p_{x,y})_：若 \mathcal Q 的每行均为其它行元素的排列、每列也均为其它列元素的排列，那么称该信道为强对称信道；若 \mathcal Q 的每行均为其它行元素的排列，而每列的和（即 \sum\limits_{x \in \mathcal{X}} p(y|x),\ y \in \mathcal{Y}）相等，那么称该信道为弱对称信道。

离散无记忆对称信道研究最多的一个例子就是，其转移概率矩阵为：

\mathcal Q = \begin{pmatrix}
q & 1-q \\
1-q & q
\end{pmatrix}

性质
利用对称信道的性质，我们可以简化信道容量的计算。

设有一个弱对称信道，其转移概率矩阵为 \mathcal Q，则当输入为 \mathcal{X} 上的均匀分布时，信息传输速率达到信道容量，且其值为：

C = \log_2 |\mathcal{Y}| - H(q_1, q_2, \ldots, q_)

其中 q_1, q_2, \ldots, q_ 代表 \mathcal Q 的任意一行，且

H(q_1, q_2, \ldots, q_) := -\sum_{i=1}^ q_i \log_2 q_i

参考文献
*

• R.C. Gallager, "Information theory and reliable communication" , Wiley (1968)