香农极限
香农极限（或称向農容量）指的是在信道上进行无差错传输的理論最大传输速率，是香农定理在有限頻寬的頻道上的理論。換句話說，當訊號傳輸速率尚未達到向農極限時，可以找到零錯誤率的編碼方法。 {{Equation box 1 |indent = |title= |equation = C = B \log_2 \left( 1+\frac{S}{N} \right) |cellpadding= 6 |border |border colour =…
标签：#信息论
共 58 篇文章
法諾不等式
法諾不等式（Fano's inequality）也稱為法諾引理（Fano lemma）是信息论中的一個定理，說明噪音信道中的平均信息损失和错误分类概率之間的關係。法諾不等式是羅伯特·法諾是1950年代於麻省理工学院教授博士讨论班的时候推導的，後來放在1961年編寫的教科書中。 法諾不等式在信息论中，提供了解码器错误概率的下界。在统计学中，提供了时的下界。 用符号 H(\cdot)表示熵， H(X |Y) 表示随机变量X与Y之间的条件熵，…
柯氏复杂性
在算法信息论（计算机科学和数学的一个分支）中，一个对象比如一段文字的柯氏复杂性（亦作柯尔莫哥洛夫复杂性、描述复杂性、柯尔莫哥洛夫-复杂度、随机复杂度，或算法熵）是衡量描述这个对象所需要的信息量的一个尺度。柯氏复杂性是由安德雷·柯尔莫哥洛夫于1963年发现，所以用他的名字命名。 以下面的两个长度为64的字符串为例。 01010101010101010101010101010101010101010101010101010101010101…
通信的数学理论
《通信的一种数学理论》（）是数学家克劳德·香农于1948年在《贝尔系统技术期刊》上发表的一篇文章。 在意识到这项工作的普遍性之后，它在1949年的同名书籍中被重新命名为《通信的数学理论》（）， 《科学美国人》称该论文为“信息时代的大宪章”， 而电气工程师罗伯特·加拉格称其为“数字时代的蓝图”。历史学家詹姆斯·格雷克将这篇论文评为1948年最重要的发展，晶体管位居同一时期的第二位。格雷克强调，香农的论文“甚至比晶体管更深刻、更基础”。 文…
随机数生成
一次，會獲得一個從1到6的隨機數。]] 随机数生成（random number generation）是指产生一系列难以预测的数字或符号序列的过程，用于实现这一过程的数学算法或物理过程通常被称为随机数生成器（random number generator）。 随机数生成器通过一些算法、物理訊號、環境噪音等来产生看起來似乎沒有關聯性的數列的方法或裝置，丟硬幣、丟骰子、洗牌就是生活上常見的隨機數產生方式。然而，在大部分计算机上通常使用的并非…
互信息
在概率论和信息论中，两个随机变量的互信息（mutual Information，MI）度量了两个变量之间相互依赖的程度。具体来说，对于两个随机变量，MI是一个随机变量由于已知另一个随机变量而减少的“信息量”（单位通常为比特）。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“信息量”。 MI不仅仅是度量实值随机变量和线性相关性(如相关系数)，它更为通用。互信息决定了随机变量{\displaysty…
相对熵
KL散度（，簡稱KLD），在訊息系统中称为相对熵（relative entropy），在连续时间序列中称为随机性（randomness），在统计模型推断中称为訊息增益（information gain）。也称訊息散度（information divergence）。 KL散度是两个機率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下，P表示数据的真实分布，Q表…
过采样
在信号处理中，过采样（）是指以远远高于信号带宽两倍或其最高频率对其进行采样的过程。數位訊號轉換成類比訊號會產生量化失真（雜訊），這需要類比低通濾波器濾除，但類比低通濾波器並非直接濾除截止頻率以外的訊號、而是大幅減少截止頻率以外的訊號、同時小幅減少及影響截止頻率以內的訊號，若能提高低通濾波器的截止頻率，則類比低通濾波器對期待保留的頻段（以音響系統為例、就是人耳聽得到的20Hz~20KHz）的影響就會降低；过采样可以將量化雜訊推往更高頻率、…
MIMO
多输入多输出系统（，缩写）是一种用來描述多天线无线通信系统多重路徑傳輸的抽象数学模型，能利用发射端的多个天线各自独立發送信号，同时在接收端用多个天线接收並恢复原信息。该技术最早是由马可尼于1908年提出的，他利用多天线来抑制信道衰落（fading）。根据收发两端天线数量，相对于普通的单输入单输出系统（，），MIMO此類多天線技術尚包含早期所謂的「智慧天線」，亦即单输入多输出系统（，）和多输入单输出系统（，）。 由於可以在不需要增加頻寬或…
对数求和不等式
对数求和不等式（Log sum inequality）是一个不等式 ，可用于证明信息论中的多个定理。 定理陈述 对任何非负实数 a_1,\ldots,a_n 和正数 b_1,\ldots,b_n ，并记 :a:=\sum_{i=1}^n a_i 及 b:=\sum_{i=1}^n b_i 则有如下的对数求和不等式： :\sum_{i=1}^n a_i\log\frac{a_i}{b_i}\geq a\log\frac{a}{b}, 上式…
熵率
在概率的数学理论中，非正式地说，一个随机过程的熵率或信源信息率是在一个随机过程的平均信息的时间密度。对于一个索引可数的随机过程，熵率 Η(X) 是 n 个 Xk 过程作为成员的联合熵，在 n 趋向无穷时的极限： :\Eta(X) = \lim_{n \to \infty} \frac{1}{n} \Eta(X_1, X_2, \dots X_n) 前提是该极限存在。另一种相关量为： :\Eta'(X) = \lim_{n \to \in…
接收器 (資訊理論)
信息论裡的接收器是指信道的接收端，接收由傳收端送出，編碼後的訊息或信息。有時接收器會和解碼器（decoder）放在同一個模組中。真實世界的接收器（像是无线电接收机或电话）無法像接收到如有噪信道编码定理所預測，如此多的資訊。 真實世界的接收器有 无线电接收机，接收調變的無線電波。 ，專門將AM調變無線電波轉換為聲音。 ，專門將FM調變無線電波轉換為聲音。 ，轉換電視的影像和聲音訊號，也可能是AV接收器的一部份。 接收調變超音波的，。 揚聲…
MU-MIMO
MU-MIMO是用于多路徑無線通訊的MIMO技术，允许多个用户或终端（每个设备配备一根或多根天线）相互通信。相比之下，单用户或普通的MIMO技术仅涉及单个配备多天线的用户或终端与另一个类似配置的节点进行通信。 参考文献
熵 (信息论)
在信息论中，熵（，又稱信息熵、信源熵、平均自信息量）是接收的每条消息中包含的信息的平均量。这里的“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）来自信源的另一个特征是样本的概率分布。这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因，把信息（熵）定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个…
逻辑深度
逻辑深度（）是一种对事物复杂性的度量，由美国科学家于1988年提出。 事物的逻辑深度与其柯氏复杂度相关。柯氏复杂度也是一种对复杂性的度量，是指能够描述某一信息的最短程序的长度。而逻辑深度则是指运行该程序所需的时间步数，因而还与程序的计算复杂性有关。 参考文献
信息瓶颈
信息瓶颈（）是信息论中的一种方法，由、费尔南多·佩雷拉（Fernando C. Pereira）与威廉·比亚莱克于1999年提出。对于一随机变量X，假设已知其与观察变量Y之间的联合概率分布p(X,Y)。此时，当需要概括（聚类）X时，可以通过信息瓶颈方法来分析如何最优化地平衡准确度与复杂度（数据压缩）。该方法的应用还包括分布聚类（distributional clustering）与降维等。此外，信息瓶颈也被用于分析深度学习的过程。 信息…
信息流
在信息论的语境中，信息流是指在特定过程中，信息从一个变量x传输至另一个变量y的过程。并非所有的信息流都是合乎期望的；例如，一个系统不应向公共观察者泄露（无论是部分还是全部）任何机密信息——因为这在个人层面构成对隐私的侵犯，在企业层面则可能导致重大的损失。
费希尔信息
数理统计学中，费希尔信息（英语：Fisher Information；有時稱作 information），或稱費雪訊息數，通常记作\mathcal{I}_X(\theta)，是衡量观测所得的随机变量X携带的关于未知母數\theta的訊息量，其中X的概率分布依赖于母數\theta。费希尔信息由统计学家罗纳德·费希尔在弗朗西斯·伊西德罗·埃奇沃思工作的基础上提出，现常用于最大似然估计和贝叶斯统计学中。 定义 随机变量X的费希尔訊息定义为 :…
壓縮感知
压缩感知（英语：Compressed sensing或Compressive sensing ），也被称为压缩采样（英语：Compressive sampling）或稀疏采样（英语：Sparse sampling），是一种寻找欠定线性方程组的稀疏解的技术。压缩感知被应用于电子工程尤其是信号处理中，用于获取和重构稀疏或可压缩的信号。该方法利用信号本身或其线性变化域稀疏的特性，相较于奈奎斯特–香农采样定理（英语：Nyquist–Shanno…
哈里·奈奎斯特
哈里·奈奎斯特（，，），瑞典裔美國物理學家，的奠基者之一。 早年 奈奎斯特生於瑞典韋姆蘭省的尼爾斯比（Nilsby，即今希尔市镇）。他的父親是拉爾斯·荣松·奈奎斯特（Lars Jonsson Nyqvist，1847年生），母親是卡特里娜·埃麗克斯多特爾（Katrina Eriksdotter，1857年生）。他的父母共有七個兒女：埃琳·特蕾西亞（Elin Teresia）、阿斯特麗德（Astrid）、賽爾瑪（Selma）、哈里·特奧多…