塞邁雷迪正則性引理
數學上，塞邁雷迪正則性引理（Szemerédi regularity lemma）斷言，給定任意一個足夠大的圖，都可以將其頂點集劃分成若干個差不多一樣大的子集，使得幾乎每兩個不同的子集之間的邊，都具有隨機二部圖的性質。塞邁雷迪於 1975 年引入了該引理較弱的版本，其只適用於二部圖，用作證明塞邁雷迪定理，後來再於 1978 年證明了完整的版本。 及其合作者和高爾斯將正則性方法推廣到超圖上。 定義和引理敍述 塞邁雷迪正則性引理的嚴格敍述須…
标签：#信息论
共 58 篇文章
有噪信道编码定理
在信息论，有噪信道编码定理指出，尽管噪声会干扰通信信道，但还是有可能在信息传输速率小于信道容量的前提下，以任意低的错误概率传送数据信息。这个令人惊讶的结果，有时候被称为信息原理基本定理，也叫做香农-哈特利定理或香农定理，是由克劳德·艾尔伍德·香农于1948年首次提出。 通信信道的信道容量或香农限制是指在指定的噪音标准下，信道理论上的最大传输率。 总述 根据香农1948年的陈述，本定理描述了在不同级别的噪音干扰和数据损坏情况下，错误监测和…
采样定理
采样定理是数字信号处理领域的重要定理。定理內容是连续信号（通常称作“模拟信号”）与离散信号（通常称作“数字信号”）之间的一个基本桥梁。它确定了信号带宽的上限，或能捕获连续信号的所有信息的离散采样信号所允许的采样频率的下限。 严格地说，定理仅适用于具有傅里叶变换的一类数学函数，即频率在有限区域以外为零（参照图1）。离散时间傅里叶变换（泊松求和公式的一种形式）提供了实际信号的解析延拓，但只能近似该条件。直观上我们希望，当把连续函数化为采样值…
信源编码定理
在信息论中，香农的信源编码定理（或无噪声编码定理）确立了数据压缩的限度，以及香农熵的操作意义。 信源编码定理表明（在极限情况下，随着独立同分布随机变量数据流的长度趋于无穷）不可能把数据压缩得码率（每个符号的比特的平均数）比信源的香农熵还小，又不丢失信息。但是有可能使码率任意接近香农熵，且损失的概率极小。 码符号的信源编码定理把码字的最小可能期望长度看作输入字（看作随机变量）的熵和目标编码表的大小的一个函数，给出了此函数的上界和下界。 陈…
克劳德·香农
{{Infobox Scientist | name = 克劳德·香农 | native_name = Claude Shannon | image = C.E. Shannon. Tekniska museet 43069.jpg | birth_date = | birth_place = 密西根州佩托斯基 | death_date = | death_place = 麻薩諸塞州梅德福 | alma_mater = 密西根大學（BA…
对称信道
在信息论中，对称信道是一种转移概率矩阵具有某种对称性的信道，主要出现在离散信道中。 定义 设一个离散无记忆信道（Discrete Memoryless Channel）具有有限的输入集 \mathcal X 和有限的输出符号集 \mathcal Y，以及转移概率矩阵 \mathcal Q = (p_{x,y})_：若 \mathcal Q 的每行均为其它行元素的排列、每列也均为其它列元素的排列，那么称该信道为强对称信道；若 \mathc…
纳特
奈特（nat，或称nit或nepit）又称纳特，是信息论熵的单位之一。以自然对数为底，而不是以2为底的对数。表达式为:I_e = -\ln {p_i} 。 1纳特相当于1.44（lb e）比特或0.434（lg e），以及k J/K。 参考文献 J.W. Comley and D.L. Dowe, [http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html#Comle…
吞吐量
在如乙太網路及封包無線電之類的電信網路之中，吞吐量或網路吞吐量是指於一通訊通道上單位時間能成功傳遞的平均資料量，資料可以於實體或邏輯鏈結上傳遞，或通過某個網路節點。吞吐量的單位通常表示為位元每秒（bit/s或bps），有時也可看到封包每秒或封包每時槽等單位。 系統吞吐量或匯集吞吐量是指於一網路內單位時間所有終端傳遞的資料量的總和。 吞吐量可以用等候理論作數學上的分析。其中，單位時間的封包負戴標示為到達率λ，而單位時間的封包吞吐量則標示為…
IEEE信息论汇刊
《IEEE信息论汇刊》（英语：）是IEEE信息论学会出版的月刊式同行评审科学期刊，涵盖信息论及通信的数学研究。该刊于1953年创刊时名为《IRE Transactions on Information Theory》。现任主编为郑立中，美国麻省理工学院电子工程与计算机科学系终身教授，于2025年7月被任命为该刊首位华人主编。自2007年起，该刊允许作者将预印本发布于arXiv。 荷兰数学家将该刊称为整个编码理论领域最具影响力的研究期刊。…
信息理论性死亡
信息理論性死亡意指儲存在腦部的訊息被摧毀的程度嚴重，乃至於在理論上回復原本人格已是不可能的狀況。 信息理論性死亡是為了提供一種無論未來的醫療技術多麼進步，都能用來定義死亡的定義。因為在現代，關於如何讀取或恢復大腦的訊息儲存架構的細節都尚未有定義，信息理論性死亡這個定義在主流醫學上是不實際的。不過用於期待未來科技的人體冷凍技術上時，這個定義就很重要。 信息理論性死亡也被稱為「不可逆死亡的終極定義」，和因為「腦部的損傷已經造成其內儲存的訊息…
信道容量
在電機工程學、電腦科學、資訊理論中，-{信道容量}-（Channel capacity，又譯-{通道容量}-）是指在一個信道中能夠可靠地傳送資訊时可达速率的最小上界。所谓可靠传输指的是可以以任意小的错误率传递信息。根据有噪信道编码定理，信道容量是可以误差概率任意小地达到的给定信道的极限信息率。信道容量的单位为比特每秒、奈特每秒等等。 香农在第二次世界大战期间发展出信息论，為-{信道容量}-提了定义，並且提供了计算信道容量的数学模型。香农…
信息论
信息论（）是应用数学、電子學和计算机科学的一个分支，涉及信息的量化、存储和通信等。信息论是由克劳德·香农发展，用来找出信号处理与通信操作的基本限制，如数据压缩、可靠的存储和数据传输等。自创立以来，它已拓展应用到许多其他领域，包括统计推断、自然语言处理、密码学、神经生物学、进化论和分子编码的功能、生态学的模式选择、热物理、量子计算、语言学、剽窃检测、模式识别、异常检测和其他形式的数据分析。 熵是信息的一个关键度量，通常用一条消息中需要存储…
信息冗余
在信息论中，信息冗余是传输消息所用数据位的数目与消息中所包含的实际信息的数据位的数目的差值。数据压缩是一种用来消除不需要的冗余的方法，校验和是在经过有限信道容量的噪声信道中通信，为了进行错误校正而增加冗余的方法。 定量定义 在描述原始数据的冗余时，信源信息率为平均每个符号的熵。对于无记忆信源，这仅是每个符号的熵；而对于一个随机过程的最普遍形式为前 n 个符号的联合熵除以 n 之后，随着 n 趋于无穷时的极限 :r = \lim_{n \…
資訊統整理論
，整合資訊的符號。]] 整合資訊理論（英語：Integrated information theory，IIT）是個嘗試解釋意識並且將其量化的理論，嘗試解釋意識是什麼？為甚麼人腦會有意識？以及意識為什麼可能與某些物理系統有關聯？該理論還預測了這種與意識相關的物理系統是否具有意識？意識程度為何？以及正在經歷怎樣的特殊經驗？根據IIT的觀點，一個系統的意識（它的主觀感受）被設想為與其因果屬性（它的客觀樣貌）完全相同。因此我們可以藉由揭示物理…
带宽 (计算机)
在计算机领域中是指可用或耗用的信息量比特率，通常以测得的每秒数量表示。带宽包括网络带宽（network bandwidth）、数据带宽（data bandwidth）、数字带宽（digital bandwidth）等。 该“带宽”的定义与信号处理、無線通訊、调制解调器数据传输、数字通信和电子学中的带宽相反，在那些领域中带宽表示以赫兹测量的信号带宽，意味着满足信号功率中良好信号定义水平的可用最低与最高频率之范围。 而可达成的实际比特率不仅…
狄拉克符号
狄拉克符号或狄拉克標記（）是量子力学中广泛应用于描述量子态的一套标准符号系统。在这套系统中，每一个量子态都被描述为希尔伯特空间中的態向量，定义为右矢（ket）：|\psi\rangle；每一个右矢的共軛轉置定义为其左矢（bra）；换一种说法，右矢的厄米共轭（即取转置运算加上共轭复数运算），就可以得到左矢。 此標記法為狄拉克於1939年将「bracket」（括号）这个词拆开后所造的。在中國大陸方面，一些旧有的教科书和文献中也将其译为“刁矢…
量子计算机
乃一種對於二階量子系統之純態空間的幾何表示法，是建立量子電腦的基礎。]] 量子计算机（）是以量子力学为基础搭建、用于進行通用計算的設備。量子计算机使用量子比特来儲存數據，使用量子演算法操作數據。不同于电子计算机的比特只能处于0或1两种状态之一，量子比特可以处于这两个基态之间的叠加态，也就是说，它可以以一种抽象意义上的“中间状态”同时表现出两种基态的特性（即同时为0和1）。当对量子比特进行测量时，结果是一个经典比特的概率性输出。如果量子计…
信道
信-{}-道、頻-{}-道或波-{}-道，是訊號在通訊系統中傳輸的通道，由信号从发射端传输到接收端所经过的传输媒质所構成。广义的信道定义除了包括传输媒质，还包括传输信号的相关设备。 分类 狭义信道的分类 狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。 有线信道 有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。这一类信道使用的传输媒质包括用电线传输电信号的…
頻譜效率
頻譜效率（）是指在數位通信系統中的頻寬限制下，可以傳送的資料總量。它是在有限的頻譜下，物理層通信協議（有时是介质访问控制，信道接入协议）可以達到的使用效率的量度。 链路频谱效率 数字通信系统的链路频谱效率（Link spectral efficiency）的單位是 bit/s/Hz， 或(bit/s)/Hz（较少用，但更准确）。其定义为净比特率（有用信息速率，不包括纠错码）或最大吞吐量除以通信信道或数据链路的带宽（单位：赫兹）。调制效率…
渐近等同分割特性
在信息论中，渐近等同分割特性（，簡稱AEP）是随机源输出样本的普遍性质，它是数据压缩理论中典型集概念的基础。 简言之，该定理指出：尽管随机过程可能产生多种结果序列，但实际出现的结果极大概率来自一个松散定义的集合——该集合中所有结果成为现实的可能性基本均等（这是大数定律与遍历理论的推论）。尽管存在某些单个结果的概率高于此集合中的任意结果，但集合内庞大的结果数量几乎保证了最终结果必将源自该集合。克莱默大偏差定理为理解该特性提供了一种直观路径…