自信息
在信息论中，自信息（），由克勞德·夏農提出。自信息指的是当我们接收到一个消息时所获得的信息量。具体来说，对于一个事件，其自信息的大小与该事件发生的概率有关， 它是与概率空间中的單一事件或离散随机变量的值相关的資訊量的量度。它用信息的單位表示，例如 bit、nat或是hart，使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵，它反映了随机变量采样时的平均不确定程度。 定義 由定义，当信息被拥有它的实体传递给接收它的…
标签：#信息论
共 58 篇文章
梅特卡夫定律
間有一種連接方式，五個電話有10種，而十二個電話則有66種。]] 梅特卡夫定律（）是一个关于网络的价值和网络技术的发展的定律，由於1993年提出，但以计算机网络先驱罗伯特·梅特卡夫的姓氏命名，以表彰他在乙太網路上的貢獻。其内容是：一个网络的价值等于该网络内的节点数的平方，而且该网络的价值与联网的用户数的平方成正比。 该定律指出，一个网络的用户数目越多，那么整个网络和该网络内的每台电脑的价值也就越大。 网络效应 梅特卡夫定律描述了通信技术…
伯利坎普-韦尔奇算法
伯利坎普－韦尔奇算法（）是一種用於高效地解碼BCH碼與里德-所羅門碼的演算法，其名取自埃尔温·伯利坎普與勞埃德·韋爾奇。伯利坎普－韦尔奇算法的優點在於這一演算法僅需利用矩陣運算。這一演算法的時間複雜度為O(N^3)。 演算法 伯利坎普－韦尔奇算法通常被用於解碼里德-所羅門碼。假使在有限體GF(q)上有n個數字m_1, \dots , m_n，利用RS碼編為n-1次多項式P(i)=m_i。如果已知傳輸信道會錯誤傳輸k個值，那麼RS碼可以傳…
带宽
带宽（）指信号所占据的频带-{}-宽度；在被用来描述信道时，带宽是指能够有效通过该信道的信号的最大频带-{}-宽度。对于模拟信号而言，带寬又称为频寬，以赫兹（Hz）为单位。例如模拟语音电话的信号带宽为3100Hz（从300Hz到3400Hz），一个PAL-D电视频道的带宽为8MHz（含保护带宽）。对于数字信号而言，带宽是指单位时间内链路能够通过的数据量。例如ISDN的B信道带宽为64Kbps。由于数字信号的传输是通过模拟信号的调制完成的…
編輯距離
編輯距離是針對二個字符串（例如英文字）的差異程度的量化量測，量測方式是看至少需要多少次的處理才能將一個字符串變成另一個字符串。編輯距離可以用在自然语言处理中，例如拼寫檢查可以根據一個拼錯的字和其他正確的字的編輯距離，判斷哪一個（或哪幾個）是比較可能的字。DNA也可以視為用A、C、G和T組成的字符串，因此編輯距離也用在生物信息学中，判斷二個DNA的類似程度。Unix 下的 diff 及 patch 即是利用编辑距离来进行文本编辑对比的例子…
最小权限原则
在计算机科学以及其它领域中，最小权限原则是要求计算环境中的特定抽象层的每个模組如进程、用户或者计算机程序只能访问当下所必需的信息或者资源。 赋予每一个合法动作最小的权限，就是为了保护数据以及功能避免受到错误或者恶意行为的破坏。 最小权限原则也称为最少权限原则。 历史 这个原则大约在1970年代中期开始出现，人们通常认为Peter J. Denning的“容错操作系统”一书，是这个概念的首次提出者，实际上，在当时许多论文中，已经用其它不同…
宇宙的轮回
《宇宙的轮回》（Cycles of Time: An Extraordinary New View of the Universe）是数学物理学家罗杰·彭罗斯的科学书籍，2010年由出版。该书概述了彭罗斯的共形循环宇宙学（CCC）模型，该模型是广义相对论的扩展，但与被广泛支持的多维弦理论和大爆炸后的宇宙暴胀理论是相悖的。湖南科学技术出版社出版了其简体中文版，并归入其《第一推动丛书》。 概要 彭罗斯研究了热力学第二定律的含义以及宇宙向最大…
雅各布森语言功能
罗曼·雅各布森定义了语言的六种功能，据此可以描述有效的口头交流行为。 雅各布森的这一工作受到了卡尔·布勒的的影响，他在其中添加了审美功能、交际功能和元语言功能。 口头沟通的六个组成要素 发话者：发出信息的一方。 消息：能用言语表达的信息。一个言语信息往往会有多种语言功能，言语消息的结构主要受其主导功能的影响。 ：接受信息的一方。 语境 交际：沟通双方之间物理与心理上的联系。 代码：沟通双方（即消息的编码方与解码方）共同掌握的一套编码。 …
网络性能
网络性能是指客户方的网络服务质量。 由于每个网络在性质和设计上都是不同的，测量一个网络的性能可能有多种不同的方法。除了直接进行测量外，也可以对这种网络建模并模拟，比如使用状态转换图来模拟排队性能或使用网络模拟器来模拟测试网络性能。 性能标准 这些性能的测量被认为是重要的： 带宽是可以传输信息的最大速率，通常以比特/秒为单位 吞吐量是信息传输的实际速率 延迟是发送处和接收处之间的延迟，这主要是信号传播时间，以及信息经过所有节点需要的处理时…
引力的熵力假说
的看法。]] 引力的熵力假说是一种关于万有引力本质的理论假说，由荷兰弦理论家埃里克·韦尔兰德于2009年提出。牛顿的万有引力定律与爱因斯坦的广义相对论都对引力有了很好的阐述，但对其本质仍不了解。韦尔兰德的这一理论便提供了一种可能的假说来描述引力的来源。目前这一理论还处于初级阶段。 历史 这一想法的起源可以追溯到20世纪70年代中叶雅各布·贝肯斯坦和史蒂芬·霍金对于黑洞热力学的研究。这些研究发现，引力与热力学基本定律间有着相当密切的联系。…
广义信息论
廣義訊息論（Informatics）是一個跨學科的領域，涵蓋了信息科學、計算機科學、數學、工程學和其他相關領域。它主要關注如何有效地管理、處理和分析信息，以及信息對於人類活動和社會的影響。 廣義訊息論的範疇包括但不限於以下幾個方面： 信息系統：設計、開發和管理用於收集、存儲、處理和傳遞信息的系統，包括數據庫、網絡系統、信息管理系統等。 計算機科學：研究計算機及其軟件系統的理論基礎和應用，包括演算法、數據結構、人工智慧、機器學習等。 信息…
统计流形
数学中，统计流形是每点都代表一概率分布的黎曼流形，为信息几何提供了研究对象。费希尔信息度量提供了流形上的度量张量。根据这定义，对数似然函数是可微映射，分数是包含映射。 示例 所有正态分布可视为2维参数空间，参数为期望\mu与方差\sigma^2\ge 0。由费希尔信息矩阵给出的黎曼度量可得统计流形，其几何模型是双曲几何。通过费希尔信息推断参数方程而非从似然函数出发，是绘制流形的一种方法。 统计流形的简单例子是物理学中的正则系综：是1维流…
条件熵
在信息论中，条件熵描述了在已知第二个随机变量 X 的值的前提下，随机变量 Y 的信息熵还有多少。同其它的信息熵一样，条件熵也用Sh、nat、Hart等信息单位表示。基于 X 條件的 Y 的信息熵，用 \Eta(Y|X) 表示。 定义 如果 \Eta(Y|X=x) 爲變數 Y 在變數 X 取特定值 x 條件下的熵，那麼 \Eta(Y|X) 就是 \Eta(Y|X=x) 在 X 取遍所有可能的 x 後取平均的結果。 给定随机变量 X 与 Y…
資訊哲學
信息哲学（philosophy of information）是哲学的一个与计算机科学、信息科学、信息技术和哲学相关的子领域 它包含： 信息的概念特征和基本原则的批判性研究，包含它的动力学、引用与科学 将信息理论与哲学方法阐述并应用到哲学问题中 历史 信息哲学（PI）已经从人工智能哲学、信息逻辑、控制论、社会理论和伦理学和语言与信息的研究中发展而来。 信息逻辑 信息逻辑，也被称为“信息的逻辑理论”,沿着最初由查尔斯·桑德斯·皮尔斯所提出…
算法信息论
算法信息论（Algorithmic information theory）是使用理论计算机科学的工具，研究复杂性概念的学科领域。它是信息理論的一環，关注計算與信息之間的關係。按照Gregory Chaitin的说法，它是“把香农的信息论和图灵的可计算论放在调酒杯使劲摇晃的结果。”
编码率
编码率(Code rate)或信息率(information rate) 是指在电信和信息论数据流中有用部分（非冗余）的比例。也就是说，如果编码率是k/n，则对每k位有用信息，编码器总共产生n位的数据，其中n-k是多余的。 如果R是总比特率或数据信令速率（包括包括冗余错误编码），净比特率（除去纠错码的有用比特率）≤ R•k/n 。 例如：卷积码的典型编码率可以为1/2、2/3、3/4、5/6、7/8等，对应每一个、二个、三个等比特后插入…
网络编码
网络编码是一种通过中继节点对接收到的信息进行编码来达到提高多播网络容量的技术。Rudolf Ahlswede, Ning Cai, Shuo-Yen Robert Li, Raymond W. Yeung在2000年首次提出网络编码的概念。 在右图的网络拓扑中，s节点试图向t_{1}, t_{2}组播两条消息x,y。设每条消息占用的带宽为1，每个节点之间的网络带宽也为1，那么每个节点之间只能同时传输一条消息。线路cd上会需要同时传输x,…
分布式信源编码
分布式信源编码（Distributed Source Coding，DSC）是对信息互相关联但不互相通信的信源的一种信息压缩方式. 它和其他信源编码不同的是，在这里使用的是信道码。 分布式信源编码的主要应用领域有传感器网络（sensor network）和图像，视频，多媒体压缩). 其最主要的特点有两条，第一，编码计算非常简单，解码相对比较复杂;第二，互不通信的信息相关的信源压缩可以达到有互相通信的压缩效率。 理论值 做为信息论的一个分…