贝叶斯置信区间
贝叶斯置信區間（）是用於表徵機率分佈特徵的區間。给定一定的实验（测量）结果，通过贝叶斯的理论可以计算出被估计参数的后验概率分布，从而得到一定置信概率下参数的取值区间。 可信區間是貝氏學派對標頻率學派中置信區間（）的概念。兩者的差異源於不同的哲學基礎：貝氏置信區間將邊界視為固定值，將待估參數視為隨機變量；頻率學派的置信區間則將邊界視為隨機變量，將參數視為固定值。此外，貝氏可信區間需要（且必須）利用具體情境的先驗分佈資訊，而頻率學派置信區間…
标签：#估计理论
共 25 篇文章
测量平差
为例，由于测量误差的存在，对三个角度进行多次测量后，得到的各角度观测值内角和并不等于180°，此时需要进行平差以求得各角度的最佳估计值|替代=|缩略图]] 在测量学中，测量平差，也称为平差或最小二乘平差（），是指依据某类最优化准则对带有观测误差的测量数据进行调整，以求得测量对象的最佳估计值的理论和方法。测量平差的问题来源于测量过程中的多余观测。受到测量误差的影响，通过多余观测得到的测量值必然无法精确满足测量对象之间应存在的数学关系，这些…
U-统计量
U-统计量是统计学中一类特定的、具有对称性的统计量，它在估计理论中扮演重要角色。名称中的“ U”为无偏（unbiased）之意。在初等统计学中，U-统计量与最小方差无偏估计量 (UMVUE) 有密切联系。 U-统计量的一个重要性是，对概率分布来说，其可估计参数的最小方差无偏估计量 是一个U-统计量。 因此通过研究U-统计量的一般性质，可以系统地了解这些估计量的统计学性质。 U-统计量在非参数统计中尤其重要，不少用于估计和统计检验的统计量…
線性回歸
在统计学中，线性回归（）是利用称为线性回归方程的最小平方函數对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元線性回归（）。 在线性迴归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做线性模型。最常用的线性迴归建模是给定X值的y的条件均值是X的仿射函数。不太一般的情况，线性迴归模…
內生性
内生性（）在计量经济学中广泛指代解释变量与扰动项相关的现象。忽略内生性问题会违背高斯-马尔可夫定理，导致产生有偏的估计量，以及无效的政策建议。工具变量法是一种缓解内生性问题的常用方法。 内生性问题 如果回归模型中的解释变量与扰动项相关，那么最小二乘法的回归系数的估计量将会是有偏的。但是，如果其中的相关性不是同期的，那么得出的系数仍然可能是一致的。有许多方法可以帮助纠正上述的偏误，例如工具变量法和。 静态模型 以下是内生性问题的常见原因。…
最小均方误差
在統計學和信号处理中，最小均方误差（，缩写MMSE）估計是一种使均方误差（MSE）最小化的估计函数，其通常被称为最优估计。 與均方誤差的關係 均方誤差（mean square error, MSE）是一種以平方誤差衡量估計或近似品質的指標。若 X 為欲估計的量，\hat X 為估計值，則均方誤差可寫成 :\operatorname{MSE}(\hat X)=\operatorname{E}\left[(X-\hat X)^2\right…
平均处理效应
平均处理效应（）通常用于比较不同处理（干预）手段在随机实验，政策干预措施或医学试验中的效果。 换句话说，ATE用于测量处理组（实验组）与对照组之间平均结果的差异。在一项随机试验 （即实验研究）中，可以通过比较处理组与对照组的平均结果，进而从样本中估算出平均处理效应。但是，研究人员通常用ATE测量他们希望了解的因果参数，这使得ATE无需参考研究设计或估计程序即可定义。在使用随机分配方法的观察性研究和实验性研究设计中，人们都可以用多种方式估…
估計
估計，亦稱推定，是求得近似值（或估計值）的過程，近似值或估計值是不完全準確，但是會在實務上使用的數值，不準確的原因可能是因為有不確定性、輸入資料不足、或是本身有不稳定性。但這個數值是由已知資訊所得的最佳結果，可在實務上使用。估計常常「是由母群體中的样本計算某一统计量，再以此來估計母群體對應的統計量。」样本中提供了一些信息，可以由來描述所需資訊的範圍。若估計值超過實際值，稱為高估，若估計值低於實際值，稱為低估。 如何估計 估計一般是透過抽…
最小範數二次無偏估計法
在统計學中，最小範數二次不偏估計法（'，MINQUE）理論 由卡利安普迪·拉达克里希纳·拉奥提出。最小範數二次不偏估計法與矩估計法或最大似然估計等其他估計方法一起構成估計理論。與最佳线性不偏估計理论類似，最小範數二次不偏估計法是專門針對線性回歸的模型。 ：如果我们考虑一個单分量模型，其中\mathbf{U}_1=\mathbf{I}_n。那麼，該模型就等價於高斯-马尔可夫模型中 \mathbf{Y}=\mathbf{X}\boldsym…
点估计
在统计学中，点估計（）是指以样本数据来估计总体母數， 估计结果使用一个点的数值表示“最佳估计值”，因此称为点估计。由样本数据估计总体分布所含未知参数的真實值，所得到的值，称为估计值。 点估计可以与区间估计形成对比：这种区间估计通常是在频率论推断的情况下的置信区间 ，或在贝叶斯推断的情况下的可信区间 。 估计法 目前有多种估计法可供选择，每种估计法都有不同属性。 最小方差均值无偏估计 （MVUE），能够使平方误差损失函数的风险 （预期损失…
树结构Parzen估计器
树结构Parzen估计器（简称Tree-structured Parzen Estimator、Parzen-Tree Estimator或TPE）是一种估计量（Estimator），主要用于贝叶斯超参数优化中，通过构建目标函数f: \mathcal{X} \to \mathbb{R}的近似模型p(y| x)来实现优化（其中\mathcal {X}为配置空间，x为一组超参数，y = f(x)为目标函数的评分）。 由于评估实际函数f的成本…
估计量的偏差
在统计学中，估计量的偏差（或偏差函数）是此估计量的期望值与估计参数的真值之差。偏差为零的估计量或决策规则称为无偏的。否则该估计量是有偏的。在统计中，“偏差”是一个函数的客观陈述。 偏差也可以相对于中位數来衡量，而非相对于均值（期望值），在这种情况下为了与通常的“均值”无偏性区别，称作“中值”无偏。偏差与一致性相关联，一致估计量都是收敛并且渐进无偏的（因此会收敛到正确的值），虽然一致序列中的个别估计量可能是有偏的（只要偏差收敛于零）；参见…
最大似然估计
在统计学中，最大似然估计（，簡作MLE），也称极大似然估计，是用来估計一个概率模型的参数的一种方法。 预备知识 下方的讨论要求读者熟悉概率论中的基本定义，如概率分布、概率密度函数、随机变量、数学期望等。读者還須先熟悉连续实函数的基本性质，比如使用微分来求一个函数的极值（即极大值或极小值）。 同時，讀者須先擁有似然函數的背景知識，以了解最大似然估計的出發點及應用目的。 最大似然估计的原理 给定一个概率分布D，已知其概率密度函数（连续分布）…
费希尔信息
数理统计学中，费希尔信息（英语：Fisher Information；有時稱作 information），或稱費雪訊息數，通常记作\mathcal{I}_X(\theta)，是衡量观测所得的随机变量X携带的关于未知母數\theta的訊息量，其中X的概率分布依赖于母數\theta。费希尔信息由统计学家罗纳德·费希尔在弗朗西斯·伊西德罗·埃奇沃思工作的基础上提出，现常用于最大似然估计和贝叶斯统计学中。 定义 随机变量X的费希尔訊息定义为 :…
最大期望算法
最大期望演算法（，又譯期望最大化算法）在统计中被用于寻找，依赖于不可观察的隐性变量的概率模型中，参数的最大似然估计。 在统计计算中，最大期望（EM）算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐变量。最大期望算法经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。最大期望算法经过两个步骤交替进行计算，第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然…
多余参数
统计学中，多余参数（）是指与感兴趣参数无关，但在分析那些感兴趣参数时必须考虑的所有參數。例如，当正态分布的均值是首要关心的参数时，方差就是一个多余参数。 多余参数通常是方差，但并不总是；例如，在中，未知的每个观测的真实位置是多余参数。一般来说，任何干扰另一个参数的分析的参数，都可认为是多余参数。如果该参数成为研究对象，它就不再“多余”，就像分布的方差一样。 對于已知隨机變量，在得到了所有未知隨机變量的聯合條件分佈后（比如可利用贝叶斯定理…
拉奥-布莱克韦尔定理
在统计学中，拉奥-布莱克韦尔定理(Rao–Blackwell theorem)，有时称为拉奥-布莱克韦尔定理-柯尔莫果洛夫定理，是一项结果，它描述了如何将任意粗糙的估计量转化为通过均方误差准则或任何一种类似准则优化的估计量。 定理指出，如果g(X)是某个参数θ的任何一种估计量，那么在给定充分统计量T(X)的条件下，g(X)的条件期望通常比g(X)本身更好地估计了θ，而且从来不会更糟。有时，可以非常容易地构造一个非常粗糙的估计量g(X)，…
Guesstimate
Guesstimate是一個非正式的英文混成詞，是由guess（猜測）和estimate（估計）結合而成，中文可以稱為猜估、猜測估算，最早是由美國統計學家在1934年或1935年開始使用。Guesstimate是指在沒有適當資訊或是完全資訊下所作的估計，甚至可以說是透過猜測或是猜想得到的估計。Guesstimate可以做名詞也可以做動詞，兩者讀音的變化類似estimate。Guesstimate可能是在還沒有更準確估計時的粗略近似，也可…
V-统计量
V-统计量是von Mises统计量的简称，以奥地利数学家Richard von Mises命名，其在统计学的估计理论中出现。 V-统计量与U-统计量形式相似，且统计性质上有紧密联系。每个V-统计量对应一个U-统计量，很多情况下，V-统计量的渐近分布，只是相应的U-统计量的渐近分布经过一些修饰的版本。 定义 定义 h(x_1,\ldots,x_r): \mathbb{R}^r \to \mathbb{R} 为一个函数，其具有对称性，即交…
可辨识性
在 统计学中，可辨识是一个能够更为准确推断的模型必须满足的属性。 一个模型是可辨识的，如果它在理论上能通过无限的观测结果学习到的真正该模型背后参数的真实值。 在数学上，这相当于说基于这些观测结果的不同的参数值必须产生不同的概率分布。 通常情况下，模型只是在某些情况下是可识别的，这些情况的限定条件被称为识别条件。 一个模型是不可识别的，如果：两个或两个以上的参数化是观察等价的。 在某些情况下，即使一个模型是不可识别的，它仍然可能学习到某些…