贝叶斯推断

贝叶斯推断（）是推論統計的一种方法。这种方法使用贝叶斯定理，在有更多證據及信息時，更新特定假设的概率。贝叶斯推断是统计学（特別是数理统计学）中很重要的技巧之一。贝叶斯更新（Bayesian updating）在序列分析中格外的重要。贝叶斯推断應用在許多的領域中，包括科學、工程學、哲學、醫學、體育運動、法律等。在决策论的哲學中，贝叶斯推断和主觀概率有密切關係，常常稱為贝叶斯概率。

贝叶斯定理是由統計學家托馬斯·貝葉-{}-斯根據許多特例推導而成，後來被許多研究者推廣為一普遍的定理。

貝叶斯定理的簡介
正式的介绍贝叶斯推断
贝叶斯推断將后验概率（考慮相關證據或數據後，某一事件的條件機率）作为先验概率（考慮相關證據或數據前，某一事件不確定性的機率）和似然函数（由观测数据的统计模型（概率模型）推導而得）这两个前因导出的結果。贝叶斯推断根據贝叶斯定理計算后验概率：
:P(H\mid E) = \frac{P(E\mid H) \cdot P(H)}{P(E)}
其中

• \textstyle \mid 表示将某事件成立作为条件（因此\textstyle (A\mid B) 表示「假定 B 事件成立下，A 事件發生」）
• \textstyle H表示假說，其機率可能會受數據（以下會稱為證據）影響。一般來說會有許多互相矛盾的假說，任務是要確認哪一個假說可能性最高。
• \textstyle E表示證據。证据对应新的數據，也就是還沒用來計算先验概率的數據。
• \textstyle P(H)，先验概率，是觀察到數據\textstyle E（目前證據）之前，假說\textstyle H的機率。
• \textstyle P(H\mid E)，后验概率，是在給定證據 \textstyle E之後，假說\textstyle H的機率，是希望求得的資訊，也就是在有目前證據時，假說\textstyle H的機率。
• \textstyle P(E\mid H)是假定 \textstyle H成立時，觀察到\textstyle E的機率。在\textstyle H不變時，這是\textstyle E的函數，也是似然函数，指出在給定假設下假說和證據的相容程度。似然函数是證據\textstyle E的函數，而后验概率是假說\textstyle H的函數。
• \textstyle P(E)有時會稱為邊緣似然率。此係數對所有可能的假說都是定值，因此在判斷不同假說的相對機率時，不會用到這個係數中。

針對不同的\textstyle H數值，只有\textstyle P(H)和\textstyle P(E\mid H)（都在分子）會影響\textstyle P(H\mid E)的數值。假說的后验概率和其先验概率（固有似然率）和新產生的似然率（假說和新得到證據的相容性）乘積成正比。

在 \neg H（即「非 H」，H 的邏輯否定）為有效似然率的情形下，貝氏定理可以改寫為：

\begin{align}
P(H \mid E) &= \frac{P(E \mid H) P(H)}{P(E)} \\
&= \frac{P(E \mid H) P(H)}{P(E \mid H) P(H) + P(E \mid \neg H) P(\neg H)} \\
&= \frac{1}{1 + \left(\frac{1}{P(H)} - 1\right) \frac{P(E \mid \neg H)}{P(E \mid H)} }
\end{align}

這是因為

P(E) = P(E \mid H) P(H) + P(E \mid \neg H) P(\neg H)

以及

P(H) + P(\neg H) = 1 .

上式使人們將注意力集中在以下這個因子上：

\left(\tfrac{1}{P(H)} - 1\right) \tfrac{P(E \mid \neg H)}{P(E \mid H)} .

若此因子約等於 1，則給定證據後假說的機率 P(H \mid E) 約為 \tfrac{1}{2}，即大約 50%，可能性相當。若此因子極小（接近零），則 P(H \mid E) 接近 1，表示假說在給定證據下相當可能成立。若此因子極大（遠大於 1），則假說在給定證據下相當不可能成立。

記憶這一公式的簡便方法是利用乘法法則：

P(E \cap H) = P(E \mid H) P(H) = P(H \mid E) P(E).

贝叶斯定理也可以寫成下式：
:P(H\mid E) = \frac{P(E\mid H)}{P(E)} \cdot P(H)
其中係數\textstyle \frac{P(E\mid H)}{P(E)}可以解釋成E對H機率的影響。

非正式的介绍贝叶斯推断
贝叶斯推断最關鍵的點是可以利用贝叶斯定理結合新的證據及以前的先驗機率，來得到新的機率（這和频率学派推断相反，頻率論推論只考慮證據，不考慮先驗機率）。

而且贝叶斯推断可以迭代使用：在觀察一些證據後得到的後設機率可以當作新的先驗機率，再根據新的證據得到新的後設機率。因此贝叶斯定理可以應用在許多不同的證據上，不論這些證據是一起出現或是不同時出現都可以，這個程序稱為贝叶斯更新（Bayesian updating）。

贝叶斯更新的替代方案
貝氏更新雖然被廣泛採用且在計算上便於操作，但並非唯一被認為合理的信念更新規則。

伊恩·哈金指出，傳統的「荷蘭賭」論證並未規定必須採用貝氏更新——它為能避免荷蘭賭的非貝氏更新規則留下了空間。哈金寫道：「荷蘭賭論證，乃至個人主義者用以證明概率公理的其他任何論證，都未蘊含動態假設，也不蘊含貝氏主義。因此，個人主義者若要成為貝氏主義者，必須額外引入動態假設。誠然，一位個人主義者可以一貫地放棄貝氏從經驗中學習的模型——就像鹽可以失去它的味道一樣。」

事實上，確實存在不導致荷蘭賭的非貝氏更新規則，這在理查德·傑弗里的「概率運動學」發表後的文獻中有所討論。傑弗里的規則將貝氏定理應用於證據本身被賦予概率的情形。 唯一確定貝氏更新的額外假設被認為是實質性的、複雜的且令人不滿意的。

對互斥且窮舉的可能性之推論
若證據被同時用於更新一組互斥且窮舉的命題上的信念，貝氏推斷可被視為對整個信念分佈整體運作的過程。

一般形式
假設一個過程正在產生獨立且同分佈的事件 E_n,\ n = 1, 2, 3, \ldots，但概率分布未知。設事件空間 \Omega 代表目前對此過程的信念狀態。每個模型以事件 M_m 表示，條件概率 P(E_n \mid M_m) 用來定義各個模型。P(M_m) 是對 M_m 的信念程度。在第一步推斷之前，\{P(M_m)\} 是一組初始先驗概率，其總和必須為 1，其餘部分則是任意的。

假設觀察到過程產生了 E \in \{E_n\}。對每個 M \in \{M_m\}，先驗 P(M) 被更新為後驗 P(M \mid E)。根據贝叶斯定理：

P(M \mid E) = \frac{P(E \mid M)}{\sum_m {P(E \mid M_m) P(M_m)}} \cdot P(M).

在觀察到進一步證據後，此程序可以重複進行。

多重觀測
對於一列獨立且同分佈的觀測值 \mathbf{E} = (e_1, \dots, e_n)，可以通過歸納法證明，反覆應用上述程序等價於

P(M \mid \mathbf{E}) = \frac{P(\mathbf{E} \mid M)}{\sum_m {P(\mathbf{E} \mid M_m) P(M_m)}} \cdot P(M),

其中

P(\mathbf{E} \mid M) = \prod_k{P(e_k \mid M)}.

參數化形式
通過對模型空間進行參數化，可以在一個步驟中更新所有模型上的信念。模型空間上的信念分佈可以視為參數空間上的信念分佈。本節的分佈以連續形式（概率密度）表示，這是通常的情形，但此技術同樣適用於離散分佈。

設向量 \boldsymbol{\theta} 張成參數空間。設 \boldsymbol{\theta} 的初始先驗分佈為 p(\boldsymbol{\theta} \mid \boldsymbol{\alpha})，其中 \boldsymbol{\alpha} 是先驗本身的一組參數，稱為超參數。設 \mathbf{E} = (e_1, \dots, e_n) 是一列獨立且同分佈的事件觀測值，所有 e_i 均以某個 \boldsymbol{\theta} 為參數分佈為 p(e \mid \boldsymbol{\theta})。對 \boldsymbol{\theta} 的後驗分布應用贝叶斯定理：

\begin{align}
p(\boldsymbol{\theta} \mid \mathbf{E}, \boldsymbol{\alpha}) &= \frac{p(\mathbf{E} \mid \boldsymbol{\theta}, \boldsymbol{\alpha})}{p(\mathbf{E} \mid \boldsymbol{\alpha})} \cdot p(\boldsymbol{\theta} \mid \boldsymbol{\alpha}) \\
&= \frac{p(\mathbf{E} \mid \boldsymbol{\theta}, \boldsymbol{\alpha})}{\int p(\mathbf{E} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}) p(\boldsymbol{\theta} \mid \boldsymbol{\alpha}) \, d\boldsymbol{\theta}} \cdot p(\boldsymbol{\theta} \mid \boldsymbol{\alpha}),
\end{align}

其中

p(\mathbf{E} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}) = \prod_k p(e_k \mid \boldsymbol{\theta}).

贝叶斯推断的描述
定義
*x是數據點，可能是一個有許多數值形成的。
*\theta是數據點分佈的参数，也就是說x \sim p(x \mid \theta)。這也有可能是参数形成的向量。
*\alpha是參數的，也就是說\theta \sim p(\theta \mid \alpha)。這也有可能是超参数形成的向量。
*\mathbf{X}，由觀測到的n個數據點組成的一組數據，x_1,\ldots,x_n.
*\tilde{x}，需預測分佈的新數據點。

贝叶斯推断
*先驗分布是在觀測資料前的參數分布p(\theta \mid \alpha)。
*先驗分布可能不容易確認，此時可以用在更新較新的觀測值時，先獲得後驗分佈。
*是以觀測資料的條件，其參數的分布p(\mathbf{X} \mid \theta)。這也稱為似然函数，尤其是視為是參數的函數時，有時會寫成\operatorname{L}(\theta \mid \mathbf{X}) = p(\mathbf{X} \mid \theta)。
*（有時也稱為證據）是觀測資料在參數上的边缘分布p(\mathbf{X} \mid \alpha) = \int_{\theta} p(\mathbf{X} \mid \theta) p(\theta \mid \alpha) \operatorname{d}\!\theta。它從幾何意義上量化了資料與先驗知識之間的一致程度，這一意義可以被精確表述。若邊緣似然率為 0，則資料與先驗知識之間毫無一致性，貝氏定理無法被應用。
*後驗分布是考慮觀測資料後的參數分布。可以由贝叶斯定理確認，也是贝叶斯推断的核心：
:p(\theta \mid \mathbf{X},\alpha) = \frac{p(\theta,\mathbf{X},\alpha)}{p(\mathbf{X},\alpha)} = \frac{p(\mathbf{X}\mid\theta,\alpha)p(\theta,\alpha)}{p(\mathbf{X}\mid\alpha)p(\alpha)}
= \frac{p(\mathbf{X} \mid \theta,\alpha) p(\theta \mid \alpha)}{p(\mathbf{X} \mid \alpha)} \propto p(\mathbf{X} \mid \theta,\alpha) p(\theta \mid \alpha).

若用文字表示，即為「後驗和先驗及似然率的乘積成正比」，有時也會寫成「後驗 = 先驗 × 似然率，在有證據的情形下」。
*在機器學習中使用的幾乎所有複雜貝氏模型中，後驗分布 p(\theta \mid \mathbf{X},\alpha) 在實踐中無法以封閉形式求得，主要原因在於 \theta 的參數空間可能非常高維，或貝氏模型中存在由觀測值 \mathbf{X} 與參數 \theta 構成的層次結構。在此類情形下，需要借助近似技術。
*一般情形：設 P_Y^x 為給定 X = x 時 Y 的條件分佈，P_X 為 X 的分佈，則聯合分佈為 P_{X,Y} (dx,dy) = P_Y^x (dy) P_X (dx)。給定 Y=y 時 X 的條件分佈 P_X^y 由以下關係確定：
P_X^y (A) = E (1_A (X) | Y = y).所需條件期望的存在性與唯一性是拉東–尼科迪姆定理的推論，由柯爾莫哥洛夫在其 1933 年的著名著作中加以闡述。柯爾莫哥洛夫在前言中強調了條件概率的重要性：「我希望特別關注……條件概率與條件期望的理論。」 貝氏定理由先驗分佈確定後驗分佈；唯一性的確立需要連續性假設。 貝氏定理可推廣至包含非正規先驗分佈（如實數線上的均勻分佈）的情形。 現代馬可夫鏈蒙地卡羅方法大大提升了貝氏定理的重要性，包括非正規先驗的情形。

贝叶斯预测
*後驗預測分布是新數據點在後驗上的邊緣分佈：
p(\tilde{x} \mid \mathbf{X},\alpha) = \int p(\tilde{x} \mid \theta) p(\theta \mid \mathbf{X},\alpha) d\theta
*先驗預測分佈是新數據點在先驗上的邊緣分佈：
p(\tilde{x} \mid \alpha) = \int p(\tilde{x} \mid \theta) p(\theta \mid \alpha) d\theta

貝氏理論要求使用後驗預測分佈進行預測推斷，即預測新的、未觀測到的數據點的分佈。也就是說，預測結果不是一個固定的點，而是一個在可能取值上的分佈——只有這樣才能充分利用整個後驗分佈的信息。相比之下，頻率論統計中的預測通常是找到參數的最優點估計——例如通過最大似然估計或最大後驗機率估計（MAP）——然後將此估計代入數據點分佈的公式中。這種方法的缺點在於它未能考慮到參數值的不確定性，因此會低估預測分佈的方差。

在某些情況下，頻率論統計可以繞過這一問題。例如，從具有未知均值和方差的正態分佈構建的信賴區間和預測區間，是使用學生t分佈構建的，能夠正確估計方差。在貝氏統計中，後驗預測分佈總是可以精確確定，或在使用數值方法時至少可以達到任意精確程度。

後驗預測分佈和先驗預測分佈均具有複合概率分佈的形式（邊緣似然率亦然）。若先驗分佈是共軛先驗，則先驗與後驗預測分佈也來自同一族複合分佈，兩者的差別僅在於使用了不同的超參數值。

數學性質
係數的解釋
\frac{P(E \mid M)}{P(E)} > 1 \Rightarrow P(E \mid M) > P(E)，即若模型為真，則證據出現的概率比當前信念所預期的更高，信念因此增強。反之亦然。若信念不改變，則 \frac{P(E \mid M)}{P(E)} = 1，即證據與模型無關，模型為真時證據出現的概率恰好與當前信念的預測一致。

克倫威爾法則
若 P(M) = 0，則 P(M \mid E) = 0；若 P(M) = 1 且 P(E) > 0，則 P(M|E) = 1。這可以解釋為：強硬的確信對反面證據不敏感。

前一命題直接由貝氏定理推出。後一命題可通過對「非 M」套用前一命題推導：「若 1 - P(M) = 0，則 1 - P(M \mid E) = 0」，結果隨即得出。

後驗分布的漸近行為
考慮信念分佈在大量獨立同分佈試驗下的行為。對於足夠「良好」的先驗概率，伯恩斯坦–馮·米塞斯定理表明：在無限次試驗的極限下，後驗分佈在某些條件下會收斂到一個與初始先驗無關的正態分佈；這些條件最初由約瑟夫·L·杜布於 1948 年概述並嚴格證明，即所考慮的隨機變量具有有限的概率空間。更一般的結論由統計學家大衛·A·弗里德曼在 1963 年和 1965 年的兩篇奠基性論文中獲得，說明了後驗漸近行為成立的條件。他的 1963 年論文與杜布（1949）相似，處理有限情形並得出令人滿意的結論。然而，若隨機變量具有無限但可數的概率空間（例如，對應一個擲有無限個面的骰子），1965 年的論文表明對於稠密的先驗子集，伯恩斯坦–馮·米塞斯定理不適用——在此情形下，漸近收斂幾乎必然不成立。1980 年代至 1990 年代，弗里德曼與佩爾西·迪亞科尼斯繼續研究無限可數概率空間的情形。 綜上所述，試驗次數可能不足以消除初始先驗選擇的影響；對於大型（但有限的）系統，收斂可能非常緩慢。

共軛先驗
在參數化形式下，先驗分佈通常被假定來自一族稱為共軛先驗的分佈。共軛先驗的優點在於相應的後驗分佈與先驗屬於同一族，計算可以用封閉形式表達。

參數估計與預測
通常希望使用後驗分佈來估計某個參數或變量。幾種貝氏估計方法從後驗分佈中選取集中趨勢的度量。

對於一維問題，唯一的中位數對實際的連續問題存在。後驗中位數作為一種穩健估計量具有吸引力。

若後驗分佈存在有限均值，則後驗均值是一種估計方法：
\tilde \theta = \operatorname{E}[\theta] = \int \theta \, p(\theta \mid \mathbf{X},\alpha) \, d\theta

取概率最大的值定義了最大後驗機率估計（MAP）：
\{ \theta_{\text{MAP}}\} \subset \arg \max_\theta p(\theta \mid \mathbf{X},\alpha).

亦有其他估計方法，基於損失函數最小化後驗風險（期望後驗損失），這對採用抽樣分佈（頻率論統計）的統計決策理論頗有價值。

新觀測值 \tilde{x}（獨立於以往觀測）的後驗預測分布由以下公式確定：
p(\tilde{x}|\mathbf{X},\alpha) = \int p(\tilde{x},\theta \mid \mathbf{X},\alpha) \, d\theta
=\int p(\tilde{x} \mid \theta) p(\theta \mid \mathbf{X},\alpha) \, d\theta.

例子
假說的機率
假設有兩個裝滿餅乾的碗。碗 #1 裡有 10 塊巧克力餅乾和 30 塊普通餅乾，碗 #2 裡各有 20 塊。弗雷德隨機選了一個碗，再從中隨機取出一塊餅乾，這意味著他對兩個碗以及碗中餅乾的選取都是均等的。取出的是一塊普通餅乾。這塊餅乾有多大可能是從碗 #1 取出的？這是一個可用貝氏推斷方法處理的問題。

直觀上，答案應超過一半，因為碗 #1 裡普通餅乾更多。精確答案由貝氏定理給出。設 H_1 對應碗 #1，H_2 對應碗 #2。由於兩個碗在弗雷德看來完全相同，P(H_1)=P(H_2)，二者之和為 1，故均等於 0.5。事件 E 是觀察到普通餅乾。根據各碗的內容物，P(E \mid H_1) = 30/40 = 0.75，P(E \mid H_2) = 20/40 = 0.5。貝氏公式給出：

P(H_1 \mid E) = \frac{P(E \mid H_1)\,P(H_1)}{P(E \mid H_1)\,P(H_1)\;+\;P(E \mid H_2)\,P(H_2)}
= \frac{0.75 \times 0.5}{0.75 \times 0.5 + 0.5 \times 0.5} = 0.6.

在觀察到弗雷德的餅乾之前，他選中碗 #1 的機率（先驗概率）為 P(H_1)=50\%。通過得知餅乾的類型，對 P(H_1) 的估計更新為 P(H_1 \mid E)=60\%。

進行預測
一名考古學家正在發掘一個據信屬於中世紀（11 至 16 世紀）的遺址，但確切的居住年代不明。出土的陶片中，部分有上釉，部分有裝飾。根據預期：若遺址在中世紀早期有人居住，則約 1% 的陶器上釉、50% 的面積有裝飾；若在中世紀晚期，則約 81% 上釉、5% 的面積有裝飾。隨著陶片不斷出土，考古學家對居住年代的信心如何更新？

設 C（世紀）為待估計的連續變量，以離散事件集 \{GD,G \bar D, \bar G D, \bar G \bar D\} 作為證據。由上述信息得上釉概率：

p_G(c) = 0.01 + \frac{0.80}{5}(c-11)

裝飾概率：

p_D(c) = 0.5 - \frac{0.45}{5}(c-11)

其補集為 \bar p_G(c) = 1 - p_G(c)，\bar p_D(c) = 1 - p_D(c)。

假設上釉與裝飾隨時間線性變化且彼此獨立，各事件的概率為：

• P(E=GD \mid C=c) = p_G(c)\,p_D(c)
• P(E=G\bar D \mid C=c) = p_G(c)\,\bar p_D(c)
• P(E=\bar G D \mid C=c) = \bar p_G(c)\,p_D(c)
• P(E=\bar G \bar D \mid C=c) = \bar p_G(c)\,\bar p_D(c)

每當發現新陶片 e，即帶來更多信息，通過貝氏定理將信念分佈更新為改進後的估計。假設均勻先驗 f_C(c) = 0.2 且試驗獨立同分佈：

f_C(c \mid E=e) = \frac{P(E=e \mid C=c)}{P(E=e)}f_C(c)
= \frac{P(E=e \mid C=c)}{\int_{11}^{16}{P(E=e \mid C=c)f_C(c)dc}}f_C(c).

隨著 50 塊陶片被發掘，信念的動態變化可通過計算機模擬觀察。在模擬中，遺址的居住年代約為 1420 年（即 c=15.2）。通過計算 50 次試驗後圖像相應部分下的面積，考古學家可以得出結論：遺址在 11、12 世紀有人居住的可能性幾乎為零，13 世紀約 1%，14 世紀約 63%，15 世紀約 36%。伯恩斯坦–馮·米塞斯定理在此保證了漸近收斂到「真實」分佈，因為對應離散事件集 \{GD,G \bar D, \bar G D, \bar G \bar D\} 的概率空間是有限的。

頻率論統計與決策理論
決策理論層面上對貝氏推斷使用的辯護由亞伯拉罕·瓦爾德提出——他證明了每一個唯一的貝氏程序都是可容許的，反之，每一個可容許的統計程序要麼是貝氏程序，要麼是貝氏程序的極限。

瓦爾德將可容許程序刻畫為貝氏程序（及其極限），使貝氏框架成為頻率論推斷諸多領域（如参数估计、假设检验及計算信賴區間）的核心技術。 例如：

• 「在某些條件下，所有可容許程序要麼是貝氏程序，要麼是貝氏程序的極限（在各種意義下）。這些重要結果，至少在其原始形式上，主要歸功於瓦爾德。它們之所以有用，是因為貝氏性質比可容許性更易於分析。」
• 「在本書的前幾章中，有限支撐的先驗分佈及相應的貝氏程序被用於建立一些比較實驗的主要定理。對更一般先驗的貝氏程序在統計學的發展（包括其漸近理論）中發揮了非常重要的作用。」「許多問題中，只需審視後驗分佈（對適當的先驗），便能立即獲得有趣的信息。此外，序列分析中幾乎無法迴避這一技術。」
• 「一個有用的事實是：通過對整個參數空間取正規先驗所得的任何貝氏決策規則必然是可容許的。」
• 「在可容許性思想的發展過程中，傳統抽樣理論程序是一個重要的研究領域，並取得了許多有趣的成果。」

模型選擇
貝氏方法在模型選擇中也扮演著重要角色，其目標是從一組競爭模型中選出最能代表生成觀測數據的潛在過程的模型。在貝氏模型比較中，選取在給定數據下具有最高後驗概率的模型。模型的後驗概率取決於證據（反映數據由該模型生成的概率）以及對模型的先驗信念。當兩個競爭模型的先驗概率相同時，其後驗概率之比即為貝氏因子。由於貝氏模型比較的目標是選取後驗概率最高的模型，此方法也稱為最大後驗（MAP）選擇規則或 MAP 概率規則。

概率編程
貝氏方法在概念上雖然簡單，但在數學和數值計算上可能頗具挑戰。概率編程語言（PPL）實現了便於構建貝氏模型的函數，並結合高效的自動推斷方法。這有助於將模型構建與推斷過程分離，使從業者能夠專注於自身的具體問題，而將計算細節交由概率編程語言處理。

應用
統計資料分析
請參見贝叶斯统计的獨立條目，特別是其中的統計建模部分。

電腦應用
贝叶斯推断有在人工智慧及專家系統上應用。自 1950 年代後期開始，贝叶斯推断技巧就是電腦模式识别技術中的基礎。 現在也越來越多將贝叶斯推断和以模擬為基礎的蒙地卡羅方法合併使用的應用，因為一些模雜的模型無法用贝叶斯分析得到解析解，而圖模式結構可以配合一些快速的模擬方式（例如吉布斯抽樣或是其他Metropolis–Hastings演算法）。 因為上述理由，贝叶斯推断在系统发生学研究社群中來越受到重視，許多的應用可以用同時估測许多人口和进化参数。

應用於統計分類時，贝叶斯推断被用於開發識別電子郵件垃圾郵件的演算法。利用贝叶斯推断進行垃圾郵件過濾的應用包括 CRM114、DSPAM、Bogofilter、SpamAssassin、SpamBayes、Mozilla、XEAMS 等。垃圾郵件分類在樸素貝氏分類器條目中有更詳細的論述。

所羅門諾夫歸納推理理論是一種基於觀測的預測理論——例如，根據一串已知符號預測下一個符號。其唯一假設是環境遵循某個未知但可計算的概率分佈。它是一個將貝氏統計與奧卡姆剃刀兩個經典歸納推理原則相結合的形式化歸納框架。 所羅門諾夫對任何可計算序列 x 的前綴 p 的通用先驗概率，是所有能計算以 p 開頭輸出的程序（對通用計算機而言）的概率之和。給定某個 p 以及對 x 進行抽樣的某個可計算但未知的概率分佈，通用先驗與貝氏定理可被用於以最優方式預測 x 的尚未觀察到的部分。

生物資訊學與醫療應用
贝叶斯推断已應用於各種生物資訊學領域，包括基因差異表達分析。 贝叶斯推断亦被用於一般癌症風險模型，稱為 CIRI（連續個人化風險指數，Continuous Individualized Risk Index），其中序列測量結果被整合以更新主要從先驗知識構建的貝氏模型。

宇宙學與天文物理應用
貝氏方法是近年宇宙學與天文物理學進展的核心， 廣泛應用於一系列天文物理問題，包括系外行星特徵刻畫（如 k2-18b 大氣擬合）、宇宙學數據的參數約束， 以及天文物理實驗的定標。

在宇宙學中，貝氏方法通常與馬可夫鏈蒙地卡羅（MCMC）和巢狀抽樣演算法等計算技術結合使用，以分析複雜數據集並在高維參數空間中導航。一個顯著應用是對 Planck 2018 CMB 數據的參數推斷。 宇宙學貝氏分析代碼 cobaya 可建立宇宙學運算並與宇宙學似然函數、玻爾茲曼代碼（計算給定宇宙學參數組合的預測 CMB 各向異性）進行接口，並配合 MCMC 或巢狀採樣器使用。

這一計算框架不僅限於標準模型，對於測試宇宙學的替代或擴展理論（如引入早期暗能量的理論或在 Lambda-CDM 之外引入附加參數的修正引力理論）亦不可或缺。貝氏模型比較可用於計算競爭模型的證據，為評估數據是否支持這些理論而非標準 Lambda-CDM 提供統計基礎。

在法庭上
贝叶斯推断可以被陪審員用於一致地累積對被告不利或有利的證據，並評估其是否在總體上達到其個人認定「排除合理懷疑」的門檻。 貝氏定理逐步應用於所有提交的證據，前一階段的後驗成為下一階段的先驗。貝氏方法的優勢在於它為陪審員提供了一種無偏且合理的證據整合機制。向陪審員以賠率形式解釋貝氏定理可能更為適當，因為博彩賠率比概率更廣為人知。或者，用加法取代乘法的對數方法也許對陪審團而言更易操作。

若犯罪的存在本身不存疑，只有罪犯身份尚待確定，有人建議先驗應在符合條件的人群中取均勻分佈。 例如，若有 1,000 人可能犯罪，則有罪的先驗概率為 1/1000。

陪審員使用貝氏定理存在爭議。在英國，一名辯方專家證人在 R v Adams 案中向陪審團解釋了貝氏定理。陪審團作出有罪裁定，但案件以未向不願使用貝氏定理的陪審員提供累積證據的方法為由提出上訴。上訴法院維持原判，但同時表達了意見：「將貝氏定理或任何類似方法引入刑事審判，會使陪審團陷入不恰當且不必要的理論與複雜性領域，令其偏離應盡的職責。」

Gardner-Medwin 認為，刑事審判裁決所應依據的標準，不是有罪的概率，而是假定被告無罪時，相關證據出現的概率（類似於頻率論的 p值）。他認為，若要通過貝氏定理計算有罪的後驗概率，則必須知道有罪的先驗概率，而這取決於犯罪的發生率，是一個在刑事審判中頗不尋常的考量。以下三個命題值得考慮：

: A — 已知事實與證詞在被告有罪的情形下可能出現。
: B — 已知事實與證詞在被告無罪的情形下可能出現。
: C — 被告有罪。

Gardner-Medwin 認為，陪審團應在相信 A 且不相信 B 的情況下作出有罪裁定。A 且非 B 蘊含 C 為真，但反之不成立。B 與 C 同時為真是可能的，但他認為在此情形下陪審團應宣告無罪，即便知道這樣做會讓一些確實有罪的人逃脫。另見 Lindley悖論。

贝叶斯認識論
貝氏認識論是一場提倡以貝氏推斷作為歸納邏輯規則之辯護手段的思想運動。

卡爾·波普爾與大衛·米勒拒絕了貝氏理性主義（即使用貝氏規則進行認識論推斷）的觀點： 它與任何其他辯護主義認識論一樣，易陷入惡性循環，因為它預設了它所試圖辯護的東西。依照這一觀點，對貝氏推斷的理性詮釋應將其僅視為可證偽性的概率版本，而拒絕貝氏主義者通常持有的信念——即通過一系列貝氏更新所達到的高似然率能夠在任何合理的懷疑之上，乃至以大於 0 的概率，證明假說成立。

其他

• 科學方法有時被解讀為貝氏推斷的一種應用：在這一觀點下，貝氏規則指引（或應當指引）在面對新觀測或實驗時對假說概率的更新。 贝叶斯推断亦被應用於帶有不完整信息的隨機排程問題中。
• 貝氏搜尋理論用於搜尋失蹤物體。
• 系统发生学中的贝叶斯推断
• 貝氏甲基化分析工具
• 貝氏腦功能方法：將大腦研究為一種貝氏機制。
• 生態學研究中的贝叶斯推断
• 贝叶斯推断用於估計隨機化學動力學模型中的參數
• 贝叶斯推断在經濟物理學中用於貨幣或金融報價趨勢預測
• 行銷中的贝叶斯推断
• 運動學習中的贝叶斯推断
• 贝叶斯推断用於概率數值計算求解數值問題

贝叶斯与贝叶斯推断
貝葉斯在其文章《機率論中一問題的求解嘗試》第 9 命題中所考慮的問題，是二項分布參數 a（成功率）的後驗分佈。

歷史
「贝叶斯」是指托马斯·贝叶斯（1702–1761），他證明了一個特例（現在知道是贝叶斯定理的特例），不過皮埃尔-西蒙·拉普拉斯（1749–1827）推導了此定理的一般版本，應用在天體力學、醫療統計學、及法学上。早期的贝叶斯推断是用拉普拉斯所得的均勻先驗，稱為（因為是由觀測值倒推參數的归纳推理，或是從結果倒推到原因以及給定先驗分布的方式（不同的客觀贝叶斯方法會有不同給定先驗分布的方式）。主觀贝叶斯方法（或是提供信息的贝叶斯方法）中，先驗的規格依信念（也是分析希望要呈現的主張）而定，信念可以由專家整理資訊後總結產生，也可以根據以往的研究等。

1980年代發現了马尔科夫蒙特卡洛方法，讓贝叶斯方法的研究及應用有大幅的發展，除去了許多運算上的問題，也有越來越多人願意參與非標準的複雜問題。不過雖然贝叶斯方法的研究仍在成長，大部份大學本科的教學仍是以為基礎
。不過贝叶斯方法也廣為許多領域接受及應用，例如在机器学习的領域中。

參考資料
相關條目

• 贝叶斯统计
• 贝叶斯定理
• ，ISBA期刊

*

• 贝叶斯概率

*

• （ISBA）

*

• （BSTS）
• 蒙提霍爾問題