并行退火
并行退火（Parallel tempering），也称作replica exchange MCMC sampling，是一种用于动态改进蒙特卡罗方法的模拟算法。该算法用于模拟物理过程。同时更普遍地应用于蒙特卡罗马可夫链（Markov chain Monte Carlo，MCMC）抽样方法。 Sugita和Okamoto数学定义了一种分子动力学描述的并行退火算法：通常被称为replica-exchange molecular dynami…
标签：#計算統計學
共 9 篇文章
随机森林
在機器學習中，隨機森林是一個包含多個決策樹的分類器，並且其輸出的類別是由個別樹輸出的類別的眾數而定。 這個術語是1995年由貝爾實驗室的所提出的隨機決策森林（random decision forests）而來的。这篇文章描述了一种结合随机节点优化和bagging，利用类CART过程构建不相关树的森林的方法。此外，本文还结合了一些已知的、新颖的、构成了现代随机森林实践的基础成分，特别是 使用out-of-bag误差来代替泛化误差 通过排…
等距特征映射
等距特征映射（）是一个非线性降维方法，被广泛使用的低维嵌入方法之一。 等距特征映射被用来计算准等距的高维数据到低维的嵌入方法。算法通过将每个数据点和临近的数据点连接构成图，用图论中的dijkstra距离来估计流形的测地距离。等距特征映射十分高效，可以广泛的应用到各种来源和维数不同的数据。 导言 Isomap是保距映射算法的代表之一，是通过一个带权图引入测地距离的MDS方法的改进。具体来说，经典的MDS算法提供了一个保持数据点成对距离的低…
马尔可夫链蒙特卡洛
马尔可夫链蒙特卡洛（，）方法（含随机游走蒙特卡洛方法）是一组用马氏链从随机分布取样的算法，之前步骤的作为底本。步数越多，结果越好。 建立一个具有期望属性的马氏链并非难事，难的是如何决定通过多少步可以达到在许可误差内的稳定分布。一个好的马氏链具有快速混合——从开始阶段迅速获得的一个稳定状态——请参考马氏链最大时间。 因于初始样本，最常见的MCMC取样只能近似得到分布。复杂的MCMC改进算法如过往耦合，但是会消耗更多的计算资源和时间。 典型…
粒子濾波器
粒子滤波器（）是一种使用蒙特卡罗方法的递归滤波器。它透过一组具有权重的随机样本（粒子）表示隨機事件的後驗機率，並從含有雜訊或不完整的觀測序列中，估計動態系統的狀態。粒子濾波器可以運用在任何狀態空間的模型上。 同時，粒子濾波器是卡爾曼濾波器的一般化方法。卡爾曼濾波器建立在线性的狀態空間和高斯分布的雜訊上；而粒子濾波器的狀態空間模型可以是非線性，且雜訊分布可以是任何型式。 歷史 啟發式演算法 從統計和概率的角度來看，粒子濾波器屬於遗传算法分…
刀切法
统计学中，刀切法（）是一种重抽样方法，常用于对统计量的方差和偏差的估计。样本的刀切法估计量是指将样本去除每个元素后重新计算估计量，再将这些估计量取平均值。刀切法是自助法的一个线性近似。“刀切法”的名字由美国数学家约翰·图基提出，意在说明本方法像便携式小刀一样简单但实用，可解决多种统计问题。给定一个大小为n的样本，刀切法的估计量可以通过聚合每个大小为n-1子样本得出。 范例：均值估计 刀切法的估计量可以通过将数据集中的每个观测值逐一排除后…
径向基函数网络
在数学建模领域，径向基函数网络（Radial basis function network，縮寫 RBF network）是一种使用径向基函数作为激活函数的人工神经网络。径向基函数网络的输出是输入的径向基函数和神经元参数的线性组合。径向基函数网络具有多种用途，包括包括函数近似法、时间序列预测、分类和系统控制。他们最早由布魯姆赫德（Broomhead）和洛維（Lowe）在1988年建立。 径向基函数网络通常有三层：输入层、隐藏层和一个非线…
Bagging算法
Bagging算法 （英語：Bootstrap aggregating，引導聚集算法），又稱裝袋算法，是機器學習領域的一種集成學習算法。最初由Leo Breiman於1994年提出。Bagging算法可與其他分類、回歸算法結合，提高其準確率、穩定性的同時，透過降低結果的變異數，避免過擬合的發生。 算法步骤 给定一个大小为n的训练集D，Bagging算法从中均匀、有放回地（即使用自助抽样法）选出m个大小为n'的子集D_i，作为新的训练集。…
自助法
在统计学中，自助法（Bootstrap Method，Bootstrapping，或自助抽樣法、拔靴法）是一种从给定训练集中有放回的均匀抽样，也就是说，每当选中一个样本，它等可能地被再次选中并被再次添加到训练集中。自助法由Bradley Efron于1979年在《Annals of Statistics》上發表。當樣本來自能以正态分布來描述的总体，其為正态分布；但當樣本來自的总體無法以正态分布來描述，則以漸進分析法、自助法等來分析。採用…