集成学习
在统计学和机器学习中，集成学习（）方法通过组合多种学习算法来获得比单独使用任何一种算法更好的预测性能。与统计力学中通常是无限的系综不同，机器学习中的集成学习由有限的一组模型组成，但这些模型之间通常允许存在更灵活的结构。 概述 监督学习算法通常被描述为在假设空间中搜索，以找到一个能够对特定问题做出良好预测的假设。因此，许多集成方法试图促进它们组合的模型之间的多样性。尽管可能不是直观的，更随机的算法（如随机决策树）可用于产生比非常有意识的算…
标签：#集成学习
共 5 篇文章
随机森林
在機器學習中，隨機森林是一個包含多個決策樹的分類器，並且其輸出的類別是由個別樹輸出的類別的眾數而定。 這個術語是1995年由貝爾實驗室的所提出的隨機決策森林（random decision forests）而來的。这篇文章描述了一种结合随机节点优化和bagging，利用类CART过程构建不相关树的森林的方法。此外，本文还结合了一些已知的、新颖的、构成了现代随机森林实践的基础成分，特别是 使用out-of-bag误差来代替泛化误差 通过排…
Bagging算法
Bagging算法 （英語：Bootstrap aggregating，引導聚集算法），又稱裝袋算法，是機器學習領域的一種集成學習算法。最初由Leo Breiman於1994年提出。Bagging算法可與其他分類、回歸算法結合，提高其準確率、穩定性的同時，透過降低結果的變異數，避免過擬合的發生。 算法步骤 给定一个大小为n的训练集D，Bagging算法从中均匀、有放回地（即使用自助抽样法）选出m个大小为n'的子集D_i，作为新的训练集。…
AdaBoost
AdaBoost為英文"Adaptive Boosting"（自适应增强）的缩写，是一种机器学习方法，由約阿夫·弗羅因德和羅伯特·沙皮爾提出。AdaBoost方法的自适应在于：前一个分类器分错的样本会被用来训练下一个分类器。AdaBoost方法对于噪声数据和异常数据很敏感。但在一些问题中，AdaBoost方法相对于大多数其它学习算法而言，不会很容易出现过拟合现象。AdaBoost方法中使用的分类器可能很弱（比如出现很大错误率），但只要它…
提升方法
提升方法（Boosting）是一种机器学习中的集成学习元启发算法，主要用来减小監督式學習中偏差并且也减小方差，以及一系列将弱学习器转换为强学习器的机器学习算法。面對的问题是邁可·肯斯（Michael Kearns）和莱斯利·瓦利安特(Leslie Valiant)提出的：一組“弱学习者”的集合能否生成一个“强学习者”？弱学习者一般是指一个分类器，它的结果只比随机分类好一点点；强学习者指分类器的结果非常接近真值。 Robert Schap…