标签：#演算法資訊理論

最小描述長度

最小描述長度原則是將奧卡姆剃刀形式化後的一種結果。其想法是，在給予假說的集合的情況下，能產生最多資料壓縮效果的那個假說是最好的。它是在1978年由所引入的。在資訊理論和計算機學習理論中，最小描述長度原則是個重要觀念。 任一資料集都可以由一有限（譬如說，二進位制的）字母集內符號所成的字串來表示。"最小描述長度原則背後的基本想法是：在任一給定的資料集內的任何規律性都可用來壓縮。亦即在描述資料時，與逐字逐句來描述資料的方式相比，能使用比所需還…