貝葉斯學習是利用參數的先驗分布，由樣本信息求來的後驗分布，直接求出總體分布。貝葉斯學習理論使用機率去表示所有形式的不確定性，通過機率規則來實現學習和推理過程。
基本介紹
- 中文名：貝葉斯學習
- 外文名：Bayesian learning
- 結果表達：可理解為對不同可能性的信任程度
- 提出者：托馬斯.貝葉斯
- 含義分類：自動學習機制
- 相關衍伸：貝葉斯網路，貝葉斯推理
背景,貝葉斯定理,全機率公式,貝葉斯公式,貝葉斯定理,基本方法,生活套用,
背景
貝葉斯學習最早起源於數學家托馬斯
貝葉斯在1963年所證明的一個關於貝葉斯定理的特例。經過多位統計學家的共同努力，貝葉斯統計在20世紀50年代之後逐步建立起來，成為統計學中一個重要的組成部分。貝葉斯定理因其對於機率的主觀置信程度的獨特理解而聞名。此後，由於貝葉斯統計在後驗推理、參數估計、模型檢測、隱機率變數模型等諸多統計機器學習領域方面有廣泛而深遠的套用。
貝葉斯定理
全機率公式
設實驗
的樣本空間為Ω，A為
的事件，
是Ω的一個劃分，且
，則
貝葉斯公式
設實驗 的樣本空間為Ω，A為 的事件， 是Ω的一個劃分，且
，
，則
貝葉斯公式主要用於觀察一個事件已經發生時，去求導致所觀察到的事件發生的各種原因、情況或途徑及可能性大小。
貝葉斯定理
貝葉斯定理是關於隨機事件 A 和 B 的條件機率：
基本方法
假定要估計的模型參數是服從一定分布的隨機變數，根據經驗給出待估參數的先驗分布(也稱為主觀分布)，關於這些先驗分布的信息被稱為先驗信息；然後根據這些先驗信息，並與樣本信息相結合，套用貝葉斯定理求出待估參數的後驗分布；再套用損失函式，得出後驗分布的一些特徵值，並把它們作為待估參數的估計量。
先驗分布：
總體分布參數的一個機率分布。貝葉斯學派的根本觀點，是認為在關於總體分布參數的任何統計推斷問題中，除了使用樣本所提供的信息外，還必須規定一個先驗分布，它是在進行統計推斷時不可缺少的一個要素。他們認為先驗分布不必有客觀的依據，可以部分地或完全地基於主觀信念。
後驗分布：
根據樣本分布和未知參數的先驗分布，用機率論中求條件機率分布的方法，求出的在樣本已知下，未知參數的條件分布。因為這個分布是在抽樣以後才得到的，故稱為後驗分布。貝葉斯推斷方法的關鍵是任何推斷都必須且只須根據後驗分布，而不能再涉及樣本分布。
生活套用
已知：有N個蘋果，和M個梨子，蘋果為黃色的機率為20%，梨子為黃色的機率為80%，問：假如在這堆水果中觀察到了一個黃色的水果，這個水果是梨子的機率是多少？
分析：
問題轉化為： 已知：
求:
解：
利用全機率公式，有：
利用貝葉斯公式，有：
