貝葉斯學習

貝葉斯學習是利用參數的先驗分布,由樣本信息求來的後驗分布,直接求出總體分布。貝葉斯學習理論使用機率去表示所有形式的不確定性,通過機率規則來實現學習和推理過程。

基本介紹

  • 中文名:貝葉斯學習
  • 外文名:Bayesian learning
  • 結果表達:可理解為對不同可能性的信任程度
  • 提出者:托馬斯.貝葉斯
  • 含義分類:自動學習機制
  • 相關衍伸:貝葉斯網路,貝葉斯推理
背景,貝葉斯定理,全機率公式,貝葉斯公式,貝葉斯定理,基本方法,生活套用,

背景

貝葉斯學習最早起源於數學家托馬斯
貝葉斯在1963年所證明的一個關於貝葉斯定理的特例。經過多位統計學家的共同努力,貝葉斯統計在20世紀50年代之後逐步建立起來,成為統計學中一個重要的組成部分。貝葉斯定理因其對於機率的主觀置信程度的獨特理解而聞名。此後,由於貝葉斯統計在後驗推理、參數估計、模型檢測、隱機率變數模型等諸多統計機器學習領域方面有廣泛而深遠的套用。

貝葉斯定理

全機率公式

設實驗
的樣本空間為Ω,A為
的事件,
是Ω的一個劃分,且
,則
全機率公式可以通過綜合分析一個較為複雜的事件發生的各種不同的原因、情況或途徑及其可能性求得該事件發生的機率。

貝葉斯公式

設實驗
的樣本空間為Ω,A為
的事件,
是Ω的一個劃分,且
,則
貝葉斯公式主要用於觀察一個事件已經發生時,去求導致所觀察到的事件發生的各種原因、情況或途徑及可能性大小。

貝葉斯定理

貝葉斯定理是關於隨機事件 A 和 B 的條件機率:
其中,
是在
發生的情況下
發生的可能性,
的先驗機率,
是已知
發生後
發生的機率,
的先驗機率。

基本方法

假定要估計的模型參數是服從一定分布的隨機變數,根據經驗給出待估參數的先驗分布(也稱為主觀分布),關於這些先驗分布的信息被稱為先驗信息;然後根據這些先驗信息,並與樣本信息相結合,套用貝葉斯定理求出待估參數的後驗分布;再套用損失函式,得出後驗分布的一些特徵值,並把它們作為待估參數的估計量。
先驗分布:
總體分布參數的一個機率分布。貝葉斯學派的根本觀點,是認為在關於總體分布參數的任何統計推斷問題中,除了使用樣本所提供的信息外,還必須規定一個先驗分布,它是在進行統計推斷時不可缺少的一個要素。他們認為先驗分布不必有客觀的依據,可以部分地或完全地基於主觀信念。
後驗分布:
根據樣本分布和未知參數的先驗分布,用機率論中求條件機率分布的方法,求出的在樣本已知下,未知參數的條件分布。因為這個分布是在抽樣以後才得到的,故稱為後驗分布。貝葉斯推斷方法的關鍵是任何推斷都必須且只須根據後驗分布,而不能再涉及樣本分布。

生活套用

已知:有N個蘋果,和M個梨子,蘋果為黃色的機率為20%,梨子為黃色的機率為80%,問:假如在這堆水果中觀察到了一個黃色的水果,這個水果是梨子的機率是多少?
分析:
問題轉化為: 已知:
  
求:
解:
利用全機率公式,有:
利用貝葉斯公式,有:

相關詞條

熱門詞條

聯絡我們