馬爾柯夫鏈模型

馬爾可夫鏈通常用來建模排隊理論和統計學中的建模，還可作為信號模型用於熵編碼技術，如算術編碼（著名的LZMA數據壓縮算法就使用了馬爾可夫鏈與類似於算術編碼的區間編碼）。

基本信息

定義 馬爾可夫鏈是隨機變數X1,X2,X3...的一個數列。這些變數的範圍，即他們所有可能取值的集合，被稱為“狀態空間”，而Xn的值則是在時間n的狀態。如果Xn + 1對於過去狀態的條件機率分布僅是Xn的一個函式，則

這裡x為過程中的某個狀態。上面這個恆等式可以被看作是馬爾可夫性質

性質

可還原性

馬爾可夫鏈是由一個條件分布來表示的

這被稱為是隨機過程中的“轉移機率”。這有時也被稱作是“一步轉移機率”。二、三，以及更多步的轉移機率可以導自一步轉移機率和馬爾可夫性質：

同樣，

這些式子可以通過乘以轉移機率並求k − 1次積分來一般化到任意的將來時間n + k。

周期性

邊際分布 P(Xn)是在時間為n時的狀態的分布。初始分布為P(X0)。該過程的變化可以用以下的一個時間步幅來描述：

這是Frobenius-Perron equation的一個版本。這時可能存在一個或多個狀態分布π滿足

其中Y只是為了便於對變數積分的一個名義。這樣的分布π被稱作是“平穩分布”（Stationary Distribution）或者“穩態分布”（Steady-state Distribution）。一個平穩分布是一個對應於特徵值為1的條件分布函式的特徵方程。

平穩分布是否存在，以及如果存在是否唯一，這是由過程的特定性質決定的。“不可約”是指每一個狀態都可來自任意的其它狀態。當存在至少一個狀態經過一個固定的時間段後連續返回，則這個過程被稱為是“周期的”。

重現性

各態歷遍性

律動性

平穩狀態分析和極限分布

可反轉馬爾可夫鏈

可反轉馬爾可夫鏈類似於套用貝葉斯定理來反轉一個條件機率:

以上就是反轉的馬爾可夫鏈。因而，如果存在一個π，使得:

那么這個馬爾可夫鏈就是可反轉的。

這個條件也被稱為細緻平衡 (detailed balance)條件。

對於所有的i求和:

所以，對於可反轉馬爾可夫鏈，π總是一個平穩分布。

有限狀態空間中的馬爾可夫鏈

如果狀態空間是有限的，則轉移機率分布可以表示為一個具有(i,j)元素的矩陣，稱之為“轉移矩陣”：

對於一個離散狀態空間，k步轉移機率的積分即為求和，可以對轉移矩陣求k次冪來求得。就是說，如果是一步轉移矩陣，就是k步轉移後的轉移矩陣。

平穩分布是一個滿足以下方程的向量

. 在此情況下，穩態分布π * 是一個對應於特徵根為1的、該轉移矩陣的特徵向量。

如果轉移矩陣不可約，並且是非周期的，則收斂到一個每一列都是不同的平穩分布 π * ，並且，

, 獨立於初始分布π。這是由Perron-Frobenius theorem所指出的。

正的轉移矩陣（即矩陣的每一個元素都是正的）是不可約和非周期的。矩陣被稱為是一個隨機矩陣，若且唯若這是某個馬爾可夫鏈中轉移機率的矩陣。

注意：在上面的定式化中，元素(i,j)是由j轉移到i的機率。有時候一個由元素(i,j)給出的等價的定式化等於由i轉移到j的機率。在此情況下，轉移矩陣僅是這裡所給出的轉移矩陣的轉置。另外，一個系統的平穩分布是由該轉移矩陣的左特徵向量給出的，而不是右特徵向量。

轉移機率獨立於過去的特殊況為熟知的Bernoulli scheme。僅有兩個可能狀態的Bernoulli scheme被熟知為伯努利過程

套用

科學套用

1、物理

馬爾可夫鏈通常用來建模排隊理論和統計學中的建模，還可作為信號模型用於熵編碼技術，如算術編碼（著名的LZMA數據壓縮算法就使用了馬爾可夫鏈與類似於算術編碼的區間編碼）。馬爾可夫鏈也有眾多的生物學套用，特別是人口過程，可以幫助模擬生物人口過程的建模。隱蔽馬爾可夫模型還被用於生物信息學，用以編碼區域或基因預測。

馬爾可夫鏈最近的套用是在地理統計學（geostatistics）中。其中，馬爾可夫鏈用在基於觀察數據的二到三維離散變數的隨機模擬。這一套用類似於“克里金”地理統計學（Kriging geostatistics），被稱為是“馬爾可夫鏈地理統計學”。這一馬爾可夫鏈地理統計學方法仍在發展過程中。

2、網際網路套用

馬爾可夫過程，能為給定樣品文本，生成粗略，但看似真實的文本：他們被用於眾多供消遣的“模仿生成器”軟體。馬爾可夫鏈還被用於譜曲。

人力資源套用

馬爾可夫鏈模型主要是分析一個人在某一階段內由一個職位調到另一個職位的可能性，即調動的機率。該模型的一個基本假設就是，過去的內部人事變動的模式和機率與未來的趨勢大體相一致。實際上，這種方法是要分析企業內部人力資源的流動趨勢和機率，如升遷、轉職、調配或離職等方面的情況，以便為內部的人力資源的調配提供依據。

它的基本思想是：通過發現過去組織人事變動的規律，以推測組織在未來人員的供給情況。馬爾可夫鏈模型通常是分幾個時期收集數據，然後再得出平均值，用這些數據代表每一種職位中人員變動的頻率，就可以推測出人員變動情況。

具體做法是：將計畫初期每一種工作的人數量與每一種工作的人員變動機率相乘，然後縱向相加，即得到組織內部未來勞動力的淨供給量。其基本表達式為：

Ni(t)：t時間內I類人員數量；

基本表達式

Pji：人員從j類向I類轉移的轉移率；

Vi(t)：在時間（t-1,t）I類所補充的人員數。

企業人員的變動有調出、調入、平調、晉升與降級五種。表3 假設一家零售公司在1999至2000年間各類人員的變動情況。年初商店經理有12人，在當年期間平均90%的商店經理仍在商店內，10%的商店經理離職，期初36位經理助理有 11%晉升到經理，83%留在原來的職務，6%離職；如果人員的變動頻率是相對穩定的，那么在2000年留在經理職位上有11人（12×90%），另外，經理助理中有4人（36×83%）晉升到經理職位，最後經理的總數是15人（11+4）。可以根據這一矩陣得到其他人員的供給情況，也可以計算出其後各個時期的預測結果。假設的零售公司的馬爾可夫分析，見下表：

商店經理; (n=12)	90%; 11					10%; 1
經理助理; (n=36)	11%; 4	83%; 30				6%; 2
區域經理; (n=96)		11%; 11	66%; 63	8%; 8		15%; 14
部門經理; (=288)			10%; 29	72%; 207	2%; 6	16%; 46
銷售員; (=1440)				6%; 86	74%; 1066	25%; 228
供給預測	15	41	92	301	1072	351