高斯過程（Gaussian Process, GP）是機率論和數理統計中隨機過程（stochastic process）的一種，是一系列服從常態分配的隨機變數（random variable）在一指數集（index set）內的組合。
高斯過程中任意隨機變數的線性組合都服從常態分配，每個有限維分布都是聯合常態分配，且其本身在連續指數集上的機率密度函式即是所有隨機變數的高斯測度，因此被視為聯合常態分配的無限維廣義延伸。高斯過程由其數學期望和協方差函式完全決定，並繼承了常態分配的諸多性質。
高斯過程的例子包括維納過程、奧恩斯坦-烏倫貝克過程等。對高斯過程進行建模和預測是機器學習、信號處理等領域的重要內容，其中常見的模型包括高斯過程回歸（Gaussian Process Regression, GPR）和高斯過程分類（Gaussian Process Classification, GPC）。高斯過程的命名來自德國數學家卡爾·弗里德里希·高斯（Carl Friedrich Gauss）以紀念其提出常態分配概念。
基本介紹
- 中文名：高斯過程
- 外文名：Gaussian Process, GP
- 類型：隨機過程
- 學科：統計學
- 套用：時間序列分析，機器學習
定義,理論,性質,特例,推廣,套用,
定義
高斯過程指的是一組隨機變數的集合，這個集合裡面的任意有限個隨機變數都服從聯合常態分配。具體地，對機率空間
內指數集為
的隨機過程
，當
的子集
對任意
都是高斯隨機向量時，
被稱為高斯過程，且其分布，即布雷爾測度（Borel measure）
，被稱為高斯測度（Gaussian measure）。
該定義有如下引理：對高斯隨機向量
，若有指數集
，則隨機過程
是高斯過程；反之，若隨機過程
是高斯過程，則
是高斯隨機向量。
理論
平穩高斯過程（stationary Gaussian process）
作為隨機過程之一，高斯過程的重要成員是平穩高斯過程，其定義如下：
上述定義的另一等價表述為：若高斯過程
的數學期望和協方差在指數集
內平移不變（transformation invariant），則
為平穩高斯過程。該表述的公式形式為：
核函式（kernel function）
主詞條：核函式
1. 平穩高斯過程的核函式
構建平穩高斯過程時，常用的核函式有：
徑向基函式核（RBF kernel） |  |
馬頓核（Matérn kernel） |  |
指數函式核（exponential kernel） |  |
二次有理函式核（rational quadratic kernel, RQ kernel） |  |
式中
，馬頓核中的
為修正貝塞爾函式（modified Bessel function），
為表征核函式的特徵長度尺度（characteristic length-scale）的超參數。上述核函式間存在聯繫，當
時，馬頓核和RQ核等價於以
為特徵尺度的RBF核，指數函式核是馬頓核在
的特殊形式。
核函式的兩個重要度量是單調性和平滑性（smoothness）。表中的核函式均是單調遞減函式，因此樣本間的相關性與樣本間距離成反比，此時特徵長度尺度越小，樣本間的相關性越高。隨機過程的平滑性由均方導數（mean squared derivative）描述，表中RBF核對應無限均方可導的平滑高斯過程；馬頓核與RQ核的均方可導性與其超參數有關，例如在
取1.5和2.5時，馬頓核是1階和2階均方可導的；指數函式核對應的高斯過程是奧恩斯坦-烏倫貝克過程（Ornstein-Uhlenbeck Process, OU），OU過程是一個具有強馬爾可夫性且均方不可導的隨機過程（參見特例部分）。
各向同性（a）和兩類各向異性（b, c）的RBF核
各向同性（a）和兩類各向異性（b, c）的RBF核2. 各項同性（isotropy）與各向異性（anisotropy）核函式
若高斯過程為高斯隨機場，對應的指數集表示空間時，其核函式的選擇有各向同性與各向異性之分。各向同性表示樣本的協方差與其向量的方向無關，即僅與距離有關，各向異性反之。
對先前表中的平穩核函式，若定義
，則其為各向同性核函式，若定義
則其為各向異性核函式，
是表征各向異性的矩陣函式，其對角元素表示不同維度下所取的尺度。舉例說明，對RBF核，其一般形式可表示為：
3. 非平穩核函式
周期核（periodic kernel）與多項式函式核（polynominal kernel）是常見的非平穩核函式。對前者，平穩核函式可以用於構建周期核：
。式中
表示該核函式具有的周期，例如由RBF核得到的周期核的形式為：
。對後者，多項式函式核也被稱為內積核（dot product kernel），當多項式函式核為1階時，多項式函式核退化為線性核。多項式函式核是非平穩的，但其對以原點為中心的旋轉變換保持不變。高階內積核函式的取值在
時呈非線性增長。內積核函式通常被套用於高維的高斯過程分類問題。
性質
高斯過程具有邊緣分布性質（marginalization property），若高斯過程有服從聯合常態分配的隨機向量
，則其該向量中的隨機變數
，且隨機變數間有條件分布：
特例
維納過程（Wiener process）
主詞條：維納過程
維納過程（布朗運動）實例。左側為時間序列，右側為機率密度。非整數布朗運動（Fractional Brownian Motion）
非整數布朗運動是一類特殊的高斯過程。非整數布朗運動有
、數學期望為0和如下形式的協方差函式：
奧恩斯坦-烏倫貝克過程（Ornstein-Uhlenbeck Process, OU）
OU過程是一個平穩的高斯-馬爾可夫過程，其數學期望為0且以指數函式為核函式。OU過程與維納過程存在聯繫，是隨機微分方程：
的解。
布朗橋（Brownian bridge）
布朗橋是一個平穩高斯過程，布朗橋有
，數學期望為0，協方差函式為
。在連續時間域
上，布朗橋與維納過程有關：
推廣
高斯過程回歸（Gaussian Process Regression, GPR）
主詞條：高斯過程回歸
GPR是將回歸模型所對應的函式空間（functional space）視為高斯過程：
從而通過學習樣本估計回歸模型參數
的監督學習過程。作為一般性介紹，GPR可分為3個部分：
GPR實例，左圖為三個0均值先驗；右圖為後驗
GPR實例，左圖為三個0均值先驗；右圖為後驗1. 構建高斯過程先驗：高斯過程由其數學期望和協方差函式完全決定，常見的選擇是平穩高斯過程，即數學期望為一常數，協方差函式取平穩高斯過程可用的核函式，使用最多的核函式是RBF核。
2. 求解超參數：在給定學習樣本
後GPR由貝葉斯定理（Bayes' theorem）求解超參數後驗：
式中
為超參數的似然，對正態似然的情形，GPR通常使用極大似然估計（Maximum Likelihood Estimation, MLE）按非線性最佳化方法求解超參數；對非正態似然的情形，可使用解析近似（analytical approximation）和蒙特卡羅方法（Monte Carlo method）。
3. 對測試樣本進行預測：對測試樣本
，使用0均值高斯過程先驗的GPR可給出回歸結果
的後驗。在正態似然的情形下，GPR的預測具有如下解析形式：
作為具有全貝葉斯特性（full Bayesian）的非參數模型，GPR可提供預測結果的後驗，且在似然服從常態分配時，該後驗具有解析形式，因此其是一個具有泛用性和可解析性的機率模型。此外，在核函式和指數集滿足特定條件時，GPR是任意函式的通用近似（universal approximator）。
高斯過程分類（Gaussian Process Classification, GPC）
GPC與logistic回歸（logistic regression）的關係可類比權重空間下GPR與貝葉斯線性回歸的關係。對高斯過程下的數據
和分類標籤
，依據貝葉斯定理（Bayes’ theorem）
可以表示為
或
。兩種表示方法定義了兩類GPC模型，即生成模型（generative model）和判別模型（discriminative model），前者對
建模，後者對
建模。
對判別模型，在二元分類（binary classification）中，給定權重矩陣和從實數域映射至
區間的回響函式（例如Sigmoid函式），可定義如下的線性分類器（linear classifier）：
GPC的似然是潛函式對學習樣本的因子乘積：
，考慮Sigmoid函式的表達式，該形式不是常態分配，因此GPC的後驗沒有解析形式，要求使用非正態似然的求解方法，例如使用解析近似將非正態後驗近似表示為正態後驗。
其它
除GPR和GPC外，高斯過程建模可以有其它更複雜的形式，例如半參數高斯過程（Semi-parametric Gaussian Processes, SGP）、深度高斯過程（Deep Gaussian Process, DGP）、可加高斯過程（Additive Gaussian Process, AGP）等。
