相關向量機（Relevance Vector Machine，簡稱RVM）是Micnacl E.Tipping於2000年提出的一種與SVM（Support Vector Machine）類似的稀疏機率模型，是一種新的監督學習方法。
基本介紹
- 中文名：相關向量機
- 外文名：Relevance Vector Machine
- 英文簡稱：RVM
- 性質：機率模型
簡介,特點,
簡介
它的訓練是在貝葉斯框架下進行的，在先驗參數的結構下基於主動相關決策理論（automatic relevance determination，簡稱ARD）來移除不相關的點，從而獲得稀疏化的模型。在樣本數據的疊代學習過程中，大部分參數的後驗分布趨於零，與預測值無關，那些非零參數對應的點被稱作相關向量（Relevance Vectors），體現了數據中最核心的特徵。同支持向量機相比，相關向量機最大的優點就是極大地減少了核函式的計算量，並且也克服了所選核函式必須滿足Mercer條件的缺點。
特點
1. SVM 基於結構風險最小化原則構建學習機，RVM基於貝葉斯框架構建學習機
2. 與SVM相比，RVM不僅獲得二值輸出，而且獲得機率輸出
3. 在核函式的選擇上，不受梅西定理的限制，可以構建任意的核函式
4. 不需對懲罰因子做出設定。在SVM中懲罰因子是平衡經驗風險和置信區間的一個常數，實驗結果對該數據十分敏感，設定不當會引起過學習等問題。但是在RVM中參數自動賦值
5. 與SVM相比，RVM更稀疏，從而測試時間更短，更適用於線上檢測。眾所周知，SVM的支持向量的個數隨著訓練樣本的增大成線性增長，當訓練樣本很大的時候，顯然是不合適的。雖然RVM的相關向量也隨著訓練樣本的增加而增加，但是增長速度相對SVM卻慢了很多。
6. 學習機有一個很重要的能力是泛化能力，也就是對於沒有訓練過的樣本的測試能力。文章表明，RVM的泛化能力好於SVM。
7. 無論是在回歸問題上還是分類問題上，RVM的準確率近似於SVM。
8. 但是RVM訓練時間短。
