性能度量

性能度量是衡量機器學習模型泛化能力的評價標準，其選擇直接影響模型能力的評判結果。該標準通過量化指標反映模型預測準確性，包括查準率（預測正例的正確機率）與查全率（實際正例被正確預測的機率），以及調和兩者關係的F1度量。在分類任務中還涉及混淆矩陣、ROC曲線（以真正例率和假正例率評估排序性能）及AUC值（ROC曲線下面積作為分類模型評判指標）。

根據任務類型不同，性能度量分為回歸與分類兩類指標：前者涵蓋均方誤差、平均絕對誤差及R平方值；後者包含錯誤率、精確率及代價敏感錯誤率。實際套用中需結合場景特性選擇度量標準，例如商品檢測強調查準率以保障預測可信度，批量分類需平衡查全率與假正例率。評估時建議採用交叉驗證提升可靠性。

基本介紹

• 中文名：性能度量
• 外文名：performance measure

最常見的性能度量

查準率、查全率與F1

在異常檢測的機器學習模型中，如圖1所示，1表示檢測為正常(positive)，0表示檢測為異常(negative)。那么，查準率(precision)是預測為正例的樣本中預測正確的機率；查全率(recall，亦稱召回率)是正例樣本被預測正確的機率。顧名思義，對於檢測正常(檢測1)的查準率越大，檢測為正常的樣本越可信；查全率越大，檢測出來的正常樣本越多。對於檢測異常(檢測0)也是一個道理。以信息檢索為例，根據檢索結果中感興趣詞條和不感興趣詞條可以計算precision，根據檢索結果中感興趣詞條和所有感興趣詞條數目(包括未檢索出來的) 可以計算recall。

F1度量

F1是基於precision與recall的調和平均(harmonic mean):

混淆矩陣

關於2分類的混淆矩陣如圖2所示。True positive(TP)中P是指預測為正例，T是指預測正確； False negative(FN)中N是指預測為反例，F是指預測錯誤。

圖2

ROC與AUC

學習器對測試樣本的評估結果一般為一個實值或機率，設定一個閾值，大於閾值為正例，小於閾值為負例，因此這個實值的好壞直接決定了學習器的泛化性能，若將這些實值排序，則排序的好壞決定了學習器的性能高低。ROC曲線正是從這個角度出發來研究學習器的泛化性能，ROC曲線與P-R曲線十分類似，都是按照排序的順序逐一按照正例預測，不同的是ROC曲線以“真正例率”（True Positive Rate，簡稱TPR）為橫軸，縱軸為“假正例率”（False Positive Rate，簡稱FPR），ROC偏重研究基於測試樣本評估值的排序好壞。

TPR與FPR

下表說明P、R與TPR、FPR的對比。同時，我以判斷西瓜好壞為例（正例是預測為好瓜，反例是預測為壞瓜），簡要說明其作用。

假設，我是買家，我想要買一個好瓜。那么，我要考慮學習器的準確率，以保證買到的更可能是好瓜。

假設，我是商戶，我想把一批西瓜分成好壞兩類 方便定不同的價格。那么，我要考慮學習器的查全率，以保證好瓜都能賣高價。

假設，我是水果店HR，我想招一個員工來做 西瓜分好壞的工作。那么，我要考慮員工(學習器)的真正例率越高越好，但是挑出的好瓜越多，就會使壞瓜被誤判為好瓜的錯誤越多(假正例率越高)，顧客就會不滿意。