評分者信度（scorer reliability），指的是多個評分者給同一批人的答卷評分的一致性程度。在由客觀性試題組成的心理測驗中，答案具體而固定，無需考察評分者信度；但在投射測驗、道德判斷測驗、創造性思維測驗等測驗的評分中，答案並不固定，評分時必然摻雜有主觀判斷因素，因此在評定這些主觀性題目時，評分者之間的變異是產生誤差的重要原因之一。因此，需要考察評分者信度。
考察評分者信度的方法是：隨機抽取相當份數的試卷，由兩位或多位評分者按記分規則分別給分，然後根據每份試卷的分數考察評分的一致性。主要評分方法包括皮爾遜積矩相關法、斯皮爾曼等級相關法以及肯德爾和諧係數法，一般要求在成對的受過訓練的評分者之間平均一致性達到0.90分以上，才認為評分是客觀的。
基本介紹
- 中文名：評分者信度
- 外文名：inter-rater reliability
- 別稱：評定者信度
- 係數標準：0.90分
- 估計方法：積矩相關，等級相關，和諧係數
- 套用：創造力、投射和道德判斷測驗，等
概念,必要性,計算與考察方法,兩位評分者,多個評分者,補充,
概念
評分者信度（scorer reliability）指的是多個評分者給同一批人的答卷評分的一致性程度。
必要性
1）重測信度、複本信度和分半信度的評估方式都適用於客觀測驗，即分數評定完全客觀化的測驗。然而，當測驗評分不是那么客觀時，還可以使用其它信度方式。例如，對於同一篇作文，不同的評定者傾向於給不同的分數，或者不同的面試官可能會在結構化面試中將同一個面試者評定為不同的分數等級。在這種情況下，可以通過運用皮爾遜積矩相關或等級相關來計算兩個評定者之間的相關而得到信度值。這種信度評估方式被稱為評定者信度或評分者信度(inter-rater reliability）。
2）在由客觀性試題組成的心理測驗中，答案具體而固定，無需考察評分者信度。但在投射測驗、道德判斷測驗、創造性思維測驗等測驗的評分中，答案並不固定，評分時必然摻雜有主觀判斷因素，因此，需要考察評分者一致性係數。
1983年的一項研究顯示：從北京隨機抽取高中語文、政治、數學、物理各5份卷子複印以後到全國各省，請各地區閱卷組分別評分，其結果是不同地區、不同閱卷組、不同閱卷老師之間差異相當大，語文同一份試卷的最大差異竟達33分。
4）對一些無法完全客觀記分的測驗來說，評分者之間的變異也是誤差的重要來源。比如測量創造力的發散思維測驗以及測量人格的投射測驗，在評分時都摻有主觀判斷成分。對於這類測驗，除需要通常的信度估計外，還需要評分者信度的度量。
5）除非記錄錯誤，否則不同的評分者對某一個體在客觀性測驗上的計分應該是一致的。但是，對於短文或者口語測試，以及其它的評價性判斷（人格評分、投射測驗計分）而言，計分過程往往相當主觀。評價性計分包含了評分者的主觀判斷，不同的評分者在多大程度上能夠對不同的受測者和項目的反應結果在評分、或者其它數量指標上達成一致，知道這一點是非常重要的。
計算與考察方法
判斷評分者信度（intercourse 或 interrater reliability）最常見的辦法就是讓兩個人對一定數量的受測者的反應結果進行計分，然後多個人同時對多個受測者的反應進行計分。最後一種辦法得到的是組內係數（intraclass coefficient），或者稱和諧係數（coefficient of concordance），它是更加概括化的評分者信度係數。
考察評分者信度的方法是：隨機抽取相當份數的試卷，由兩位或多位評分者按記分規則分別給分。然後根據每份試卷的分數考察評分的一致性。
兩位評分者
如果只有兩位評分者，計算其評分的相關係數，即得評分者信度。一般要求在成對的受過訓練的評分者之間平均一致性達到0.90分以上，才認為評分是客觀的。
多個評分者
當多個評分者評多位評分對象，並以等級法記分時，還可以採用肯德爾和諧係數作為評分者信度的估計，公式如下：
其中，K是評分者人數，N是被評的對象數（通常是考生數，每個考生一份試卷），
是第i個被評對象（考卷）被評的水平等級之和。
當評分者（K）為3-20人，被評對象（N）為3-7人的小樣本時，可利用肯德爾和諧係數來考察W是否達到顯著水平。如果求得的W值大於表中所列的相應數值，就說明評分是較為一致的。
當N大於7時，則可計算χ2值並作χ2檢驗[χ2=K(N-1)W,df-=N-1]，如果χ2值達到顯著水平，則W值也算達到顯著水平。
若評分中有相同等級出現，則要使用以下公式計算求W值：
其中，n為相同等級的個數，其他指標與上述公式中的指標含義相同（上述公式如下）：
