Statistics-cohen-kappa-coefficient

統計-コーエンのカッパ係数

• Cohenのカッパ係数*は、定性的（カテゴリ）項目の評価者間合意を測定する統計です。 kは偶然の一致を考慮に入れるため、単純なパーセント一致の計算よりも堅牢な尺度であると一般に考えられています。 Cohenのカッパは、それぞれN個のアイテムをC個の相互に排他的なカテゴリに分類する2人の評価者間の合意を測定します。

Cohenのカッパ係数は、次の関数で定義および指定されます。

式

$ \ {k = \ frac \ {p_0-p_e} \ {1-p_e} = 1-\ frac \ {1-p_o} \ {1-p_e}} $

どこ-

• $ \ {p_0} $ =評価者間で観察された相対的な一致。
• $ \ {p_e} $ =偶然一致の仮説的確率。

$ \ {p_0} $および$ \ {p_e} $は、観測データを使用して計算され、各カテゴリをランダムに言っている各観測者の確率を計算します。 評価者が完全に一致している場合、$ \ {k} $ = 1です。 偶然に予想されるもの（$ \ {p_e} $で与えられる）以外に評価者間で合意がない場合、$ \ {k} $≤0です。

例

問題文：

助成金を申請する50人のグループに関連するデータを分析しているとします。 各助成金の提案は2人の読者によって読み上げられ、各読者は提案に対して「はい」または「いいえ」と言った。 不一致カウントデータが次のとおりであるとします。AとBは読者であり、左斜めのデータは一致のカウントを示し、右斜めのデータは不一致を示します。

B

Yes

No

A

Yes

20

5

No

10

15

コーエンのカッパ係数を計算します。

溶液：

リーダーAとリーダーBの両方によって承認された20の提案と、両方のリーダーによって拒否された15の提案があったことに注意してください。 したがって、観測された比例一致は

$ \ {p_0 = \ frac \ {20 + 15} \ {50} = 0.70} $

$ \ {p_e} $（ランダムな一致の確率）を計算するには、次のことに注意してください。

• 読者Aは25人の応募者に「はい」、25人の応募者に「いいえ」と言った。 したがって、読者Aは50％の割合で「はい」と答えました。
• 読者Bは、30人の応募者に「はい」、20人の応募者に「いいえ」と言った。 したがって、読者Bは60％の割合で「はい」と答えました。

式P（AおよびB）= P（A）x P（B）を使用します。ここで、Pはイベントが発生する確率です。

両方がランダムに「はい」と言う確率は0.50 x 0.60 = 0.30で、両方が「いいえ」と言う確率は0.50 x 0.40 = 0.20です。 したがって、ランダムな一致の全体的な確率は$ \ {p_e} $ = 0.3 + 0.2 = 0.5です。

Cohenのカッパに式を適用すると、次のようになります。

$ \ {k = \ frac \ {p_0-p_e} \ {1-p_e} = \ frac \ {0.70-0.50} \ {1-0.50} = 0.40} $