Calculateur d’accord entre évaluateurs : kappa de Cohen et CCI

Name: Calculateur de kappa de Cohen et CCI
Author: Richard Injante

Mesurez l’accord entre évaluateurs avec le kappa de Cohen (simple et pondéré) ou le coefficient de corrélation intraclasse, avec intervalles de confiance.

Contenu vérifié par Richard Injante Édité par SolucionesAhora.com Mis à jour le 08/10/2026 Comment nous vérifions

Données de la calculatrice

Saisissez vos données, ou cliquez sur « Voir un exemple » pour voir comment ça marche.
Si votre cas est particulier, ouvrez « Options avancées ».
Lisez le résultat puis, dessous, ce qu’il signifie et comment il a été calculé.

Type de mesure

Le kappa de Cohen sert quand les deux évaluateurs classent en catégories (sain ou malade, grade 1 à 4…). Le coefficient de corrélation intraclasse (CCI) sert quand ils mesurent une quantité numérique (un score, une mesure en millimètres…), avec deux évaluateurs ou plus.

Tableau d’accord (effectifs)

Une ligne par catégorie de l’évaluateur A et une colonne par catégorie de l’évaluateur B, avec le nombre de cas de chaque combinaison. Le tableau doit être carré. Vous pouvez mettre les noms des catégories sur la première ligne. Exemple 2×2 : « 20 5 » et « 10 15 » signifie que les deux disent « oui » dans 20 cas, A dit « oui » et B « non » dans 5, etc.

Lignes : évaluateur A · colonnes : évaluateur B

Mesures (sujets × évaluateurs)

Chaque ligne est un sujet (ou cas) et chaque colonne un évaluateur ; tous doivent avoir mesuré tous les sujets. Vous pouvez mettre les noms des évaluateurs sur la première ligne. De 2 sujets et 2 évaluateurs jusqu’à 2 000 lignes.

Une ligne par sujet, une colonne par évaluateur

Modèle du CCI

Cela dépend du choix des évaluateurs. « Évaluateurs aléatoires, accord absolu » (ICC 2) est le choix habituel si vous voulez généraliser à d’autres évaluateurs et compter les biais entre eux. « Évaluateurs fixes, cohérence » (ICC 3) ignore les écarts systématiques entre évaluateurs. « À un facteur » (ICC 1) sert quand chaque sujet a été mesuré par un groupe différent d’évaluateurs.

Options avancées

Pondération (facultatif)

Avec des catégories ordonnées (grade 1 à 4), se tromper d’une catégorie n’est pas la même chose que de trois. Le kappa pondéré accorde un crédit partiel aux désaccords proches : linéaire (proportionnel à la distance) ou quadratique (pénalise davantage les grands ; équivalent au CCI). Pour des catégories sans ordre, laissez « sans pondération ».

Unité de mesure (facultatif)

« Une mesure » est la fiabilité d’un évaluateur individuel (le choix habituel pour décider si l’on peut se fier à une seule mesure). « Moyenne des évaluateurs » est la fiabilité de la moyenne de tous, toujours plus élevée.

Niveau de confiance (facultatif)

Les intervalles sont calculés à ce niveau. 95 % est la norme.

Voir le résultat

Résultats

Kappa de Cohen0,400

IC du kappa : inférieur0,151

IC du kappa : supérieur0,649

Niveau d’accordpassable

Accord observé (%)70

Accord attendu par hasard (%)50

Erreur type du kappa0,1270

PABAK (kappa ajusté à la prévalence et au biais)0,400

Kappa maximal possible avec ces totaux0,800

Valeur pp = 0,004

Totaux par catégorie
Catégorie	Évaluateur A (total)	Évaluateur B (total)	Concordent
1	25	30	20
2	25	20	15

Voir le calcul étape par étape

n = 50 ; catégories = 2 ; erreur type = 0,1270 ; p = 0,004 (test de κ = 0)
Kappa maximal possible avec ces totaux = 0,800

En bref

Ce qu’il calcule: Mesurez l’accord entre évaluateurs avec le kappa de Cohen (simple et pondéré) ou le coefficient de corrélation intraclasse, avec intervalles de confiance.
Formule appliquée: Po = Σ w_ij p_ij Pe = Σ w_ij p_i· p_·j κ = (Po − Pe) / (1 − Pe)
Exemple: Exemple 1. Kappa de deux évaluateurs.

Calculateur de kappa de Cohen et CCI

Quand deux personnes (ou deux méthodes) classent ou mesurent la même chose, il faut savoir dans quelle mesure elles concordent au-delà du hasard. Le pourcentage d’accord ne suffit pas : avec deux catégories, même des évaluateurs répondant à pile ou face concorderaient une fois sur deux.

Pour des catégories (sain ou malade, grades 1 à 4), utilisez le kappa de Cohen : il corrige l’accord du hasard et, si les catégories sont ordonnées, admet une pondération. Pour des mesures numériques, avec deux évaluateurs ou plus, utilisez le coefficient de corrélation intraclasse (CCI), sous la forme qui correspond à votre plan d’étude. Le calculateur donne les intervalles de confiance et le niveau d’accord selon les repères usuels. Tout se passe dans votre navigateur.

Comment ça marche

Le kappa compare l’accord observé (Po) à celui attendu par hasard (Pe) d’après les totaux de chaque évaluateur : κ = (Po − Pe) / (1 − Pe). Il vaut 1 pour un accord parfait, 0 si l’accord est celui du hasard et il est négatif s’il est pire. Dans la version pondérée, les désaccords entre catégories proches comptent moins.

Le CCI divise la variabilité entre sujets par la variabilité totale, calculées par une analyse de variance. Il existe six formes selon que les évaluateurs sont les mêmes pour tous les sujets, qu’ils sont vus comme un échantillon ou comme fixes, qu’on exige un accord absolu ou seulement une cohérence, et qu’on rapporte la fiabilité d’un évaluateur ou celle de leur moyenne.

Formule

Po = Σ w_ij p_ij Pe = Σ w_ij p_i· p_·j κ = (Po − Pe) / (1 − Pe)
w_ij = 1 si i = j et 0 sinon (simple) ; 1 − |i − j|/(k − 1) (linéaire) ; 1 − ((i − j)/(k − 1))² (quadratique)
Erreur type (Fleiss, Cohen et Everitt, 1969) : var(κ) = [Σ p_ij (w_ij − (w̄_i· + w̄_·j)(1 − κ))² − (κ − Pe(1 − κ))²] / (n (1 − Pe)²)
IC = κ ± z × ET PABAK = (k·Po − 1) / (k − 1)
Repères (Landis et Koch) : < 0 pire que le hasard · 0–0,20 très faible · 0,21–0,40 passable · 0,41–0,60 modéré · 0,61–0,80 important · > 0,80 quasi parfait
CCI(1,1) = (CMR − CMD) / (CMR + (k−1)·CMD)
CCI(2,1) = (CMR − CME) / (CMR + (k−1)·CME + k(CMC − CME)/n)
CCI(3,1) = (CMR − CME) / (CMR + (k−1)·CME) les formes « k » (moyenne) remplacent le dénominateur par CMR (ou CMR + (CMC − CME)/n pour le CCI 2)
Repères du CCI (Koo et Li) : < 0,50 faible · 0,50–0,75 modérée · 0,75–0,90 bonne · > 0,90 excellente

Exemple résolu

Exemple 1. Kappa de deux évaluateurs.
Deux médecins classent 50 radiographies comme « normale » ou « anormale ». Ils concordent sur 20 « normales » et 15 « anormales » et divergent sur 15. L’accord observé est de 70 % et le hasard donnerait 50 %, donc κ = 0,40 (erreur type 0,127 ; IC à 95 % de 0,151 à 0,649) : un accord passable, pas bon, même si 70 % peut sembler élevé.

Exemple 2. Le paradoxe du kappa.
Sur 100 cas, deux évaluateurs concordent sur 90, mais presque tous sont du même type (85 concordent sur « oui », 5 sur « non »). L’accord observé est de 90 %, mais le hasard donnerait déjà 82 %, donc κ = 0,444, seulement modéré. Quand une catégorie est très fréquente, le kappa baisse même avec un accord élevé ; dans ce cas, rapportez aussi le pourcentage d’accord et le PABAK (0,80).

Exemple 3. CCI de six sujets et quatre juges.
Les données classiques de Shrout et Fleiss (1979) : six sujets notés par quatre juges. Le CCI(2,1) vaut 0,290 (IC à 95 % de 0,019 à 0,761), faible, car les juges diffèrent beaucoup dans leur niveau moyen. Le CCI(3,1), qui ignore ces écarts systématiques, vaut 0,715 (de 0,343 à 0,946). Mal choisir la forme change la conclusion : il faut donc la justifier.

Explication

Pourquoi le pourcentage d’accord ne suffit pas

Avec deux catégories, deux évaluateurs répondant au hasard concorderaient environ une fois sur deux. Le pourcentage d’accord mélange l’accord réel et celui qui survient par hasard. Le kappa retire cette part et mesure l’accord au-delà du hasard.

Kappa de Cohen : comment le lire

**1** est un accord parfait, **0** l’accord du hasard et les valeurs négatives indiquent moins d’accord que le hasard.
Repères de Landis et Koch (1977) : très faible jusqu’à 0,20 ; passable jusqu’à 0,40 ; modéré jusqu’à 0,60 ; important jusqu’à 0,80 ; quasi parfait au-delà. C’est une convention, pas un critère strict.
Regardez l’intervalle de confiance, pas seulement la valeur : avec peu de cas, il peut être très large.
**Kappa pondéré** : pour des catégories ordonnées. Le quadratique équivaut au CCI et est le plus courant.
**Paradoxe du kappa** : quand une catégorie est très fréquente, ou que les évaluateurs utilisent les catégories avec des fréquences très différentes, le kappa est bas même avec un accord élevé. Comparez-le au pourcentage d’accord et au PABAK.

CCI : choisir la bonne forme

**ICC 1** : chaque sujet a été évalué par un groupe différent d’évaluateurs.
**ICC 2** : les mêmes évaluateurs mesurent tous les sujets et sont vus comme un échantillon d’évaluateurs possibles ; l’accord absolu compte (il inclut les biais entre eux). Le choix habituel.
**ICC 3** : les évaluateurs sont les seuls d’intérêt (fixes) ; seule la cohérence compte, c’est-à-dire classer les sujets de la même façon même si l’un note toujours plus haut.
**Une mesure ou la moyenne** : la première pour décider si un seul évaluateur est fiable ; la seconde si, en pratique, vous utiliserez la moyenne de tous.
Repères de Koo et Li (2016) : sous 0,50 faible ; jusqu’à 0,75 modérée ; jusqu’à 0,90 bonne ; au-delà, excellente. Ils s’appliquent à l’intervalle de confiance, pas seulement à la valeur.

Erreurs fréquentes

Ne rapporter que le pourcentage d’accord.
Utiliser le kappa simple avec des catégories ordonnées au lieu du pondéré.
Choisir la forme du CCI sans la justifier (le résultat change).
Prendre les repères de Landis et Koch pour un critère absolu.
Comparer des kappas entre études à prévalences très différentes.

Limites de ce calculateur

Le kappa ici concerne deux évaluateurs ; pour trois ou plus, il faut le kappa de Fleiss, non inclus.
Le CCI exige que tous les évaluateurs mesurent tous les sujets ; les données manquantes ne sont pas admises.
L’intervalle du kappa est l’asymptotique de Fleiss, Cohen et Everitt ; il est approché pour des tableaux à peu de cas.
Les intervalles du CCI supposent des mesures à peu près normales.
Il n’inclut pas le graphique de Bland-Altman, utile pour voir le biais entre deux méthodes.

Avis

Il s’agit d’une estimation. Pour une publication, vérifiez les chiffres avec votre logiciel de statistique et justifiez le choix du modèle.

Questions fréquentes

Qu’est-ce que le kappa de Cohen ?

Une mesure de l’accord entre deux évaluateurs sur des catégories qui retire l’accord attendu par hasard. Il va de −1 à 1 ; 1 est un accord parfait et 0 l’accord du hasard.

Quel kappa est jugé bon ?

Avec les repères de Landis et Koch, de 0,61 à 0,80 est important et au-delà de 0,80 quasi parfait. C’est une convention : certains domaines cliniques exigent davantage.

Quand utiliser le kappa pondéré ?

Quand les catégories sont ordonnées (grade 1 à 4) : un désaccord entre grades voisins pèse moins qu’entre extrêmes. Avec des catégories sans ordre, utilisez le simple.

Pourquoi mon kappa est-il bas alors que nous concordons presque toujours ?

C’est le paradoxe du kappa : si presque tous les cas tombent dans une catégorie, le hasard explique déjà presque tout l’accord. Rapportez aussi le pourcentage d’accord et le PABAK.

Quelle forme du CCI choisir ?

La plus courante est celle à deux facteurs à effets aléatoires et accord absolu (ICC 2). Si les évaluateurs sont fixes et que seul l’ordre des sujets compte, celle de cohérence (ICC 3). Justifiez-la dans le rapport.

Quelle différence entre CCI d’une mesure et de la moyenne ?

Celui d’une mesure est la fiabilité d’un évaluateur seul ; celui de la moyenne, celle de la moyenne de tous, toujours plus élevée. Rapportez celui qui correspond à votre usage de la mesure.

Quel CCI est jugé excellent ?

Koo et Li proposent : moins de 0,50 faible, 0,50 à 0,75 modérée, 0,75 à 0,90 bonne et plus de 0,90 excellente, en appliquant les repères à l’intervalle de confiance.

Mes données sont-elles envoyées à un serveur ?

Non. Le calcul se fait dans votre navigateur.

Sources et références

La formule de ce calculateur n’est pas de nous. Voici les sources dont elle provient, au format APA 7, si vous souhaitez consulter l’original ou les citer dans un travail.

Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46. https://doi.org/10.1177/001316446002000104 https://doi.org/10.1177/001316446002000104 La définition du kappa de Cohen.
Fleiss, J. L., Cohen, J., & Everitt, B. S. (1969). Large sample standard errors of kappa and weighted kappa. Psychological Bulletin, 72(5), 323–327. https://doi.org/10.1037/h0028106 https://doi.org/10.1037/h0028106 L’erreur type du kappa, simple et pondéré.
Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174. https://doi.org/10.2307/2529310 https://doi.org/10.2307/2529310 Les niveaux d’accord (très faible, passable, modéré, important, quasi parfait).
Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428. https://doi.org/10.1037/0033-2909.86.2.420 https://doi.org/10.1037/0033-2909.86.2.420 Les trois formes du CCI et leurs intervalles ; les données de l’exemple viennent de cet article.
Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155–163. https://doi.org/10.1016/j.jcm.2016.02.012 https://doi.org/10.1016/j.jcm.2016.02.012 Le guide pour choisir le modèle du CCI et les niveaux faible, modérée, bonne et excellente.

Envie de calculer autre chose ?

Ces outils sont souvent utilisés avec cette calculatrice.