Come calcolare un accordo inter-rater

Un accordo inter- rater è una misura di quanto le misure sono coerenti tra due o più osservatori (o " valutatori ") . Per esempio , i ricercatori medici usano spesso un gruppo di medici di osservare e classificare gli effetti di un esperimento trattamento. Misurare la coerenza tra gli osservatori è importante perché vogliamo essere sicuri che gli eventuali effetti che vediamo sono dovuti al nostro esperimento e non di grandi differenze tra gli osservatori . La statistica principale utilizzato per misurare accordo inter - rater è chiamato " kappa ". Istruzioni
1

Calcolo concordanza percentuale dividendo il numero di osservazioni che concordano sul numero totale di osservazioni . Si consideri l' esempio di un esperimento che coinvolge 100 pazienti sottoposti ad un trattamento per l'asma . Due medici sono invitati a classificare i pazienti in due categorie : controllate ( sì) o non controllate ( no) i sintomi dell'asma . I risultati potrebbero assomigliare a questa :

entrambi gli esaminatori Sì 70

Entrambi i valutatori N. 15

Rater # 1 Sì /Rater # 2 No 10

Rater # 1 n /Rater # 2 Sì 5

totali osservazioni : 100