Table 6. Rater 1 intra-rater agreement: Cohen’s kappa with 95% confidence intervals and criteria percentage agreement (n = 20 except *n = 19, ** n= 18).
Test Criteria Left-hand side Kappa (95% CI) Right-hand side Kappa (95% CI) Criteria agreement (%)
1 A 1.00 (1.00-1.00) 1.00 (1.00-1.00) 100.0
B 1.00 (1.00-1.00) 1.00 (1.00-1.00) 100.0
C 1.00 (1.00-1.00) 1.00 (1.00-1.00) 100.0
D 1.00 (1.00-1.00) .83 (.50-1.00) 97.5
E 1.00 (1.00-1.00) 1.00 * (1.00-1.00) 100.0
2 A N/A N/A N/A N/A 100.0
B 1.00 (1.00-1.00) .83 (.50-1.00) 97.5
C N/A N/A N/A N/A 100.0
D 1.00 (1.00-1.00) 1.00 (1.00-1.00) 100.0
E 1.00 (1.00-1.00) 1.00 (1.00-1.00) 100.0
3 A 1.00 (1.00-1.00) 100.0
B .88 (.64-1.00) 95.0
C .64 (.01-1.00) .64 (.01-1.00) .64
4 A 1.00 (1.00-1.00) 100.0
B N/A N/A N/A N/A N/A
C .90 (.70-1.00) .90 (.70-1.00) .90
D .83 * (.50-1.00) .83 * (.50-1.00) .83 *
5 A N/A N/A N/A N/A 100.0
B .89 * (.69-1.00) .88 ** (.65-1.00) 94.6
C .83 * (.50-1.00) .87 * (.63-1.00) 94.7
D 1.00* (1.00-1.00) .00 * N/A 97.4
7 A 1.00 (1.00-1.00) 1.00 (1.00-1.00) 100.0
B 1.00 (1.00-1.00) 0.83 (.50-1.00) 97.5
C 1.00 (1.00-1.00) 0.64 (.01-1.00) 97.5
D 1.00 (1.00-1.00) 100.0
E 1.00 (1.00-1.00) 0.90 (.71-1.00) 97.5
8 A 1.00 (1.00-1.00) 100.0
B .79 (.52-1.00) .79 (.52-1.00) .79
C N/A N/A N/A N/A N/A
D .61 (.11-1.00) .61 (.11-1.00) .61
9 A 1.00 (1.00-1.00) .89 (.69-1.00) 97.5
B 1.00 (1.000-1.00) 1.00 (1.00-1.00) 100.0
C .90 (.70-1.00) .89 (.69-1.00) 95.0
D 1.000 (1.00-1.00) 1.00 * (1.00-1.00) 100
E 1.000 (1.00-1.00) 1.00 * (1.00-1.00) 100
10 A 1.00 (1.00-1.000) 1.00 (1.00-1.00) 100.0
B 1.00 (1.00-1.000) 1.00 (1.00-1.00) 100.0
C .89 (.69-1.000) .90 (.70-1.00) 95.0
D .88 (.64-1.000) .76 * (.45-1.00) 92.3
E 1.00 (1.00-1.000) .90 (.70-1.00) 97.5