Table 6.
Rater 1 intra-rater agreement: Cohen’s kappa with 95% confidence intervals and criteria percentage agreement (n = 20 except *n = 19, ** n= 18).
Test
Criteria
Left-hand side
Kappa (95% CI)
Right-hand side
Kappa (95% CI)
Criteria agreement (%)
1
A
1.00
(1.00-1.00)
1.00
(1.00-1.00)
100.0
B
1.00
(1.00-1.00)
1.00
(1.00-1.00)
100.0
C
1.00
(1.00-1.00)
1.00
(1.00-1.00)
100.0
D
1.00
(1.00-1.00)
.83
(.50-1.00)
97.5
E
1.00
(1.00-1.00)
1.00 *
(1.00-1.00)
100.0
2
A
N/A
N/A
N/A
N/A
100.0
B
1.00
(1.00-1.00)
.83
(.50-1.00)
97.5
C
N/A
N/A
N/A
N/A
100.0
D
1.00
(1.00-1.00)
1.00
(1.00-1.00)
100.0
E
1.00
(1.00-1.00)
1.00
(1.00-1.00)
100.0
3
A
1.00 (1.00-1.00)
100.0
B
.88 (.64-1.00)
95.0
C
.64
(.01-1.00)
.64
(.01-1.00)
.64
4
A
1.00 (1.00-1.00)
100.0
B
N/A
N/A
N/A
N/A
N/A
C
.90
(.70-1.00)
.90
(.70-1.00)
.90
D
.83 *
(.50-1.00)
.83 *
(.50-1.00)
.83 *
5
A
N/A
N/A
N/A
N/A
100.0
B
.89 *
(.69-1.00)
.88 **
(.65-1.00)
94.6
C
.83 *
(.50-1.00)
.87 *
(.63-1.00)
94.7
D
1.00
*
(1.00-1.00)
.00 *
N/A
97.4
7
A
1.00
(1.00-1.00)
1.00
(1.00-1.00)
100.0
B
1.00
(1.00-1.00)
0.83
(.50-1.00)
97.5
C
1.00
(1.00-1.00)
0.64
(.01-1.00)
97.5
D
1.00 (1.00-1.00)
100.0
E
1.00
(1.00-1.00)
0.90
(.71-1.00)
97.5
8
A
1.00 (1.00-1.00)
100.0
B
.79
(.52-1.00)
.79
(.52-1.00)
.79
C
N/A
N/A
N/A
N/A
N/A
D
.61
(.11-1.00)
.61
(.11-1.00)
.61
9
A
1.00
(1.00-1.00)
.89
(.69-1.00)
97.5
B
1.00
(1.000-1.00)
1.00
(1.00-1.00)
100.0
C
.90
(.70-1.00)
.89
(.69-1.00)
95.0
D
1.000
(1.00-1.00)
1.00 *
(1.00-1.00)
100
E
1.000
(1.00-1.00)
1.00 *
(1.00-1.00)
100
10
A
1.00
(1.00-1.000)
1.00
(1.00-1.00)
100.0
B
1.00
(1.00-1.000)
1.00
(1.00-1.00)
100.0
C
.89
(.69-1.000)
.90
(.70-1.00)
95.0
D
.88
(.64-1.000)
.76 *
(.45-1.00)
92.3
E
1.00
(1.00-1.000)
.90
(.70-1.00)
97.5