诊断试验的一致性检验,这么多方法,全都搞清楚了吗?


聊起诊断试验那可是应用相当广泛:评价两种方法或仪器诊断结果是否一致 , 得用到诊断试验;看看两个大夫对同一群病人诊断是否一致 , 要用诊断试验;评价同一组患者前后两次诊断结果的一致性 , 还得用到诊断试验 , 等等......
简而言之 , 诊断试验关注的重点是“一致性” , 也就是说同一个体用两种仪器(方法/评价者)或前后两次时间进行观测 , 其结果在误差允许范围内是一致的 。 评价一致性程度的方法很多 , 比如说Kappa值、Kendall一致性系数、组内相关系数(ICC)等等 , 但是选对合适的方法却不容易 , 接下来就帮大家梳理一番!
配对χ2检验 vs. 一致性检验检验(McNemar检验)和Kappa一致性检验都可以用于配对设计的列联表分析(表1) , 例如 , 比较超声和CT平扫对于急性阑尾炎的诊断价值 , 但是两者却各有侧重 。
诊断试验的一致性检验,这么多方法,全都搞清楚了吗?
本文插图


(1) 两者计算方法不同

诊断试验的一致性检验,这么多方法,全都搞清楚了吗?
本文插图


由①②③可知在计算Kappa过程中 , 会利用到四格表中全部的数据(a、b、c、d) , 而公式④表明配对χ2检验只利用了四格表中“不一致”的数据(b和c) 。 (2) 两者提供的信息不同
一致性检验不仅可以明确两种方法是否存在一致 , 更重要的是可以计算Kappa值 , 进而评价一致性的程度 。 目前认为 , Kappa<0 , 一致性强度极差(实际情况下发生可能性较低);0-0.20 , 微弱;0.21-0.40 , 弱;0.41-0.60 , 中度;0.61-0.80 , 高度;0.81-1.00 , 极强 。
检验只能给出两种方法阳性(或阴性)检出率的差异是否具有统计学意义 , 但配对卡方检验掩盖了一个问题 , 即它对两种方法阳性(或阴性)检出率不区分真阳性(真阴性)和假阳性(假阴性) 。 事实上我们更想知道两种方法都检出真正病人或者非病人一致性如何 , 这里就凸显了Kappa的重要性 。 详细操作戳以下链接:SPSS详细操作:一致性检验和配对卡方检验 / SPSS操作:一致性检验 , 如何计算kappa值?
【诊断试验的一致性检验,这么多方法,全都搞清楚了吗?】加权Kappa和Kendall’ Tb系数
除了上面提到的无序分类变量 , 实际过程中我们还会遇到一些有序分类资料(等级资料)的结果(表2) , 比如化验结果的“-、±、+、++、+++” , 这时候就需要用到加权Kappa系数和Kendall’ Tb系数来评价诊断试验的一致性 。

诊断试验的一致性检验,这么多方法,全都搞清楚了吗?
本文插图


加权Kappa系数是简单Kappa系数的推广 , 是用加权的方法对两个评价结果进行量化 。 较早的时候推送过一篇介绍加权Kappa的文章:SPSS操作:有序分类变量的一致性检验——加权kappa , 还不熟悉的伙伴 , 可以再回去温习一下 。
这里着重聊聊Kendall’ Tb系数[1] , 该系数是一种非参数方法 , 可以用来评价两组有序分类资料的一致性 。 基本原理是将两组测量值分别排序并转换成秩次 , 检查两组数值的排序是否一致 , 如果两组的排序完全相同 , 则Tb=1 , 如果两组排序完全相反 , 则Tb=-1 。 还是以“加权Kappa的SPSS操作”的例子介绍一下如何实现Kendall’ Tb系数 。
某医院拟分析不同放射科医生对疾病严重程度诊断的一致性 。 现招募两位放射医生(Radiologist 1和Radiologist 2)分别判断50位受试者的MRI检查结果 , 并给予Grade I(最轻)到Grade V(最重)五个等级的临床诊断(数据库中Grade I→Grade V分别赋值为1~5) 。 部分数据如下:

诊断试验的一致性检验,这么多方法,全都搞清楚了吗?
本文插图



SPSS中依次选择Analyze → Correlate → Bivariate → 显示“Bivariate Correlations”主对话框(如下图)→ “Variables”框中放入“Radiologist 1和Radiologist 2” → 选定“Kendall’s tau-b” → OK

诊断试验的一致性检验,这么多方法,全都搞清楚了吗?
本文插图



结果显示 , Kendall’ Tb系数=0.815 (P<0.001) , 与加权Kappa系数 (0.803, P<0.001) 结果较为接近 , 均提示两位放射科医生对50位受试者疾病严重程度的诊断具有较高的一致性 。

诊断试验的一致性检验,这么多方法,全都搞清楚了吗?
本文插图


配对t检验/相关性分析
vs.
组内相关系数(ICC)
上面聊了分类变量的一致性检验 , 那么遇到连续变量(表3)怎么办?多数小伙伴一上来就要用相关分析和配对t检验进行处理 , 实际上这两种方法都不能对“是否具有一致性”进行判断 , 为啥呢?且听我慢慢道来 。

推荐阅读