一个可用于临床的食管癌远处转移预测模型(APP)
最近将之前构建的一个预测食管癌远处转移模型制作成了APP(地址见文末),有一些思考,和大家分享如下:
1. 充分的说明
首先,对模型的效能要有充分的说明,便于用户判断该模型效能是否达到了一般的水准。该APP中展示了ROC曲线下面积,校准曲线和DCA分析的结果。ROC曲线下面积为0.822,说明这个模型达到了一般的水准。校准曲线靠近斜对角的理想曲线,代表这个模型预测的概率与实际的概率一致。DCA分析的结果是说使用这个模型筛选人群可以优于默认的(全检查和不检查)策略,可以总体上减少误诊误治的情况,或者说可以花费更小的代价筛选出同样多食管癌远处转移的患者;其次,对所涉及到的变量及其变量内的项目有充分的说明,方便用户构建和提交个人的待测数据。因为模型要求用户提交的数据和模型训练时候的变量的名称和它里边项目的名称都要保持一致。该APP中的演示模块目前提供的测试数据就是训练数据的测试集,展示了所需要数据集的结构和变量内项目的名称,就是为了对数据集信息进行充份说明。
2.有对决策阈值范围的估计
对模型使用临床决策分析可以获得一个决策阈值的范围,在这个范围内使用模型才可以获得临床收益的,接下来根据后续的临床措施的危害-效益比(cost-benefit ratio)来确定的具体的决策阈值。比如,此处我们用18F-FDG PET/CT作为后续的临床措施,PET/CT的危害是辐射、时间和经济成本,效益是筛选出食管癌的远处转移,如果认为这个PETCT用于检查食管癌远处转移的益处相对其危害是大的,决策阈值就可以设定的小一些,避免遗漏任何的真正有转移的病例,反之就设定的大一点。APP内放置了一个表格来查询决策阈值和危害-效益比之间的对应关系。
3.有明确的后续的措施
后续措施的危害效益比是确定具体的决策阈值的必要条件。有了这个决策阈值以后,我们才可以判断一个患者是否是高危险人群。值得一提的是,18F-FDG PET/CT和模型之间并没有紧密的联系,也就是说也可以换成后续的其它措施,而不用重新训练模型。
有的模型没有后续措施,比如预测患者死亡结局的模型,这样的模型就不是辅助的角色和作用,目前来看还没有进入临床的条件。
4.对预测模型的作用和能力有充分的认识
预测模型是作为一种辅助的手段,它的作用是用来筛选进行后续检查的高危人群,而不是代替医生的做具体的诊断。同时,可以看到就是无论阈值怎样调整,它都不可避免的会有假阳性和假阴性的病例出现,即使是结合了后续的PET/CT的检查,也同样会存在误诊误治的情况,所以不可对模型产生不切实际的幻想,比如认为其可以取代医生云云,但这也不代表这个模型的就不能在临床上使用,因为它毕竟是产生了一些临床效益,优于目前的策略,对患者人群总体来说是有益的。
APP访问地址:
https://liuyp2080.shinyapps.io/esophageal_cancer_m_stage_screening/