图1 算法验证工作流程
研究者将患者数据去除种族、社会经济等标识,并排除一些不符合肿瘤筛查条件的患者,例如,接受过全结肠切除术或先前被诊断为结直肠癌的患者。随后将数据导入一个研究电子数据采集的软件REDCap,REDCap可提供用于验证数据采集的直观界面、跟踪数据操作与导出等功能,助力人工审查。
研究者开发的CDSS 以Epic Clarity 数据库中的标准化代码为基础,根据美国预防服务工作组推荐的癌症筛查指南(表1),自动对患者的筛查资格与依从性进行分类。在被归类为符合筛查条件的患者中,如果发现任何符合标准的癌症筛查事件,将被视为依从者;反之则是不依从。而人工审核团队亦使用同样的筛查指南。
表1 美国预防服务工作组的结直肠癌、乳腺癌和宫颈癌筛查指南
02
CDSS性能评估结果
宫颈癌灵敏度最高 乳腺癌特异性最高
在人工审核环节,由两组训练有素的团队分别评估REDCap中去标识的数据集,以确定患者是否符合肿瘤筛查条件与依从性。审核者对于无法确定结果的病例,将在Epic完整数据中进行全面审查,以作出最终决定。如果两个团队的判定产生分歧,必要时进行一轮新的完整数据图表审核,使每个分歧都产生确定结果。并创建人工审查数据集,与算法结果进行比较,计算出CDSS的灵敏度与特异性。
核查结果显示(表2),纳入结直肠癌筛查的305名患者中,3人因病史被排除,CDSS在进行患者筛查依从性分类时,灵敏度为79.5%(58/73),特异性为 91.7%(210/229)。这意味着CDSS准确识别了约80%依从肿瘤筛查指南的患者,但将约8%的不依从者错误归类为依从者。
而纳入乳腺癌筛查的298名患者中,3人因病史被排除,CDSS评估患者乳腺癌筛查依从性的灵敏度为69.9%(79/113),特异性为99.4%(176/177);纳入宫颈癌筛查的300名患者,6人因年龄原因被排除,CDSS评估的灵敏度为89.5%(94/105),特异性为96.8%(180/186)。值得一提的是,虽然乳腺癌的筛查标准最简单,但算法表现出的灵敏度最低,这可能与算法选择的CPT与ICD代码不是通用的乳腺X光检查代码列表。
表2 CDSS性能评估结果
研究者表示,鉴于此次研究中CDSS产生的高灵敏度与特异性,其用于确定患者肿瘤筛查指南依从性是有效的,有助于公共卫生资源的高效配置;且研究中使用的去标识化数据与验证数据自动提取技术可减少人工审核所需时间,减少决策偏差。
研究者同时指出,这项研究也存在一些局限性,因为研究人群只包括特定机构随机选择的患者,以及只就诊过一次的患者,所以部分患者的筛查史可能未记录在该机构中。此外,该算法只在一家医院的EHR系统上测试,其泛化性可能有限。但这些局限性并不影响验证算法本身的能力,反而强调了未来采用这种算法为公共卫生工作提供信息的关键考虑因素。
参考资料:Ajlm A , Jdk A , Sjr A , et al. Validation of rule-based algorithms to determine colorectal, breast, and cervical cancer screening status using electronic health record data from an urban healthcare system in New York City - ScienceDirect[J].
成为我们的
合作伙伴