图1 结构化患者数据
为真实模拟临床环境、提高算法模型准确性,研究人员纳入了新加坡国立大学医院(NUH)5317名出院患者的病例数据,其中3722例数据用于AI模型的训练,1595例数据用于模型测试,同时根据6.15%的非ICU科室脓毒症发病率,将两组数据中脓毒症病例分别设定为240例、87例。在患者临床记录的关键信息挖掘上,研究人员使用自然语言处理(NLP)中的LDA算法(潜在Dirichlet分配),对病历文本进行分类、主题提取,从而提取出医患沟通、社会关系、临床症状等七个类别的病历信息,并结合图1中的结构化数据,构建起脓毒症诊断模型与预测模型。
02预测脓毒症风险的AUC为0.94
该研究的重点在于时间节点上的效果验证,研究人员根据NUH的诊疗要求,以医生每次会诊等发生的临床记录作为测试节点,以脓毒症患者转入ICU科室的时间点作为“发病时间”。利用AI模型进行以下测试流程:患者是否诊断为脓毒症,诊断为“否”的预测患者在未来4、6、12、24、48小时内发生脓毒症风险的可能性(图2)。
图2 AI模型运算流程
根据测试结果显示,AI模型在脓毒症诊断上的AUC为0.94,明显高于既往文献研究的0.64 ~ 0.92;在预测患者脓毒症风险上,AI模型的AUC从48小时前的0.87逐渐提升至12小时前的0.94(图3),反映AI模型在临床环境中应用的有效性。
图3 诊断算法与预测算法的测试结果
此外,针对AI模型的数据源(结构化数据/非结构化数据),研究人员进行了两种AI模型的性能比较。结果显示,两种AI模型对脓毒症的诊断能力相当,但在脓毒症风险预测上,纳入多维数据的AI模型性能明显高于仅纳入结构化数据的AI模型,以发病24h前预测结果为例,前者AUC值为0.9,后者仅为0.78(图4)。说明纳入非结构化数据有助于全面分析患者病情,提高AI模型性能。
图4 基于不同数据源的AI模型性能比较
03与医生预测能力比较 AI将早期检出率提高32%
该研究同时开展了与临床医生等的脓毒症风险预测能力比较。一是与系统性炎症反应综合征(SIRS)、器官功能衰竭评估(SOFA)、快速序贯器官衰竭评分(qSOFA)和改良早期预警评分(MEWS)四个临床实践中常用的评估系统进行比较,根据meta分析研究显示,这四种评估系统在患者确诊前4小时识别出脓毒症风险的AUC值为0.50 ~ 0.78(图5),明显低于AI模型的预测能力。
图5 临床评估系统与AI模型预测能力比较
此外,根据临床诊疗指南,医生一旦确定疑似脓毒症患者,需立即实施微生物培养等措施。该研究将医生下达相关申请的时间点作为医生识别出风险的节点,分析医生预测脓毒症患者的真阳性率与假阳性率。结果显示,医生在发病48小时前等不同节点对脓毒症患者的检出率仅为53%~65%,明显低于AI模型的78%~86%;另外,医生将非脓毒症患者预测为高风险患者的假阳性率为33%~27%,而AI模型可将假阳性率降低7%~17%(图6)。反映AI模型一方面可使更多的脓毒症患者得到检出并接受及时治疗,另一方面能够减少医疗资源的浪费。
图6 AI与临床医生的预测真假阳性率比较
研究人员在总结中指出,研究结果说明AI模型可以作为有效的脓毒症预警工具应用于临床中,但由于该研究的局限性,未来还需在不同医疗机构的临床环境中进行验证。
参考文献:
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7846756/
成为我们的
合作伙伴