使用不同建模方法预测不同时间范围和变量集的哮喘发作AUC
此外,研究构建的方便患儿和其父母提供必要信息的简约模型,用来评估不同类型数据对模型性能的贡献。由于xgBoost模型的性能结果更优越,文章重点介绍了xgBoost模型的结果。经比较,简约模型30天时间范围AUC=0.664,使用所有数据元素的整体模型30天时间范围AUC=0.761,基于临床因素模型30天时间范围AUC=0.742,故简约模型在30天内哮喘恶化的预测性能不如整体模型和基于临床数据的模型。同时也发现,临床因素模型比起简约模型,在所有时间范围内的预测性能都更具优势。
不同建模方法创建的整体模型、临床模型和简约模型的比较
180天范围内模型决策规则指标
性能更好
最后,研究使用了基于临床数据的每个模型评估了决策规则的性能,以指导临床决策支持。通过计算Precision-Recall曲线来评估决策的影响,并评估不同切点的敏感性和阳性预测值。这强调了在将风险模型转化为决策支持工具时考虑事件发生率的重要性。
对于30天的时间范围,如果我们希望敏感度约为70%,使用xgBoost模型的PPV仅为2.9%;如果在180天的时间范围,PPV则约为13.8%。同样,如果在180天的时间范围内获得一个约15%的PPV,那么敏感度为66.2%;而在30天时间范围内的敏感度则为1.5%。因而,基于敏感性和PPV的决策规则指标在长期即180天时间范围内更好。
三个不同时间范围内的敏感性和阳性预测值之间的关系
最后,研究者表示无法考虑所有可能对哮喘恶化产生重大影响的变量,包括药物补充数据、室内环境和直接呼吸道病毒暴露。未来的研究将需要评估当前研究中无法包含的变量的重要性,并评估本研究中开发的模型对来自其他卫生系统的患者群体的可移植性。
参考资料:
Hurst, J.H., Zhao, C., Hostetler, H.P. et al. Environmental and clinical data utility in pediatric asthma exacerbation risk prediction models. BMC Med Inform Decis Mak 22, 108 (2022). https://doi.org/10.1186/s12911-022-01847-0
成为我们的
合作伙伴