纳入环境数据能否提升CDS识别儿童哮喘风险的能力?

2022-5-25

哮喘是一种慢性气道疾病,在美国影响超过500万儿童,每年有超过一半的哮喘儿童会出现急性加重,其中有1/6会到急诊室就诊,每20人中有1人因哮喘加重需要住院。哮喘加重由多种临床和环境因素引发,但这些因素的相互作用及其对恶化风险的影响尚不清楚。

 

近期发表在BMC Medical Informatics and Decision Making的一项研究,探索了开发临床决策支持(CDS)工具的潜力,以识别在30天、60天和180天期间哮喘发作高风险的儿童。评估了EHR中提取的临床数据,及空间和时间分辨的环境数据对儿童哮喘恶化预测模型性能的影响,并表明空间和时间数据没有显着提高模型性能。

临床、空间、时间三方面数据关联纳入评估

该研究使用杜克大学卫生系统(DUHS)的回顾性数据进行的,DUHS包含一家三级保健医院、两家社区医院以及初级保健网络专业诊所的EHR系统,基于EHR的临床研究数据集市(clinical Research Datamart)提取了阶段时间的临床数据,确定了6395名(5-18岁)患有哮喘的儿童,根据相应条件,最终5982名儿童纳入研究分析。研究采用临床数据与空间数据、时间数据的所有预测变量相关联,评估模型在预测儿童哮喘恶化方面的效用。以下为各方数据提取来源:

 

临床数据:从EHR中提取每个孩子的临床和社会人口学信息,包括性别、年龄、种族、保险类型、合并症、药物处方。

 

空间数据:根据患者地址得出社区层面的环境数据。通过每个孩子的居住地邮政编码和美国社区调查的相关数据,来计算医疗保健研究与质量机构(AHRQ)的社会经济地位指数(SES);使用ArcGIS计算数据集中每个地理编码地址到道路的直线距离。

 

时间数据:从美国环境信息中心下载了每日平均气温、总降水量等气候数据;从美国环境保护署下载了最大二氧化硫读数等空气质量数据;还从环境质量部下载了花粉数据;以及通过提取当月每天进行流感检测的次数来计算季节性流感负担等。

EHR中提取的临床数据

赋予模型预测性能更多价值

研究者使用LASSO、随机森林和xgBoost构建Person-Month预测模型,由5组不同的预测变量(所有预测变量、时间因素、临床因素、空间因素、简约模型)训练出15个不同模型,在三个不同的时间范围(30天、90天和180天),预测儿童哮喘恶化的风险。通过计算预测事件发生率和曲线下面积(AUC)来比较不同模型的性能。

 

研究结果显示,所有模型的短期预测性能优于长期,xgBoost模型的性能名义上优于使用LASSO或随机森林的模型。在评估时间、空间和临床因素对模型预测恶化风险的相对贡献时发现,无论采用何种建模方法,临床因素赋予了模型预测性能更多价值,时间因素赋予的预测价值偏低,空间因素的预测价值最小。以随机森林预测模型30天时间范围内的结果为例:基于临床因素模型AUC=0.741,基于时间因素模型AUC=0.608,基于空间因素模型AUC=0.502,简约模型AUC=0.672。

使用不同建模方法预测不同时间范围和变量集的哮喘发作AUC

此外,研究构建的方便患儿和其父母提供必要信息的简约模型,用来评估不同类型数据对模型性能的贡献。由于xgBoost模型的性能结果更优越,文章重点介绍了xgBoost模型的结果。经比较,简约模型30天时间范围AUC=0.664,使用所有数据元素的整体模型30天时间范围AUC=0.761,基于临床因素模型30天时间范围AUC=0.742,故简约模型在30天内哮喘恶化的预测性能不如整体模型和基于临床数据的模型。同时也发现,临床因素模型比起简约模型,在所有时间范围内的预测性能都更具优势。

不同建模方法创建的整体模型、临床模型和简约模型的比较

180天范围内模型决策规则指标

性能更好

最后,研究使用了基于临床数据的每个模型评估了决策规则的性能,以指导临床决策支持。通过计算Precision-Recall曲线来评估决策的影响,并评估不同切点的敏感性和阳性预测值。这强调了在将风险模型转化为决策支持工具时考虑事件发生率的重要性。

 

对于30天的时间范围,如果我们希望敏感度约为70%,使用xgBoost模型的PPV仅为2.9%;如果在180天的时间范围,PPV则约为13.8%。同样,如果在180天的时间范围内获得一个约15%的PPV,那么敏感度为66.2%;而在30天时间范围内的敏感度则为1.5%。因而,基于敏感性和PPV的决策规则指标在长期即180天时间范围内更好。

三个不同时间范围内的敏感性和阳性预测值之间的关系

最后,研究者表示无法考虑所有可能对哮喘恶化产生重大影响的变量,包括药物补充数据、室内环境和直接呼吸道病毒暴露。未来的研究将需要评估当前研究中无法包含的变量的重要性,并评估本研究中开发的模型对来自其他卫生系统的患者群体的可移植性。

参考资料:

Hurst, J.H., Zhao, C., Hostetler, H.P. et al. Environmental and clinical data utility in pediatric asthma exacerbation risk prediction models. BMC Med Inform Decis Mak 22, 108 (2022). https://doi.org/10.1186/s12911-022-01847-0

成为我们的

合作伙伴

医院演示预约
提交以下真实信息,我们将尽快联系您