风险评估系统开发流程图
主要综合不良结果预测
逻辑回归算法模型性能最好,AUROC值为0.794
在对住院死亡率、出院后48小时内死亡率、主要器官损伤等主要综合不良结果的机器学习模型预测中,逻辑回归、SVM和lightGBM的敏感性均达到0.710;SVM具有最高的特异性,为0.716,其次是KNN,为0.711。除KNN外,所有模型都展示了较高AUROC值,介于 XGBoost的0.734(95% CI:0.636~0.831)到逻辑回归的最高值0.794(95% CI:0.718~0.869)之间。
7种算法模型预测主要综合不良结果的性能情况
术后入住ICU预测
逻辑回归算法模型性能最好,AUROC值为0.856
在对ICU入院的模型预测中,MLP和逻辑回归算法模型的敏感性最高,分别为0.812、0.792。此外,逻辑回归、lightGBM和随机森林具有最高的特异性和准确性,特异性分别为0.791、0.769、0.760;准确性分别为0.760、0.769、0.791。除了KNN和SVM,所有模型的AUROC值都在XGBoost的0.825(95% CI: 0.772~0.878)到逻辑回归的最高值0.856(95% CI:0.804~0.908)之间。
7种算法模型预测术后入住ICU的性能情况
住院时间延长(PLOS)预测
随机森林算法模型性能最好,AUROC值为0.854
在对PLOS的模型预中,随机森林和lightGB与其他算法模型相比具有更高的敏感性和特异性,敏感性分别为0.783、0.767,特异性分别为0.783、0.774。此外,随机森林算法模型的预测性能最好,AUROC值为0.854(95% CI:0.818~0.890)。
7种算法模型预测PLOS的性能情况
AI术前风险评估系统预测性能
显著高于传统使用的ASA-PS系统
基于以上算法模型预测性能的分析结果,使用以逻辑回归算法模型开发的AI术前风险评估系统分析主要综合不良结果和术后入住ICU,使用以随机森林算法模型开发的系统分析PLOS,并与广泛使用的ASA-PS系统预测性能进行比较。
结果表明,基于机器学习算法的AI术前风险评估系统较ASA-PS系统,在主要结果和次要结果的预测上都有显著更高的灵敏度、特异性、准确性和预测性能(AUROC)。例如在主要综合不良结果和术后入住ICU方面,逻辑回归开发的AI评估系统的AUROC评分分别为0.794、0.856,而基于ASA-PS系统的则分别为0.629、0.692。
AI术前评估系统与ASA-PS系统
在主要结果和次要结果方面预测性能的比较
此外,研究还对2020年7月至2021年4月麻醉医师使用机器学习算法开发的AI系统的满意度进行了评分统计,通过数据了解到,满意度得分从使用第一个月的3.21±0.51分上升到第10个月的4.70±0.56分,且应用启动后第4个月开始得分显着升高(P < 0.01)。
最后研究者总结,髋关节修复手术术前风险评估系统比传统的ASA-PS分层方法能更有效、更准确地评估与髋关节手术相关的风险。同时,根据研究结果也指出,尽管麻醉医师已经肯定了AI术前风险评估系统的在线应用,但没有观察到对降低不良结局、ICU入院率和PLOS的发生率有显著影响,因而,需要更长的观察时间和更多的患者群体来证明它的有效性。
参考文献:Li, YY., Wang, JJ., Huang, SH. et al. Implementation of a machine learning application in preoperative risk assessment for hip repair surgery. BMC Anesthesiol 22, 116 (2022).
成为我们的
合作伙伴