训练数据集方面,研究者使用的是包含南非三个省355名确诊为RR-TB患者的临床和全基因组测序数据,其中包含129种不同的耐药谱,由一组6名具有耐药结核病治疗经验的临床医生使用结构化的在线调查对推荐的治疗提供反馈。模型性能评估结果显示,P@1为89%,mAP为53%,MRR为90%。
接下来,专家组经过讨论后对原型进行修改。比如,不同药物功效的量化特征由最初的单一特征变为三个。基于这些结果,针对更新后的模型进行第二轮临床医生反馈收集。反馈结果为三个性能参数均有所提升:P@1从89%提升至95%,mAP从53%提升至69%,MRR从90%提升至97%。
到第三轮反馈后,模型性能不再有所改善,P@1和MRR稳定在95%,mAP在70%左右。P@1提升至95%,表明对可接受方案进行正确建议的比例提升。MRR表明,平均来看,第一个可接受方案在多轮反馈后排名较高,在第3轮后略有下降。结合MMR和P@1的提升来看,虽然模型仍然存在错误,但已经不那么严重了。最后,MAP的变化表明,三轮反馈后,平均来看,所有被接受方案的排名都较高,这表明模型正在学习构成良好治疗方案的潜在特征。
为了进行外部验证,模型使用了一个包含另一省份64位RR-TB患者独特耐药谱的数据集。在这个外部验证集中,模型性能较低,P@1为78%,mAP为68%,MRR为87%(Table 2)。经过评估及改进,专家小组认为,再多几轮反馈收集可能也不会再大大改善其性能。
03
新的治疗推荐
CDSS仍需进一步性能参数评估
当前,机器学习和神经网络等人工智能方法已被纳入个性化医疗框架中,以了解预后特征与个体患者治疗失败风险之间的复杂和非线性关系。比如,在该研究中,研究者们开发的治疗推荐CDSS,它结合了基于反馈收集的知识驱动方法和基于机器学习的数据驱动方法,使得个性化治疗更为自动、智能。
新的治疗推荐CDSS有望帮助医生为患者开出最佳治疗方案,但要在临床环境中真正实施需要几个步骤。首先,要在世界不同地区的临床试验中利用该模型的其他性能参数对其进行评估,以确定其在个性化医疗现实决策中的准确性。其次,保障措施要到位,因为CDSS始终只是辅助决策工具,并不能替代临床专业知识和判断。最后,理想的治疗推荐CDSS应当具备易于使用的界面,比如医务人员可以通过安全的移动应用交流治疗建议。
研究者同时也指出,虽然新模型拥有很多优势,包括结合了数据和知识驱动、使用“众包”方法进行治疗决策研究,以及高度的灵活性,但仍要注意其局限性。比如,其一,目前还没有共识方法来评估模型性能,也没有关于何时停止迭代开发过程的明确决策边界。其二,该模型是由有限的专家组负责开发的。
研究者们强调,虽然新的治疗推荐CDSS很有前景,但仍只是促进广泛实施个性化医疗的第一步。进一步的研究应评估其在耐药结核病以外领域的价值,开发可靠的统计方法来评估模型性能以及它们在现实临床环境中的准确性。
参考资料:
Verboven, L., Calders, T., Callens, S. et al. A treatment recommender clinical decision support system for personalized medicine: method development and proof-of-concept for drug resistant tuberculosis. BMC Med Inform Decis Mak 22, 56 (2022). https://doi.org/10.1186/s12911-022-01790-0
成为我们的
合作伙伴