这项研究揭示基于真实世界的AI辅助DR筛查的准确性

2021-9-9

全球有超过4.3亿人患有糖尿病,而视网膜病变是糖尿病常见的并发症。根据人口和患病率预测,未来20年需要进行糖尿病视网膜病变(DR)常规视网膜筛查的人数将增加一倍,这可能使全球眼科领域工作人员供需不平衡的现状更加严峻。

近期,发表在《科学报告》(Scientific Reports)的一项研究对澳大利亚内分泌专科诊所和土著医疗机构中,AI辅助DR筛查模型的诊断性能、可行性和最终用户体验展开评估,进而验证真实世界中AI对视网膜图像自动分析的准确性以及各方满意度。

 

据报道,在澳大利亚非土著人口中,依从推荐的DR筛查指南的患者比例低至77.5%,土著人口中的比例更是仅为52.7%。这使得原本发病率就比非土著人口高几倍的土著人口中出现晚期DR的可能性显著增加。

 

为了遏制与糖尿病相关的视力下降日益普遍的趋势,澳大利亚政府推出新政策,允许非眼科保健专业人员进行DR筛查,但这种做法并没有达到最理想的效果。原因是,非眼科保健专业人员缺乏时间和信心来监测与DR相关的视网膜特征。而AI辅助系统提供了潜在的解决方案——即对视网膜进行快速准确评估。

 

利用不同的视网膜相机模型、成像协议,AI对视网膜图像进行自动分析在多个种族中已经被证明具有很高的准确性。但对AI辅助筛查存在的最大争议是,虽然国际上很早就已经有了在真实世界中使用基于AI的DR筛查系统的经验,但总体上仍然缺乏充分的证据来探索这些系统成功实施的基础因素,以及对该技术有第一手经验的终端用户(患者、临床医生和组织利益相关者)的满意度。

 

该研究调查评估了DR筛查AI模型在真实世界——澳大利亚医疗保健环境中的诊断性能、可行性和最终用户体验。评估包括两部分:其一,使用AI系统进行患者DR筛查的前瞻性研究;其二,对参与筛查的卫生专业人员进行深入访谈。

 

2018年3月至2019年5月,在澳大利亚的2个内分泌科室和3家土著医疗服务机构就诊的18岁以上1型(T1DM)或2型(T2DM)糖尿病患者,被邀请参与这项前瞻性研究。参与者的每只眼睛都拍摄了清晰的45度(黄斑中心)非立体彩色视网膜图像,这些图像被立即上传到自动AI筛查系统的离线版本上进行评分,并为参与者生成和打印分级报告,报告包括DR状态和转诊建议(图1)。

http://www.huimei.com/real/img/_@@_16311598338428586.jpg

图1 AI筛查系统生成的样本分级报告

由于本研究中所使用的自动AI筛查系统可同时筛查DR、年龄相关性黄斑变性(AMD)和青光眼。因此,也可转诊DR、AMD或青光眼阳性患者;或转介任何一只眼睛的视力评估值<6/12(20/40)(即澳大利亚驾驶标准)的患者到验光师或眼科医生。

 

筛查完成后,参与者会完成一份修改版的客户满意度问卷(CSQ-8),以收集总体满意度的数据,以及他们再次使用AI筛选服务的可能性。

 

为了确定AI筛查模型的准确性,所有视网膜图像由两名National Health Screening(NHS)认证的视网膜分级员使用NHS糖尿病眼病筛查指南进行手动分级。作为参考标准,如果在任何一只眼睛中检测到增殖前DR或更糟(相当于早期治疗DR研究严重程度量表的水平≥43)和/或DMO,则诊断为可参考DR。任何分歧都由两位视网膜专家裁决。并通过电话联系被识别为假阴性参与者(即AI系统没有报告任何一只眼睛的DR,但随后在人工评分中被检测到),并建议他们去看验光师或眼科医生。

 

共有236名患者参与该项研究,其中174名来自内分泌科,62名来自土著医疗服务机构,203名(86%)被纳入分析。未纳入分析的33名参与者(14%),因小瞳孔(n=21,63.6%)、白内障(n=7,21.2%)、视力不佳(n=2,6.1%)、技术问题(n=2,6.1%)和角膜病痕(n=1,3%)等原因被排除在初步分析外。

 

研究过程中,AI系统可转介DR的曲线下面积、敏感性和特异性值分别为0.92、96.9%和87.7%,在最好和最坏的情况下,敏感性可低至85.9%,特异性可低至76.1%(图2)。参考标准与指标检测诊断有51项不一致,其中29项被手工评定为不可分级,21项为假阳性,1项为假阴性。共有28名参与者(11.9%)因新的眼部表现而被转诊,只有15名(53.6%)能联系上并确定是否转诊或自我观察报告,其中9名(60%)坚持转诊,并接受验光或眼科服务。

http://www.huimei.com/real/img/_@@_16311598222363071.jpg

图2 糖尿病视网膜病变诊断的准确性

在207名完成满意度调查问卷的参与者中,93.7%的人表示满意或非常满意,93.2%表示很可能或非常可能再次使用这项服务。2位参与者表示非常不满意,另2位表示不太可能再使用这项服务。这些参与者没有提供不满的原因。

 

医疗专业人员和相关健康筛查人员均表示,AI系统易于使用,实时生成报告对患者和专业人员都有好处,而且很容易解释。支持AI系统有效性和可靠性的证据将增强人们对这些系统的接受和信任,比如当前研究中使用的系统。而由临床医生验证结果以这一点也将增加他们对系统的信心。

 

他们同时表示,AI系统作为一种加强对眼病检测和诊断的工具,在眼睛保健方面具有重要地位,特别是为了满足越来越多需要进行眼病筛查的患者的需求。AI系统也被认为可以减轻眼保健专业人员的负担,并提高眼保健操服务的效率。

 

本研究前瞻性地评估了内分泌科和土著医疗服务机构的机会性AI辅助DR筛查模型的诊断准确性。这项研究是迄今为止全球首次从患者、临床医生和组织利益相关者的角度调查AI的体验和接受程度的研究之一。

 

研究最终表明,AI辅助DR筛查模型是准确的,并且在内分泌科、本土医疗机构患者和临床医生中接受度良好。但需要强调的是,未来对AI辅助DR筛查模型的应用部署中,应当更多考虑患者下游转诊途径。

 

值得一提的是,本研究中所使用的自动AI筛查系统的每种算法都使用从基于网络的云资源平台(www.labelme.org)获得的20多万张视网膜图像进行训练。这些视网膜图像来自中国的眼科门诊、眼光诊所和筛查机构,并使用不同的视网膜相机模型拍摄(Topcon、Canon等)。

原文链接:

https://doi.org/10.1038/s41598-021-94178-5

成为我们的

合作伙伴

医院演示预约
提交以下真实信息,我们将在一个工作日内联系您
*姓名
*部门
*医院名称
*手机号

即刻预约