2019年是人工智能医疗器械产业平稳发展的一年,技术创新与落地转化步伐继续加快。产业对于加速人工智能产品更新、缩短审批周期的需求日益强烈,而监管部门和公众对于保障产品安全有效、可信赖的要求也越来越高,因而世界各国纷纷加强人工智能伦理、技术标准和监管科学的研究,以提升公共服务和监管决策能力。在我国药品监管部门的领导下,根据国内外形势,中国食品药品检定研究院(以下简称中检院)在人工智能医疗器械的质量研究与标准化方面也开展了大量相关工作。
国内外行业发展现状
国外人工智能医疗器械种类和用途不断增加,在临床诊疗路径、健康干预和服务方面的作用走向多元化。根据公开信息,美国FDA已批准几十款人工智能医疗器械产品上市,包括计算机辅助诊断、辅助探测、辅助分诊等独立软件。另一方面,以智能硬件、智能快速重建等为代表的新产品呈现异军突起的态势,部分产品也已获批上市。人工智能的临床应用向过程导向发展,优化临床工作效率和服务质量,例如CT剂量优化、X光智能摆位、图像质控等用途。此外,人工智能本身作为技术手段,正在融入医疗器械的研发、生产、质量管理和医生的教育培训等各个环节,推动着传统有源医疗器械、医用机器人、可穿戴设备、移动健康产品、3D打印、药械组合产品等领域的“AI+”升级。
为顺应行业发展需求,国外人工智能医疗器械质量评价工作的趋势是灵活、经济、快速。以美国为例,近年来,美国的人工智能医疗器械产品申报中经常采用基于第三方测试集的算法验证、基于仿真数据和体模的算法验证等手段,降低对临床试验的依赖,而部分产品的审批周期缩短到了几个月。FDA在2019年发布了有关机器学习/人工智能医疗器械软件的产品变更监管框架讨论文章,聚焦产品迭代后的快速评价路径,这为业内提供了有益的启示。
我国的人工智能医疗器械行业同样延续着强劲的发展势头,技术突破和产品落地步伐加快。在国家各项利好政策的支持下,产学研用呈现百花齐放的可喜局面。国内算法研究与临床应用成果不断登上NatureMedicine、Cell等顶级期刊。国产AI产品的分析对象从过去常见的糖尿病视网膜病变(以下简称糖网)眼底照片、肺结节CT影像扩展到医学影像和医学信号的方方面面;产品形态由单一软件发展成各种通用、专用智能平台,并且与硬件、知识图谱等融合发展。国内企业在积极准备产品注册上市的同时,也在加速布局海外市场,在国内外各种重要会议和展览上体现中国力量。
标准化工作进展
人工智能医疗器械标准化技术归口单位的成立是我国人工智能医疗器械标准化工作的里程碑。作为战略新兴领域,国家药品监督管理局高度重视和支持人工智能医疗器械的标准化工作,在2019年3月份向社会公布归口单位组建方案,广泛征集各方意见,于2019年10月正式批复成立。归口单位专家组由来自高校、科研机构、生产经营企业、临床机构、检验、审评和监管等各个领域的优秀代表组成,包括中国科学院、中国工程院院士和一大批海内外知名专家学者。
人工智能医疗器械标准化归口单位受国家药品监督管理局管理,在人工智能医疗器械领域内从事全国性标准化工作,负责人工智能医疗器械通用标准、专用标准和其他标准制修订。中国食品药品检定研究院作为标准化归口的秘书处承担单位,为业界提供人工智能产品检验、数据库质量评价等全方位的服务和技术支持。
根据国家标准化改革、药品医疗器械审评审批制度改革的宏观形势和国内人工智能医疗器械产业现状,归口单位专家组遵循“四个最严”要求,兼顾创新需要,提出从基础共性问题出发,制定业内急需的标准规范,逐步建立和完善人工智能医疗器械的标准体系。在国家药监局的指导下以及专家组的努力下,我国首批人工智能医疗器械行业标准正处于紧张的研究与制订阶段,以《人工智能医疗器械质量要求和评价》标准序列为代表。该序列的《第1部分:数据集通用要求》(以下简称数据集标准)和《第2部分:术语》(以下简称评价术语标准)在2019年已获得立项,预计在2020年公开向社会征求意见。
制定数据集标准的目的是保障人工智能医疗器械所需的数据集质量,促进数据资源的科学有序开发,推动人工智能医疗器械产业健康发展。当前,我国正在大力推进数据集的建设,支持人工智能医疗器械的研发、监管等活动。由于数据集的质量对于人工智能算法性能、产品的安全有效有重要影响,有必要在起步阶段规范数据集的开发与质量管理过程,并对现有数据集开展评价,防范质量风险。数据集标准主要强调质量控制要素,明确数据集评价方法。该标准的适用范围包括人工智能医疗器械全生命周期使用的各种数据集,对于人工智能医疗器械企业自身的生产质量管理、供应商审核等环节和后续质量体系相关标准的制定有重要的支撑作用。
制定评价术语标准的目的是为人工智能医疗器械的质量评价提供统一的术语和定义,明确产品分类,对产品安全有效评价相关的方法、概念、指标进行规范,为质量评价工作提供依据。当前,国内外通用术语标准均处于大换版阶段,术语比较匮乏。除ISO/IEC2382:2015的基础IT术语涉及部分AI概念之外,ISO/IECJTC1/SC42国际人工智能分技术委员会的ISO/IECCD22989《Artificialintelligence-Conceptsandterminology》标准和我国国家标准《信息技术人工智能术语》均在制订中。评价术语标准涉及人工智能医疗器械安全性、有效性、风险和质量管理的方法和定义,供人工智能医疗器械专业领域内从事科研、生产、监督检验和临床应用等方面的技术人员使用。
在国际标准化方面,由中检院牵头的电气电子工程师协会(IEEE)人工智能医疗器械标准工作组在2019年3月正式启动,成员单位来自国内外产业、科研与监管领域,包括美国FDA、西门子、飞利浦和腾讯、依图、百度等代表。该标准由我国专家提出,是在国际上率先立项的人工智能医疗器械标准,现已初步完成标准草案的制定。我们将在凝练国内外共识、加强国际合作的基础上,与国内行业标准共同推进,用中国智慧惠及全球产业。
产品检验与质量研究工作进展
2019年,国内人工智能医疗器械产品的检验工作继续稳步推进,也面临更多挑战。继2018年出具国内首批糖网产品性能检验报告之后,中检院在本年度出具了国内首批肺结节产品的性能检验报告,实现了病灶检出、分类、区域分割、尺寸测量等算法功能和相关指标的量化评价,宣告以CT为代表的三维医学影像AI产品质量评价取得阶段性成果,为其他放射影像类AI产品的质量评价和相关标准的制订提供了有益的参考。截至目前,已有几十家企业依托中检院糖网、肺结节标准数据集,开展了算法性能验证,部分产品进入临床试验阶段,为产品落地打下了良好基础。
相较于2018年以糖网、肺结节为代表的批量集中产品,2019年新产品呈现多元化、差异化趋势,在预期用途、功能、病种和数据模态等方面各有特色,而检验用标准数据集尚未建立,制约着算法性能评价。为解决此类共性瓶颈问题,中检院与国内知名医院、临床机构和科研团队合作,把质量控制的理念融入数据集的建设,共同加强质量管理。目前,中检院团队在超声、心电、PET-CT等方向深入开展工作,助力国内相关数据集的建设和质量保障,也为相关标准的制修订积累实践经验。
为了探索和丰富产品质量评价手段,中检院团队立足于丰富的医疗器械检测经验与历史积累,从多个角度开展了以下工作。
第一,在检验方法学方面,中检院团队综合运用各种技术手段,依托现有临床数据,开展了面向眼底相机、CT和心电等模态的对抗测试,前瞻性地模拟AI产品在真实世界中面临的挑战,评估产品的鲁棒性与泛化能力,增加质量评价的维度。目前,对抗测试研究的部分成果已经在国内学术期刊发表,向社会公开。一些方法已运用于日常检验,作为对现有检验方法的补充,有助于提高企业对产品质量的认识。
第二,在质量评价策略方面,中检院团队与临床专家紧密合作,从人工智能产品全生命周期质量控制的理念,结合产品技术验证的实践经验,共同提出医学影像AI产品的临床在用质控框架,秉持人员、设备、数据集、评价方法和实验环境等角度探讨人工智能产品临床部署后如何开展质量管理与日常质控,解析了人机比对、超预期使用、不良事件识别与响应等业内关注的热点问题,以临床视角扩展了产品质量评价的内涵。
第三,在新产品评价方面,中检院团队面向AI+可穿戴设备、临床辅助决策系统(CDSS)、影像流程优化等热点方向深入开展了标准评估和文献分析,对产品的特殊风险、评价策略进行了整理,在承担新产品检测任务的同时,也向业内分享了研究成果和质量认识,起到了答疑解惑的作用。
目前,中检院团队形成了包括软硬件测试、算法性能验证、数据集质量控制与评价、对抗测试在内的人工智能医疗器械检测体系,服务对象来自企业、医院、科研机构等各个领域。在现有成果基础上,中检院团队在2019年度成功申报多个科技部重点研发计划课题和省部级课题,正在建设国家级医学人工智能产品全生命周期检测平台,支持一系列开放式医学标准数据集的建设,致力于全面提升对监管、产业、使用环节的技术支撑和服务能力。
我们看到,越来越多的产品完成了算法验证,距离落地更近一步。人工智能医疗器械标准化技术归口单位正式成立,将充分行使作为“国家队”的职责,发挥跨学科人才优势,调动社会各方力量,有力推动我国人工智能医疗器械标准化进程。首批人工智能医疗器械行业标准已经立项,将和我国主导的IEEE人工智能医疗器械标准共同推进,为国内外产业健康发展贡献力量。
2020年已经到来,人工智能医疗器械的质量评价与标准化研究还会面临更多的机遇与挑战。相信在产学研用各界群策群力、精诚合作的基础上,我国将不断取得突破,为人工智能医疗器械产业的高质量发展提供更多的保障,科学稳健地驾驭人工智能为人民健康服务。
(作者单位:中国食品药品检定研究院)