2023人工智能大模型赋能医疗健康产业白皮书

来源：Boom Health | 发布时间：2023-12-06

摘要：白皮书集中梳理了国内外医疗健康大模型的最新态势及发展成果，尤其是技术体系、应用场景、风险挑战、评价和监管等方面的内容，旨在为我国医疗健康大模型技术和产业发展提供参考，共同推动技术研发创新，促进行业高质量发展。

近年来，人工智能大规模预训练模型（简称“大模型”）爆发式增长，生命科学和医疗健康是大模型等AI技术最重要的应用领域之一，大模型可赋能生命科学研究和新药研发，促进医疗器械创新，提升医疗智能化水平。

白皮书集中梳理了国内外医疗健康大模型的最新态势及发展成果，尤其是技术体系、应用场景、风险挑战、评价和监管等方面的内容，旨在为我国医疗健康大模型技术和产业发展提供参考，共同推动技术研发创新，促进行业高质量发展。

01 医疗健康大模型发展概述

（一）医疗健康大模型的概念和优势

人工智能大模型是“大数据+大算力+强算法”结合的深度神经网络模型，通过“预训练+微调”模式增强了人工智能的通用性、泛化性，带来人工智能研发新范式，成为迈向通用人工智能（Artificial General Intelligence）的重要技术路径。

医疗健康大模型面向复杂、开放的医疗健康场景，具有大数据、大算力、大参数等关键要素，可根据不同医疗健康任务，利用语言、视觉、语音乃至多模态融合的生物医学数据进行“预训练-微调”，从而为医疗健康领域提供高效、准确、个性化的服务和支持。

大模型技术的突破为医疗人工智能的发展注入新动力。相比传统执行特定任务的医疗Al模型，大模型具有如下优势和潜力：可应用于多个下游任务、可突破数据标注的困境、更加用户友好和易于使用、有望支持更加灵活的多数据模态组合运用、可更深入理解医学知识。

（二）医疗健康大模型的生态架构

医疗健康AI大模型的生态架构主要由“上游基础层-中游模型层-下游应用层”三层构成，其中，监管治理和安全能力贯穿于行业发展各领域和全过程。

人工智能大模型+医疗健康生态架构

• 基础层提供算力和数据支撑资源：支撑AI大模型研发和应用落地的必要资源，包括算力基础设施和数据基础设施。
• 模型层形成大模型研发、管理和运维体系：研发大模型、完成生物医学自然语言处理等任务，管理和运维主要包括系统管理、接口管理、数据处理等。
• 应用层实现药、械、医、健多场景触达用户：大模型首先赋能生命科学和药械研发，相关应用起步早、发展快、成果较为突出。同时，在医学影像、智能问诊、辅助诊疗、医保商保等方面的应用价值日益凸显。

02 医疗健康大模型的技术体系及演进

大模型有望成为通用医疗AI的核心技术和基础设施，未来医疗健康大模型可灵活解释不同医学模态组合，并输出更具表达的文本，如自由文本解释、口头建议或图像注释等。

基于不同预训练数据模态的基座模型快速发展，可完成自然语言处理、计算机视觉、图学习等多种任务，有效地应对生物医学数据的多样性、复杂性和高维性，促进领域创新和变革。

• 大语言模型（LLMs）：当前医疗健康大模型中数量最多、最为活跃的模型，用于生成医学文本、回答医学问题、提供医学建议等；
• 视觉大模型（LVMs）和视觉-语言大模型（VLMs）：快速发展，模型架构和性能有待持续探索和优化，用于识别医学图像、生成图像注释、合成图像等；
• 图学习大模型（LGMs）：有效应对生物序列数据的复杂性，实现生物分子结构、药物-靶点相互作用分析等多种功能，用于预测蛋白质结构、设计药物、分析基因组等；
• 语言条件多智能体大模型（LLMMs）：有望成为未来医疗机器人的心脏和基石，用于实现远程会诊、智能导诊、医疗机器人等；
• 多模态大模型（LMMs）：综合分析各类医学数据，实现架构、模态、任务统一，是实现临床落地和智能化价值的关键。

医疗健康大模型的类别和实例

总体而言，在生命科学与医疗领域应用大模型主要有四种技术范式，由难到易分别从头开始预训练、继续训练通用大模型、各种指令/任务微调和提示工程。当有大量数据、计算资源和专业知识时，可以从头开始或继续训练通用大模型，但成本相对昂贵，各种指令/任务微调和提示工程更具成本效益。不同范式可以单独或组合使用，以满足生命科学与医疗健康场景需求。

生命科学与医疗领域开发与应用大模型的四种范式

医疗健康大模型的发展路径可分为横向和纵向拓展。横向来看，业界出现以BERT系列、GPT系列、ViT系列为代表的基础模型，以及Megatron、Vicuna等其他模型系列。通过微调、提示工程等技术，基础模型可适应不同医疗任务，涌现出了大量以GPT、BERT为后缀的家族化医疗健康大模型。纵向来看，业界领先的医疗健康大模型的系列化升级和迭代是大势所趋，如Med-PaLM系列逐代升级，不断刷新医疗健康细分领域的最先进水平。

由于医疗健康数据和应用场景的复杂性，多模态、跨尺度的数据格式和处理需求推动了医疗健康大模型多模态融合发展。

• 跨领域知识融合：实现对多模态、多层次、多维度的生物医学数据的全面理解和综合分析；
• 跨任务知识融合：实现任务之间的知识迁移和共享；
• 跨模态知识融合：处理、生成包括文本、图像、声音、视频等在内的医疗健康数据。

目前多数医疗AI企业基于小模型模式，未来大模型和小模型将长期共存发展。AI模型参数并非越大越好，也并非所有场景都需部署大模型，满足业务场景需求、平衡成本和模型性能、便捷化部署、可靠足量数据获取等在实践应用中也十分重要。小模型更易在窄域场景实现较高精度，比如医疗影像分析等对精度要求高、对泛化能力要求低的场景更合适小模型，大模型更适合泛化和通用能力要求高的广域场景。

03 医疗健康大模型的应用场景

不同机构对医疗健康大模型的应用不一。科研院校多基于开源模型进行微调，以 LLaMA 为底座的模型呈引领之势；大型科技公司自研通用大模型，平台化赋能生命科学与医疗健康行业发展；药械医健类企业具有行业数据优势，以调用接口或基于开源模型自研方式切入。

具体应用时，可以大致分为生命科学、药械研发、医学影像、智能问诊、辅助诊疗、医疗记录和行政管理、个人健康管理、医保、医学教育几大领域：

• 生命科学：发展较为成熟，起步早、模型数量较多，迭代发展快。可完成蛋白质语言理解和生成任务、赋能DNA/RNA等生命组学计算、辅助生物医学研究开发工作等。
• 药械研发：服务于药品和器械从研发到上市的各个环节，包括药物发现、临床前研究、临床试验、注册申请、上市后再评价等。
• 医疗问答和智能问诊：以对话方式回答用户的医疗健康问题，提升问诊准确性和智能化。
• 辅助诊疗和临床决策：预测疾病风险、生成诊断和治疗建议，为临床决策提供支持。
• 个人健康管理：帮助个人在非医院场景中解决健康问题，推动个人健康管理迈向主动化、个性化、智能化。
• 医疗保险：助力医疗保险数据处理自动化和信息咨询，落地场景向智能核保核赔延伸。
• 医学教育：模拟不同类型的病人与医生进行对话，带来提高学生知识、技能和能力的新机会。

04 医疗健康大模型面临的风险与挑战

医疗健康大模型在提高诊疗效率和精准度方面具有巨大潜力，但同时也面临着一系列风险与挑战。

• 技术风险：大模型“幻觉”成核心问题，模型准确性、可靠性有待提升，同时，大模型缺乏可解释性和透明度，难以取得用户的信任。
• 落地挑战：大模型预训练缺乏高质量医疗数据集，可能出现偏差和过度代表性，训练成本高昂一定程度制约了医疗应用落地。此外，大模型会引发新的权责问题，问责制仍待探讨完善。
• 数据安全和隐私：大模型训练数据具有多种不同来源，存在隐私泄露风险，同时需要应对网络数据安全风险。
• 伦理道德问题：大模型会强化医疗领域偏见现象，加剧歧视和社会不公平性；有可能生成有害内容，传播虚假、错误的信息。

05 医疗健康大模型的评价验证和监管治理

基础通用的大模型信息安全标准开始起步制定，应用于严肃医疗时，需要提出适用于不同细分领域、不同规模企业的最佳实践，并形成标准、指南和规范。目前，在健康领域的平台建设规范开始有所探索，如中国信通院牵头成立生命科学与大模型工作组，中国通信标准化协会推动医疗健康大模型行业系列标准研制等。

然而，医疗大模型评估以学术数据集为主，无法衡量大模型在现实世界中的表现，需要开发建立动态评价体系，以满足医疗大模型不断发展的能力评估需求。政策和监管方面，需要促发展与防风险并重，为医疗大模型监管治理奠定良好基础，更好应对质量控制、数据来源、适应性等诸多挑战。

06 医疗健康大模型发展建议

医疗健康大模型的发展需要加快医疗大模型基础研究和技术研发，在技术自主创新基础上，推进医疗大模型数据库和算力设施建设，夯实产业持续发展基础；同时，发挥医疗大模型应用场景纽带作用，推动产业转化，完善医疗大模型公共服务体系，营造更具活力的创新生态环境；最后，需要构建动态、实用的评价体系，建立健全医疗大模型监管机制，保障行业规范有序、高质量发展。