摘要：商汤医疗在2024世界人工智能大会上宣布与六家顶尖医院合作，共同启动医疗多模态大模型赋能的智慧医院创新示范项目。该项目旨在通过商汤医疗的“大医”大语言模型作为智慧医院的中枢大脑，提升医疗数据分析与诊断能力，实现跨科室、跨模态的复杂诊断推理。同时，商汤医疗还发布了国内首个病理大模型PathOrchestra，该模型利用海量多模态数据训练，能够高效进行病理图像分析，赋能多项临床任务，并在多项任务中表现出色。这一举措标志着智慧医院建设迈入3.0时代，为医疗行业的智能化升级提供了新的动力。
2024世界人工智能大会（WAIC）期间，商汤医疗宣布携手六家医院，在行业内率先启动医疗多模态大模型赋能的智慧医院创新示范共创。
距了解，本次参与医院括瑞金医院、华西医院、新华医院、西京医院、中科大附属第一医院和北京清华长庚医院，共同作为打造由大模型“智慧中枢”驱动的智慧医院建设示范样板。
商汤科技副总裁张少霆表示，2.0时代的医疗人工智能主要集中在“单点应用”上，尚未实现整体‘一盘棋’布局。“在3.0时代，我们希望利用医疗大模型帮助医院建立一个‘中枢大脑’，实现对智慧医院建设的底层赋能。”
在提升医疗大模型综合分析多模态数据能力方面，商汤医疗已与上述6家医院达成合作，各方将以商汤医疗大语言模型“大医”作为智慧医院建设“中枢大脑”，智能调度覆盖医学文本、放射影像、病理图像等多种数据模态的专用模型，辅助医生完成跨科室、跨模态的复杂诊断推理。
在构建多模态能力过程中，张少霆进一步表示，“通才”模型方面，“大医”的基座模型“商量”已实现语言理解和交互能力全面升级，此前在中文大模型测评基准SuperCLUE中刷新了国内最好成绩，成为首个超越GPT-4 Turbo的国产大模型。得益于此，“大医”的逻辑推理和智能问答等“通才”能力再度实现飞跃。
与此同时，“专才”模型研发方面，商汤医疗已推出一系列精通不同模态医学图像分析的领域专用模型，通过“通专融合”的路径打造“医疗多模态智能体”，高效助力智慧医院建设“一盘棋”布局，帮助医院实现多场景全方位智能升级。
作为医疗多模态大模型联合共创的首批成果之一，WAIC期间，商汤医疗联合中华医学会病理学分会王哲副主委团队、清华大学何永红教授团队，共同发布了国内首个病理大模型PathOrchestra。
该大模型利用国内规模最大的近30万张全切片数字病理图像（近300TB数据）数据集训练，并融合了文本、视频等多模态训练数据。通过对海量数据的自监督学习，无需大量精标注数据，即可让模型“触类旁通”学会分析各类器官病理图像，已覆盖肺、乳腺、肝脏、食管等20余种器官，赋能包括泛癌分类、病灶识别和检测、多癌种亚型分类、生物标志物评估等在内的百余项临床任务，已在多器官泛癌分类、淋巴瘤亚型诊断、膀胱癌筛查等近50项任务中准确率超过95%，这也是目前全球赋能临床任务最广的病理大模型。
中华医学会病理学分会副主任委员、中国医师协会病理医师分会副会长王哲表示，PathOrchestra是一首由视觉模型、大语言模型以及多模态数据共同奏响的协奏曲，“希望这首协奏曲能够奏出美好的曲调，为中国乃至世界的广大患者的病理诊断做出更好的服务。”
据悉，为推动大模型技术在病理诊断中的应用，商汤医疗已打造大模型驱动的数智化病理科整体解决方案，串联切片数字化扫描、高性能阅片、AI智能辅助诊断、数据存储等病理智慧化诊断全流程，在病理大模型赋能下可支持百余种临床辅助诊断任务，还可适配众多品牌扫描仪及存储设备，实现千人并发秒级无卡顿调阅，满足多院区病理智能分析需求，开启大模型赋能下的病理诊断“新篇章”。