BiomedParse团队 投稿

量子位 | 公众号 QbitAI

用AI大模子一键解析MRI、CT和病理学等九大生物医学成像模式。

不仅复杂、不法例时局对象能高精度识别：

而且通过对象识别阈值建模，模子大要检测无效的请示申请，并在图像中不存在指定对象时拒却分割。

用户更是无需手动进行标注或规模框操作——

只需通过肤浅的临床谈话请示指定贪图对象，举例“肿瘤规模”或“免疫细胞”，便能让AI准确识别、检测并分割图像中的有关区域。

还可一次性同期分割和秀美扫数感趣味趣味的生物医学对象：

这等于来自微软、华盛顿大学等的照管团队最新发布的基础模子BiomedParse，已登Nature Methods。

医学图像的成像模式各别繁多（如CT、MRI、病理切片、显微镜图像等），传统上需要磨砺众人模子进行处理。

而BiomedParse，通过文本驱动图像解析将九种医学成像模式整合于一个长入的模子中，结伙预磨砺处理对象识别、检测与分割任务。

不管是影像级别的器官扫描，还是细胞级别的显微镜图像，BiomedParse齐不错径直期骗临床术语进行跨模式操作，为科学家和临床医师提供了更长入、更智能的多模式图像解析有贪图。

在分割不法例时局的生物医学对象方面，BiomedParse相较传统模子进展稀奇。通过将图像区域与临床见地关系，比较手动框选分割精度进步39.6%，提高了在要津任务中的可靠性。

现在，照管团队已将BiomedParse开源并提供Apache 2.0许可，有关演示demo和Azure API均已上线。

为接济BiomedParse的预磨砺，照管团队期骗GPT-4从45个公开的医学图像分割数据集生成了首个袒护对象识别、检测和分割任务的数据集BiomedParseData。

该数据集包含逾越600万个图像、分割标注与翰墨形色三元组，涵盖64种主要生物医学对象类型及82个细分类别，波及CT、MRI、病理切片等九种成像模式。

通过GPT-4的当然谈话生成能力，照管东说念主员将洒落在千般现存数据结伙的分割任务用长入的医学见地寝兵话形色整合起来，让BiomedParse能在更大，更千般的数据中交融交融。

在测试集上，BiomedParse在Dice总计上显赫突出了刻下最优法子MedSAM和SAM，况且无需对每个对象手动提供规模框请示。

即使在给MedSAM和SAM提供精确规模框的情况下，BiomedParse的纯文本请示分割性能仍能突出5-15个百分点。

此外，BiomedParse的性能还优于SEEM、SegVol、SAT、CellViT、Swin UNETR等多个模子，尤其在复杂不法例的对象识别上进展杰出。

生物医学图像中的不法例对象一直是传统模子的困难，而BiomedParse通过结伙对象识别和检测任务，通过文本剖析停止了对对象特定时局的建模。对复杂对象的识别精度远超传统模子，且在多模态数据结伙进一步突显了其上风。

预测将来，团队暗意BiomedParse领有无边的发展后劲，可进一步彭胀至更多成像模式和对象类型，并与LLaVA-Med等高档多模态框架集成，接济“对话式”图像分析，停止数据交互式探索。

论文共清除作及通信作家均为华东说念主学者，永诀来自微软和华盛顿大学。

赵正德（Theodore Zhao），论文一作，为该照管作出主要时期孝敬。

微软高档应用科学家，现主要照管主见包括多模态医疗AI模子，图像分割与处理，大模子的安全性分析。

本科毕业于复旦大学物理系，博士毕业于华盛顿大学应用数学系，时期照管希尔伯特-黄变换和分数布朗领略的多依次特征，以及随即优化在医疗鸿沟的应用。

顾禹（Aiden Gu），论文一作。

微软高档应用科学家。本科毕业于北京大学微电子与经济专科。

其照管主见专注于医疗健康、生物医学，以及机器东说念主多模态模子。代表性使命包括创建首个医学鸿沟特定的大谈话模子PubMedBERT，以及患者旅程模拟模子BiomedJourney。

潘海峰（Hoifung Poon），论文通信作家。

微软照管院健康将来（Health Futures）General Manager，华盛顿大学（西雅图）筹画机博士。照管主见为生成式AI基础照管以及精确医疗应用。在多个顶级AI会议上得回最好论文奖，在HuggingFace上发布的生物医学开源大模子总下载量已达数千万次，在《当然》上发表首个全切片数字病理学模子GigaPath，部分照管效果开动在合营的医疗机构和制药公司中调遣为应用。

王晟（Sheng Wang），论文通信作家。

华盛顿大学筹画机科学与工程系助理教师，微软照管院看望学者。

他专注于东说念主工智能与医学的交叉照管，期骗生成式AI贬责生物医知识题。其科研效果已在《Nature》《Science》《Nature Biotechnology》《Nature Methods》和《The Lancet Oncology》等顶级期刊上发表十余篇论文，并被Mayo Clinic、Chan Zuckerberg Biohub、UW Medicine、Providence等多家著明医疗机构平淡应用。

Mu Wei，论文通信作家。

微软Health and Life Sciences首席应用科学家，领有十余年医疗与金融鸿沟的AI模子研发与部署造就。

他的团队聚焦于健康鸿沟的多模态AI模子，照管效果涵盖生物医学图像解析、数字病理学基础模子、临床文档结构化的大模子应用以及大模子无理率揣度等主见。

感趣味趣味的童鞋可自行查阅～

论文地址：https://www.nature.com/articles/s41592-024-02499-w花式网页：https://microsoft.github.io/BiomedParse/代码：https://aka.ms/biomedparse-releaseAzure API网页：https://ai.azure.com/explore/models/MedImageParse/version/3/registry/azureml?flight=ModelCatalogIndustryFilters&tid=72f988bf-86f1-41af-91ab-2d7cd011db47

— 完 —

量子位 QbitAI · 头条号签约

暖热咱们，第一时期获知前沿科技动态