记录各个医疗领域中的各个多模态大模型;
1. OpenMEDLab浦医
https://github.com/OpenMEDLab
“OpenMEDLab浦医”将于近期逐步开源,覆盖医学图像、医学文本、生物信息、蛋白质工程等10余种医疗数据模态,促进基于医疗基础模型的跨领域、跨疾病、跨模态科研突破,同时助力解决医疗领域的长尾问题,推动医疗大模型的产业落地。
- 突破小样本、弱标注瓶颈,解决医疗长尾问题
近年来,超大参数深度学习基模型在计算机视觉(CV)、自然语言处理(NLP)等领域获得突破性进展,能够基于大模型的超强泛化能力应用于许多下游任务的分析。然而医学数据在数据模态、成像模式、图像特征等方面种类繁多、差别较大,使得通用大模型难以在医学图像分析方面实现令人满意的性能。在高度关注数据私密性的医疗机构中,落地部署也存在较大困难,当前,针对特定任务进行单独模型训练依然是该领域主流的解决方案。然而,医疗下游长尾任务的数据样本少、标注难度高,这也限制了人工智能在更多医疗场景的应用。
2. BiomedGPT
https://github.com/taokz/BiomedGPT/tree/main
BiomedGPT:用于视觉、语言和多模态任务的统一通用生物医学生成预训练 Transformer
3. IRENE Model
基于肺部图像与临床文本的信息多模态架构;
https://github.com/RL4M/IRENE
A transformer-based representation learning model with unified processing of multimodal input for clinical diagnostics;