微信里点“发现”，扫一下
二维码便可将本文分享至朋友圈
演讲摘要：近年来，基于图像 - 文本联合学习的 Foundation Model 展现出了前所未有的性能，在各个领域中越来越受到关注。其中，基于自监督学习的模型编码了大量人类总结的知识与常识，使得模型具备了超强的表征能力和泛化能力。在此背景下，知识驱动的多模态表征学习逐渐成为了研究的热点，如何进一步向广义基础模型进行医疗专业知识的注入仍然存在巨大挑战。本次报告中，我将介绍我们组近期关于医学知识增强的多模态基础模型的相关研究。从大规模医疗图文数据集的构建（PMC-OA、MedMD、RadMD，RP3D-DiagDS），医疗语言基础模型构建（PMC-LlaMA，MMed 系列多语种模型），多模态基础模型的训练（PMC-CLIP、RadFM），通用分割模型训练（SAT），以及知识增强的疾病诊断与临床应用（MedKLIP，KAD，KEP）等。
讲者简介：谢伟迪，上海交通大学副教授，上海人工智能实验室青年科学家。国家级青年人才，上海市（海外）高层次人才计划获得者，科技部科技创新 2030—“新一代人工智能”重大项目青年项目负责人。博士毕业于牛津大学视觉几何组（VGG组），Google-DeepMind 全额奖学金获得者，主要研究领域为 Computer Vision，AI4Medicine，共发表论文超 60 篇，包括 CVPR，ICCV, NeurIPS, Nature 子刊等，Google Scholar 累计引用超 1 万次，多次获得国际顶级会议研讨会的最佳论文奖和最佳海报奖，最佳期刊论文奖；担任计算机视觉和人工智能领域的旗舰会议 CVPR，ECCV，NeurIPS 的领域主席。
CCF第39届中国计算机应用大会
多模态医学人工智能
京公网安备11010802032778号