ChinaMM 2023 专题论坛

标注受限场景下的多视角和多模态学习

一、          论坛介绍

随着互联网和信息技术的迅猛发展，多模态数据已成为数据资源的主要形式，例如视频、图像和文字等。信息理解与处理的方式也逐渐从单模态/单视角学习向多模态/多视角学习转变。多模态学习通过对模态间关联以及互补关系进行建模，实现对信息的全方面理解。但目前多模态学习面临数据标注昂贵、标注数据中存在噪声等问题。因此，如何在标注受限的场景下，实现高精度的多视角和多模态学习，受到研究人员的广泛关注。本论坛希望邀请多视角聚类、半监督学习、弱监督学习、多模态内容感知和理解、混合数据知识发现等方向的顶尖专家学者介绍相关前沿技术，并探讨标注受限场景下的多视角和多模态学习的技术发展趋势。

二、          论坛议程

时长：2小时

形式：讲座

三、          组织者信息

组织者1：吴建龙，哈尔滨工业大学（深圳）

个人简介：吴建龙，哈尔滨工业大学（深圳）计算机科学与技术学院副教授，博士生导师，入选哈尔滨工业大学“青年拔尖计划”和“鹏城孔雀计划”特聘岗位。主要研究兴趣包括计算机视觉、多模态学习等。近五年在Trans. Image Processing、ICML、NeurIPS和ICCV等顶级期刊和会议上发表论文30余篇。担任NeurIPS、ACM MM、ICPR等会议领域主席，TCSVT、IJMIR和Visual Intelligence等期刊客座编委。主持多项国家级和省部级项目，包括国家自然科学基金青年项目、CCF-阿里巴巴创新研究计划基金等。荣获CCF A类会议SIGIR 2021最佳学生论文奖和2021年山东省科学技术进步一等奖等。

   组织者2：程然，南方科技大学

个人简介：程然，IEEE 高级会员，现任南方科技大学计算机科学与工程系长聘副教授、博导。 曾任英国伯明翰大学Research Fellow、德国本田欧洲研究院访问学者等。专注于计算智能，发表IEEE汇刊长文30余篇，引用7500余次，13篇论文入选ESI高被引。获IEEE计算智能学会杰出博士论文奖（2019）、IEEE TEVC杰出论文奖（2018、2021）、IEEE CIM杰出论文奖（2020）等；入选“全球前2%顶尖科学家榜单（2020、2021）”、“全球学者学术影响力榜单（2022）”等。现任 IEEE TEVC、IEEE TAI、IEEE TCDS等汇刊编委。与中国商飞、华为海思、国家电网等开展落地合作，部分成果写入“十四五”电气科学与工程科学发展战略研究报告。

   组织者3：甘甜，山东大学

个人简介：甘甜，山东大学计算机科学与技术学院副教授、博士生导师、泰山学堂教授小组成员。其于2010年和2015年分别从华东师范大学和新加坡国立大学获得学士和博士学位，后任新加坡科技研究局资讯通信研究院（Institute for Infocomm Research, A*STAR）科学研究员。主持国家自然科学青年基金项目、面上项目、科技部重点研发项目子课题。已在多个相关领域的国际顶级学术期刊及会议CVPR、ACMMM、AAAI、CIKM、TCB、TMM等上发表多篇论文，并且担任多个国际顶级会议ACMMM、ICIP等程序委员，IJCAI资深程序委员，担任ICIMCS 2019、ACM MM Asia 2020出版主席。获得2021年山东省科技进步一等奖。

    组织者4：刘萌，山东建筑大学

个人简介：刘萌，山东建筑大学教授、英国奥斯特大学兼职博导。主要研究方向包括多媒体计算和信息检索。迄今累计发表论文40余篇，其中包含CCF A类、IEEE/ACM汇刊论文30余篇，Google Scholar引用超过2000次。获得IEEE TMM 2021杰出审稿人、ACM SIGIR 2021最佳学生论文奖、ACM MM 2022 Conversation Head Generation挑战赛最佳用户选择奖等荣誉。主持国家自然科学基金青年基金项目1项。多次担任ICCV、CVPR、ICML、ACM MM等顶级会议审稿人，以及IEEE TIP、IEEE TCSVT、IEEE TMM等期刊审稿人。现担任中国图象图形学学会机器视觉专委会、多媒体专委会委员。

四、          讲者信息

胡清华，天津大学

   报告题目：低质多模态数据动态可信融合

讲者简介：胡清华，国家优青/杰青获得者。现任天津大学北洋讲席教授，天津市机器学习重点实验室主任，CAAI粒计算与知识发现专委会主任，天津市人工智能学会理事长。从事大数据粒计算、多模态学习、不确定性建模和自主机器学习方面的研究，先后获得国家重点研发计划项目、国家自然基金重点项目、国家优青/杰青以及国防项目的资助。在IEEE-TPAMI、IJCV、IEEE TKDE、IEEE TFS等期刊以及NeurIPS、CVPR、IJCAI、AAAI等会议发表论文300余篇，获批发明专利30余个，出版专著3部，先后获得黑龙江省自然科学一等奖和天津市科技进步一等奖。目前担任IEEE Trans. Fuzzy Systems，自动化学报、电子学报、智能系统学报等期刊的编委。

报告摘要：随着传感器技术的发展和普及，数据建模所面临的数据类型越来越丰富。在科学探测、医疗诊断、社交媒体分析、机器人等领域纷纷出现了海量的多模态异构数据，不同模态数据中蕴含的有效信息往往是互补的、有差异的，其数据质量也是动态变化的。如何充分利用好低质、多源、异构数据中有效性是一个古老而又年轻的研究领域。本报告将系统梳理当前多模态数据融合的发展现状以及存在的问题，分析介绍人脑在处理多感官数据融合时的柔性机制，并介绍当前最前沿的多模态数据动态可信融合的模型、算法和应用。

李甲，北京航空航天大学

报告题目：浅谈多视角学习中的局部关联

讲者简介：李甲，博士，北京航空航天大学教授，IET Fellow。2005年清华大学获学士学位，2011年中科院计算所获博士学位，现任北京航空航天大学虚拟现实技术与系统全国重点实验室教授。主要研究极端环境视觉计算技术，主持国家自然科学基金重点/优青、GF科技创新特区课题等项目20余项，发表论文百余篇，授权中国美国发明专利60余项，成果应用于天问一号、MUSER日像仪、FAST望远镜等空间大科学装置，以及百度、爱奇艺、完美等企业；获中国电子学会自然科学二等奖、教育部科学技术进步奖一等奖等奖励。

报告摘要：不完备标注场景的数据往往具有规模大、先验少、噪声强、特征弱等特点，仅从全局视角难以实现健壮特征的有效提取，需要进一步分析视觉目标部件的局部特征及其拓扑关联，从局部视角增强区分度强的部件及其特征。本报告将围绕视觉目标的局部关联及其多视角学习，介绍近期在视觉目标解析与识别领域取得的系列成果，包括：序列化耦合的语义部件分割、弱监督迁移的人体部件分割、部件引导的视觉目标细粒度识别、部件约束的行人/车辆重识别等。

马惠敏，北京科技大学

报告题目：脑与认知启发的视觉心智计算

讲者简介：马惠敏教授，北京科技大学领军学者，2001年博士毕业后在清华大学电子工程系承担教学科研工作，担任三维图像认知与仿真实验室负责人，2019年起先后担任北京科技大学人工智能研究院副院长、计算机与通信工程学院副院长、鼎新实验室主任，现任中国图象图形学学会副理事长兼秘书长，北京市“三八红旗奖章”获得者。从事计算机视觉与认知心理学交叉研究，探索复杂环境无人系统视觉认知与人机混合智能关键技术。首次在国际上建立了图像认知心理测评智能系统，2016年获得吴文俊人工智能科技创新一等奖，教育部鉴定为“原始性创新，达到国际领先水平”；提出的基于GPU的高效能复杂环境仿真方法及应用，2017年获得教育部技术发明奖二等奖；提出的复杂环境中目标认知方法，2020年获得中国图象图形学学会技术发明一等奖。作为通讯作者在TPAMI、PR、CVPR、NIPS等高水平期刊和会议上发表论文100余篇，承担国家重大、重点项目课题十余项，获批专利20余项，两项专利完成了科研成果转化，已用于学校、医院、民航、交通等领域。

报告摘要：计算机视觉与脑科学、认知科学有着紧密的联系，但人类视觉感知模式与计算视觉计算方法之间目前存在着难以逾越的鸿沟，尤其是在人类视觉的量化表征、认知学习计算架构等关键问题上。本报告从脑启发和认知启发两个源头介绍我们在以原型记忆、格式塔完型认知为核心的视觉心智理论V-ToM，以及在复杂环境理解、三维目标检测、驾驶行为预测等方面的研究。报告围绕智能驾驶任务，介绍四个方面的内容：视觉心智理论计算模型；弱监督、小样本视觉认知学习及语义分割； Thinking in 3D驾驶场景三维目标检测；认知注意启发的驾驶行为预测。

聂飞平，西北工业大学

报告题目：Learning from Multi-source Heterogeneous Data: Methodologies and Applications

讲者简介：聂飞平，西北工业大学教授、博士生导师，国家万人计划领军人才。主要研究兴趣为机器学习理论和方法，并用来解决实际应用问题。在相关领域已发表系列论文，其中在中科院一区或CCF A类期刊会议上发表第一或通讯作者论文200余篇。论文已被引用3万余次，H指数99，单篇最高被引用2000余次。

报告摘要：Multi-source Heterogeneous Data is one of the most common forms of existence in the real world, which can be efficiently and accurately analyzed by the Multi-view clustering methods. This talk focuses on the vanilla linear learning framework that may give rise to trivial solutions, which can be alleviated by several strategies such as Norm Regularization, Exponential Flatten, Negative-entropy Regularization, Self-weighted Loss, and so on. Then, a unified paradigm will be presented to demonstrate the connections between them. What's more, the well-designed optimization by iteratively reweighted strategy will be further discussed, together will detailed convergence analysis based on the assumptions of concavity, solvable linear combination subproblem, and lower boundness. Lastly, the applications will be further discussed related to the multiview spectral embedding, sparse multiple graph integration, auto-weighted multiple graph learning, and so on.