ChinaMM 2023 专题论坛

开放环境下的多媒体计算    

    一、论坛简介

    多媒体计算旨在通过综合多种媒体信息进行认知、学习和推理。近20年来，多媒体智能计算的理论与方法得到了巨大发展，成功应用于网络多媒体处理、智能安防、智慧教育、智慧医疗等领域。目前，以多模态预训练大模型为代表的方法在许多多媒体计算任务中都取得了优越性能，在有些任务上甚至超过了人类的智能水平。然而，在开放环境下，由于多媒体数据质量和内容不可控、流式产生、语义标注少、噪声干扰、对抗攻击等原因，现有方法在鲁棒性、可解释性、自适应性、可信性等方面均呈现不足。因此，开放环境下的多媒体计算面临一系列新的挑战和研究问题，需要探索新的理论、模型和算法。本论坛将对开放环境下的多媒体计算的研究问题、最新研究和应用进展进行交流和探讨，希望推动相关研究的发展。

    二、论坛议程

    时长：2小时

    形式：讲座

    三、组织者

        朱磊，山东师范大学

        个人简介：朱磊，山东师范大学教授，博导。共发表或录用CCF A类会议长文、ACM/IEEE的汇刊论文百余篇。Google Scholar引用5600多次，H-index为41，ESI高被引论文8篇。获得两个CCF A类会议的最佳论文提名奖，CCF C类会议ADMA 2020的最佳论文奖，ChinaMM 2022的最佳学生论文奖，1篇论文入选2019年中国百篇最具影响国际学术论文。担任期刊IEEE TBD、ACM TOMM、Information Sciences的编委，担任多媒体领域权威国际会议ACM MM/IEEE ICME/ACM MM Asia领域主席(AC)， SIGIR/AAAI/CIKM高级程序委员会委员(SPC)。获得ACM中国SIGMM新星奖，中国自动化学会优秀硕士论文导师奖，山东省留学回国人员创业奖等。

        胡鹏，四川大学

        个人简介：胡鹏，四川大学计算机学院副研究员，四川大学“双百人才”。主要研究方向为机器学习和多媒体分析。2019-2020年在新加坡科技研究局（A*STAR）担任研究员。目前已在TPAMI、TIP、CVPR等SCI一区期刊及CCF A类会议上发表长文三十余篇。研究成果获得中国图象图形学学会（CSIG）自然科学一等奖、四川省自然科学二等奖。担任TPAMI、TIP、CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR, AAAI等期刊和会议审稿人/高级程序委员/程序委员。

        高赞，山东省人工智能研究院

        个人简介：高赞，山东省人工智能研究院，教授，博士生导师，国家青年人才计划人选、山东省突贡专家，山东省高等学校优秀青年 “智能媒体分析与视觉感知”创新团队负责人和济南市高校院所 “社交网络虚假媒体智能分析与理解” 创新团队负责人，先后获山东省科技进步一等奖和天津市科技进步二等奖各1项。近年来，主持或参与包括国家自然基金重点和国家重点研发等省部级以上课题20余项。在国际高水平会议和期刊上发表论文100余篇，IEEE/ACM汇刊或CCF A类会议30余篇，5篇论文入选ESI高被引，1篇入选热点论文，2021年获CCF A类会议SIGIR 2021最佳学生论文。

        舒祥波，南京理工大学

        个人简介：舒祥波，南京理工大学计算机科学与工程学院教授、博士生导师、国家优秀青年基金获得者、江苏省杰出青年基金获得者、CCF/IEEE高级会员。主要从事视频内容分析，发表论文近100篇，ESI高被引论文5篇；获中国电子学会自然科学一等奖、MM 2015最佳论文提名、MMM 2016最佳学生论文、中国人工智能学会优博；入选江苏省333高层次人才培养工程。担任CSIG青工委副秘书长，IEEE TCSVT、Information Sciences等期刊编委。

  四、报告嘉宾

        报告题目：算力自适应与数据自适应的图像感知

        程明明，南开大学

     讲者简介：程明明，南开大学教授，计算机系主任。主持承担了国家杰出青年科学基金、优秀青年科学基金项目、科技部重大项目课题等。他的主要研究方向是计算机视觉和计算机图形学，在SCI一区/CCF A类刊物上发表学术论文100余篇（含IEEE TPAMI论文30余篇），h-index为72，论文谷歌引用3.7万余次，单篇最高引用4600余次，多次入选中国高被引学者和全球高被引科学家。技术成果被应用于华为、国家减灾中心等多个单位的旗舰产品。获得多项省部级科技奖励。现担任中国图象图形学学会副秘书长、天津市人工智能学会副理事长和SCI一区期刊IEEE TPAMI, IEEE TIP编委。

     报告摘要：从图像中快速准确地获取目标信息是计算机视觉的核心任务。计算层面，受体积、功耗等限制，智能算法如何适应这些算力受限设备至关重要。数据层面，许多现实应用无法收集足够标注，传统依赖数据覆盖目标场景的模式不可用。为了解决这些问题，急需设计算力自适应和数据自适应能力强的图像感知算法。本报告将介绍设备特性敏感的高效神经网络架构搜索技术，仅通过一次训练，就可以通过设备敏感的算子延时查找表得到适用于各种设备特性的高效模型。此外，为了适应许多现实任务中标注数据不足的问题，本报告还将讨论如何利用通用属性知识实现弱监督和无监督的像素级图像感知技术。

        报告题目：开放环境复杂目标检测

        刘祥龙，北京航空航天大学

        讲者简介：刘祥龙，北京航空航天大学教授，博士生导师，国家优秀青年科学基金获得者。现任北京航空航天大学计算机学院副院长、复杂关键软件环境全国重点实验室副主任，主要研究智能安全、开放认知。近年来，主持国家自然科学基金、国防科技创新重点项目、科技创新2030重大项目等多项国家课题；发表IEEE CVPR、ICCV等国际顶级会议及期刊论文100余篇。研究成果受到新华社、人民网等权威媒体和杂志关注。担任Pattern Recognition等SCI期刊编委，ACM MM、AAAI等国际会议领域主席，启智开源开放平台技术委员会委员。曾获省部级/学会一等奖2项、北京市科技新星、中国计算机学会优秀博士学位论文等。

      报告摘要：目标检测算法作为人工智能和计算机视觉的热门研究方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，具有重要的应用价值和现实意义。传统基于深度学习的目标检测算法高度依赖于大规模、高质量数据。然而，在复杂开放环境——如X光安检场景下，目标信号微弱、训练数据稀疏、计算资源有限，使得目标检测模型面临着语义表征弱、泛化能力差、计算效率低等问题。本报告围绕开放环境下复杂目标检测问题，分别从表征高效、数据高效、计算高效等视角出发，介绍团队近年来面向开放环境的目标检测方法研究，并围绕开放环境下复杂目标检测所面临的开放性、复杂性、对抗性等挑战，探讨未来研究方向。

      报告题目：科大讯飞计算机视觉技术：研发与应用

        吴子扬，科大讯飞

     讲者简介：吴子扬，科大讯飞AI研究院计算机视觉研究主管，资深AI方案专家。负责包括图文视频分析等核心技术研发及方案构建，技术成果获得十余项国际竞赛冠军，并在教育、汽车等多领域取得规模化应用。

     报告摘要：随着多媒体信息形态的蓬勃发展，对计算机视觉相关技术提出了更高的要求。本次报告将介绍科大讯飞在计算机视觉领域的理解和布局，算法技术研发状况及在多种场景下的落地应用。

        报告题目：智能无人机视觉计算

        朱鹏飞，天津大学

        讲者简介：朱鹏飞，天津大学副教授，博士生导师。主要研究方向是智能无人系统协同进化，已在IEEE TPAMI和IJCV等CCF A类和IEEE汇刊发表论文60余篇。获吴文俊人工智能优秀青年奖、黑龙江省自然科学一等奖、天津市科技进步二等奖等奖励。主持国家自然科学基金优秀青年基金和科技创新2030—“新一代人工智能”重大项目10余项，入选2019年度天津市青年人才托举工程以及2020年度天津市创新人才推进计划青年科技优秀人才。构建了大规模无人机视觉开放数据平台VisDrone，包含超过1000万图像/视频帧和2000万目标标注，并在ECCV和ICCV连续组织了四届竞赛和研讨会。

     报告摘要：智能无人系统依赖于多传感器对周围环境进行鲁棒的环境感知。团队构建了VisDrone大规模无人机视觉数据平台，包括可见光数据、双光数据以及多机协同数据等，覆盖目标检测、目标跟踪、群体分析和协同感知等任务。基于VisDrone数据平台，团队围绕数据算力受限条件下的低代价学习范式、多机多传感器不同步条件下的协同学习机理以及未知场景和类别条件下的进化学习机制开展研究，未来将主要聚焦认知启发的智能无人系统协同进化学习理论与方法，并在军事安防等场景开展应用。

        报告题目：基于假设差异理论的数据与模型泛化性研究

        李文，电子科技大学

        讲者简介：李文，电子科技大学教授，博士生导师。2015年获新加坡南洋理工大学博士，其后在瑞士苏黎世联邦理工学院计算机视觉实验室从事博士后研究工作，2019年入选国家海外高层次人才计划。主要研究领域为计算机视觉与机器学习，专注于计算机视觉任务中的领域适应、迁移学习、弱监督学习、半监督学习等关键问题，在T-PAMI、IJCV、CVPR、ICCV、ECCV等在内的领域重要国际期刊和国际会议论文70余篇，Google Scholar的总引用次数7000余次。担任领域内重要学术期刊和国际会议审稿人或程序委员会委员，以及AAAI 2021、AAAI 2023领域主席、ACM Computing Surveys编委（Associate Editor）等。带领团队荣获国内外多项人工智能竞赛奖项，并承担国家自然基金、四川省重点研发计划等项目。

     报告摘要：近年来，以深度学习为代表的数据驱动的机器学习方法在计算机视觉任务中取得令人瞩目的成功。但数据驱动的机器学习方法也存在数据依赖的问题，在训练数据不足或场景覆盖有限情况下表现往往不佳，面临泛化性的挑战。在本报告中，我将基于假设差异（Hypothesis Discrepancy）理论来讨论几个不同的机器学习泛化性问题，包括领域适应、半监督学习和黑盒攻击。具体地，我将从领域差异问题出发，将该理论延展到更一般的泛化性问题中，探讨如何利用假设差异理论来分析和理解这些任务，并设计相应的算法来提升模型在这些任务中的性能。