ChinaMM 2023 专题论坛

多模态媒体信息智能传播与分析：从基础研究到前沿应用

一、          论坛介绍

随着数字化时代的到来，海量信息的产生和传播已经成为常态。多媒体技术和网络技术的飞速发展，使得海量的图像、视频、文本等跨媒体数据呈现爆炸式增长。在这种情况下，多模态媒体的智能传播与分发显得尤为重要，因为它可以解决信息过载和提升用户体验。相较于其他信息类型的传播，媒体信息的智能传播具有独特的特点和难点。因此，如何实现面向多源异构、相互关联的多模态媒体数据的跨媒体认知能力学习，联合实现面向视觉、语言等跨媒体信息动态抽取和场景理解，对于提高计算机的智能理解和推理能力至关重要。在这个过程中，数字人技术的应用发挥着重要作用，它可以模拟人类的思维、情感和行为，更好地实现媒体信息的智能传播和分析。本论坛将聚集来自工业界研究部门和产品部门的专家，讨论议题涵盖传播与分析两个方向的技术基础进展刨析，以及两个具体应用实践。多模态媒体的智能传播与分析是一个充满挑战和机遇的研究领域，也是数字化时代媒体传播发展的必然趋势。

二、          论坛议程

时长：2小时

形式：讲座

三、          组织者信息

王岚君，天津大学

个人简介：王岚君，天津大学新媒体与传播学院研究员，博士生导师。加入天津大学前，她曾任IBM中国研究院高级主任研究员、华为云技术专家。她曾作为华为云模型可信负责人，参与建立了业界首个可实施的人工智能云服务安全标准，该成果载入2021年华为公司企业年报。此外，她已发表高水平论文40余篇，拥有授权专利20余项。她的主要研究方向为：可信人工智能。

刘安安，天津大学

个人简介：刘安安，天津大学教授，教育部电视与图像信息研究所所长，从事跨媒体计算和人工智能研究。入选IET Fellow、爱思唯尔高被引学者等。围绕跨媒体生成、全媒体传播、主流媒体推荐，作为负责人承担国家自然科学基金联合重点、国家重点研发计划课题等；以第一完成人获天津市科技进步特等奖；发表IEEE/ACM汇刊、CCF-A类期刊和会议长文80余篇，ESI热点论文2篇，ESI高被引论文6篇；论文被评为IEEE Journal of Biomedical and Health Informatics特色论文，获中国多媒体大会最佳论文奖。担任IEEE TCSVT/TMI/TAC和ACM TOMM副编辑，担任CCF-A类国际会议ACM Multimedia领域主席。

四、          讲者信息

报告题目：多媒体信息智能传播的技术与挑战

吴方照，微软亚洲研究院

讲者简介：吴方照是微软亚洲研究院研究员。在学术期刊和会议发表学术论文多篇。曾获NLPCC 2019优秀论文奖，WSDM 2019 Outstanding PC和AAAI 2021 Best SPC。目前从事负责任AI、用户隐私保护、推荐系统、自然语言处理等方面的研究和实践。

报告摘要：多模态媒体的智能传播与分发对于解决信息过载和提升用户新闻阅读体验具有重要作用，被广泛用于在线新闻平台。相比于其他类型信息的传播，媒体信息的智能传播有很多独有的特点和难点。本次报告我将介绍多模态媒体信息智能传播的一些核心技术，如多模态媒体信息理解、用户建模和智能匹配等。同时，我将和大家一起探讨智能传播的一些核心挑战，如隐私保护、公平性、多样性、去偏见、安全性和价值观等，以及相应的解决方案。

报告题目：多模态内容理解与生成前沿技术进展分析

易子立，南京大学

讲者简介：易子立, 曾任字节跳动智能创作实验室高级算法专家、华为高级研究员。2018年毕业于加拿大纽芬兰纪念大学。易子立的主要研究领域为AIGC、多模态理解与生成，已在CVPR、ICCV、TIP、AAAI、ACM MM等视觉或多媒体顶级会议与期刊上发表论文近二十篇，谷歌学术统计引用总数达2000余次（截至2023年1月）。其中，发表于ICCV’17的代表性工作DualGAN被引用1800余次。

报告摘要：近两年，随着AIGC基础技术的突破，图像、视频、语音和自然语言的生成技术展现出巨大的商业化潜力，大量的资本和研究资源涌入到了该赛道，相关技术正在以极快的速度进行迭代。本报告主要涉及可视内容（即图像、视频）生成，阐述了当前主流的几种技术路线（GAN、Diffusion模型、Transformer）及其优缺点，并展望了未来的可能发展方向。

报告题目：基于间距自适应查找表的实时图像增强方法

金美光，淘宝天猫集团

讲者简介：金美光，淘宝天猫集团大淘宝技术团队高级算法专家，2019年加入阿里巴巴，9年视频处理科研与研发经验，目前负责淘宝直播前处理算法，包括增强与美颜，研发与落地相关工作，共发表过CVPR，ECCV，Neurips，TIP等10余篇多媒体领域顶会顶刊。

报告摘要：色彩增强是图像处理的基本内容之一，广泛体现在数字图像成像链路的各阶段应用中。在本报告中，我们首次提出了一种通过深度学习对输入图像自适应地生成具有非均匀布局的三维颜色查找表，从而对输入图像进行高效色彩增强的创新性技术。在多个学术界公开相片美化数据集上与现有方法的对比实验表明，我们的方法可以在推理速度与现有最高效方法可比的同时取得最佳客观质量指标。

报告题目：无中生有——基于大模型微调的三维数字人技术与应用实践

常建龙，华为云

讲者简介：常建龙，华为云AI技术专家，百度奖学金、中国人工智能协会吴文俊优秀博士论文奖、中科院优秀博士论文奖、中科院院长奖获得者。主要研究通用AI算法和商业落地，三十多项研究成果发表于IEEE T-PAMI、IEEE T-IP、ACM Computing Surveys、NeurIPS、CVPR、ICCV、AAAI等国际顶级AI期刊会议，并成功应用于华为云为千行百业赋能。

报告摘要：随着数据和计算资源的指数型增长，近年来以文本为驱动的对话、图像生成等获得显著的进展，人工智能从判别式应用时代进入了生成式应用时代。为了可预见的跨入交互式应用时代做准备，我们将目光投在人形机器人的探索上。为此，我们初步探索了开放式文本到人物动作的生成，并提出了一个开放式文本和3D人物姿态的对齐模型，并学习一个文本到姿态的生成器。我们提出了无词训练框架能够使该生成器在没见过任何真实世界文本的情况下，学会对任何文本进行姿态生成。进一步的，我们借鉴语言模型的掩码重建的训练方式训练了一个以姿态为提示的人物动作生成模型。通过结合文本到姿态和姿态到动作的生成模型，我们实现针对开放式文本到3D人物动作序列的实时生成。这个方法能够应用在虚拟数字人的内容生成中丰富该领域的发展。在未来，我们将进一步探索将该技术引入到具有物理约束的人形机器人的指令控制上，使机器人听懂“人话”，赋予虚拟数字人“躯体”，让超能陆战队中的大白成为现实。

报告题目：单目人体3D模型重建与多模态动作捕捉技术

刘武，京东探索研究院

讲者简介：刘武，京东探索研究院资深研究员，曾获得IEEE TMM 2019最佳论文奖，IEEE MM 2018最佳论文奖、IEEE ICME 2016最佳学生论文奖和中科院优秀博士论文奖。入选了北京市科技新星计划、《麻省理工科技评论》亚太区“35岁以下科技创新35人”，并获得了ACM中国新星奖、天津市科技进步特等奖等，担任了IEEE T-MM Associate Editor， IEEE ICME 2022和 ACM MM Asia 2021 技术委员会主席，以及国际顶级会议ACM MM、AAAI、ACL、CIKM等领域主席。

报告摘要：随着元宇宙浪潮席卷全球，面向用户虚拟体验的人体3D形象重建和动作捕捉，成为了学术界和工业界关注的焦点。与以往使用复杂设备不同，基于单目相机的人体3D模型生成与动作捕捉技术，仅通过单个摄像头，即可重建人体的3D模型和外观，并精确捕捉人体动作，极大地提高了使用的便捷性，具有广阔的应用前景。本报告将详细介绍我们在基于单目相机的人体3D模型生成与动作捕捉方面的技术进展，特别是如何应对实际应用场景中多人遮挡鲁棒性差、运行效率低、时序建模难等挑战，以及如何结合多模态传感器来提高算法性能，最后也会展现以上技术在京东的应用实践及未来发展方向等。