ChinaMM 2023 专题论坛

三维点云数据分析、压缩与处理

一、          论坛介绍

    点云是一系列高维空间点（例如三维空间点）的集合。每一个点包含几何信息以及颜色和反射率等属性信息。点云为精细复刻现实物理世界提供了高精度的三维表达方式，广泛应用于三维建模、自动驾驶、智慧城市、数字文博、混合现实等领域。然而，点云的数据海量、非结构化、密度不均等特点给点云的分析处理、存储和传输带来了巨大挑战。如何在有限带宽与存储条件下对点云数据进行有效压缩，是上述应用的关键底层技术。此外，针对点云的分割、识别、去噪、补全、上采样等也与上述应用息息相关。本专题论坛将围绕高维点云数据的热点问题展开，介绍其在点云压缩标准化、智能分析与处理等方面的研究进展，并探讨未来的发展方向。

二、          论坛议程

时长：4小时

形式：研讨会形式——每位讲者依次演讲，最后是讨论环节，和听众一起，对主题进行充分研讨。

三、          组织者信息

1. 马展，南京大学

个人简介：南京大学电子科学与工程学院教授。2004年和2006年获华中科技大学学士和硕士学位，2011年获纽约大学（New York University）博士学位。2011年至2014年分别在三星电子美国研究院，华为美国研究院从事下一代视频压缩技术的研究和标准化工作。2014年获登峰计划支持，加入南京大学。长期从事视频信号处理和通信研究，并在视频处理能耗感知、视觉感知和计算等方面做出一系列开创性研究。成功开创绿色高效节能媒体处理、传输和表征等国际视频处理领域最前沿工作。目前主持1项国家自然基金,1项省自然基金和1项腾讯犀牛鸟基金。发表学术论文60余篇，被Google Scholar引用1000余次，申请发明专利35项（国际专利31项），获得专利授权7项（国际专利6项）。

      2. 丁丹丹，杭州师范大学

个人简介：杭州师范大学信息科学与技术学院副教授。2011年获浙大博士学位，2011至2015年于浙大工作，2016至今于杭州师范大学工作。长期从事主要从事基于深度神经网络的视频图像处理、智能视频编码算法及优化、点云数据压缩编码与重建等研究工作。在国内外重要期刊与会议上发表相关论文50余篇，申请发明专利20余项，向国内外标准组织提交提案40项，获奖4项。

3. 李竹，美国密苏里大学堪萨斯分校

个人简介：美国密苏里大学堪萨斯分校教授。主要研究领域为图像视频编码、图像视频处理、图像视频通信等；获国际会议 ICIP 2006 最佳论文奖；发表论文 100 余篇，获授权美国发明专利 40 余项。

四、          讲者信息

1. 报告题目：Bridging Deep Modeling of 3D Point Clouds and 2D Images

    侯军辉，香港城市大学

讲者简介：Dr. Junhui Hou joined the Department of Computer Science at CityU as an Assistant Professor in 2017 and was promoted to Associate Professor in 2023. Dr. Hou's research interests include visual computing, such as image/video/3D geometry representation, processing and analysis, graph structure learning, and data compression.  He received the Early Career Award (3/381) from the Hong Kong Research Grants Council in 2018. He is an elected member of IEEE MSA-TC, IEEE VSPC-TC, and IEEE MMSP-TC. He is currently an Associate Editor for IEEE Transactions on Image Processing, IEEE Transactions on Circuits and Systems for Video Technology, and Signal Processing: Image Communication, and served as an Area Chair of ACM MM, IEEE ICME, VCIP, ICIP, MMSP, and WACV.

报告摘要：3D point cloud data is becoming increasingly popular in various emerging applications, such as meta-verse, autonomous driving, and computer animations/games, as it provides an explicit representation of the geometric structures of objects and scenes. While deep learning has achieved great success in 2D image and video processing, it is still in its infancy for 3D point cloud data, which is a fast-growing but challenging field due to its irregular and unstructured characteristics. That is, designing deep architectures and loss functions for 3D point cloud data is difficult, and as a result, the representation capability of existing deep architectures is limited. In this talk, I will present our efforts to advance this field from two perspectives. First, we explore the representation of 3D point clouds as 2D images, where mature 2D CNNs can be applied. Second, we investigate the possibility of transferring visual knowledge from 2D images to 3D point clouds. We conduct extensive experiments on various low- and high-level tasks to demonstrate the advantages of these approaches. Such new perspectives will open up many possibilities in deep 3D point cloud data modeling.

2. 报告题目：感知效益驱动的点云编码与增强处理

   高伟，北京大学

讲者简介：北京大学信息工程学院助理教授/研究员/博士生导师，鹏城国家实验室开源算法研究室主任，IEEE高级会员，广东省青年拔尖人才。长期从事视觉感知驱动的沉浸式与3D视觉媒体（点云、光场等）编码与处理算法、软硬件系统、开源库建设等研究。发表国际期刊和会议论文80余篇，提交标准提案20余项。荣获2021年IEEE多媒体学术新星奖（全球仅4人）。担任国际IEEE CASS VSPC-TC、APSIPA IVM-TC技术委员会委员、国际期刊Signal Processing副编辑等。曾于ACM MM、IEEE ICME、IEEE VCIP等组织研讨会和专题会议。

报告摘要：点云技术具有广阔的应用前景。根据应用场景的感知主体的不同，可以分为人眼感知和机器感知两个方面。本报告将结合人机感知的特定和规律，对感知驱动的点云压缩与增强处理的关键技术问题展开讨论。首先，将简单介绍人机感知建模的数据集和模型方法；其次，重点介绍高效点云编码优化算法，以充分实现编码冗余的高效挖掘和利用，提升压缩效率；最后，介绍面向感知效益的点云增强处理方法。本报告从多个角度详细分析当前限制点云数据利用效率的底层视觉处理技术问题，并给出解决思路，以有效提升压缩后和增强后点云的实际人机感知效果，促进点云技术应用发展。

3. 报告题目：基于深度学习的三维点云重构技术研究

    刘勇，浙江大学

讲者简介（200字）：浙江大学智能系统与控制研究所教授，浙江大学控制学院智能驾驶与未来交通中心主任，浙江大学先进智能系统研究中心副主任，浙江大学控制科学与工程学院党委委员，浙江省机器换人专家。获浙江省科学技术进步一等奖、浙江省自然科学一等奖、浙江省科学技术一等奖、浙江省自然科学学术二等奖、浙江省杰出青年科学基金项目，入选中组部万人计划青年拔尖人才、浙江省有突出贡献青年科技人才和浙江省 151 人才项目，以第一作者或通讯作者在IEEE Transactions、ICRA、CVPR、IJCAI、ICCV、IROS、ICLR、AAAI/IAAI等知名期刊和机器人顶级会议发表论文百余篇。主要研究方向：自主机器人与智能系统、机器人自主规划与导航控制、视觉识别与模式识别、SLAM技术及多传感器融合技术。

报告摘要：三维点云重构相关技术是针对不同的场景抽取三维点云的表征，并针对性重新构建输出点云的技术。随着元宇宙，自动驾驶，以及数字孪生等相关应用的迅速发展，形状补全，几何压缩，降采样等三维点云重构相关技术也逐渐吸引了越来越多的关注。然而这些技术受到架构设计的限制，仍然存在计算消耗大，泛化性差，使用不便等问题，难以应用到实际场景中。针对这些问题，本报告将从形状补全，几何压缩，降采样，以及用于重构网络训练的重构损失函数出发，探讨现有的技术改进方案和最新进展。

4. 报告题目：三维点云的上采样方法及其采样编码方法研究

元辉，山东大学

讲者简介（200字）：山东大学控制科学与工程学院教授(破格)/博导。2011年3月获得西安电子科技大学博士学位。2011年4月加入山东大学。2012年8月入选中国人社部 “香江学者”计划，并与2013年1月-2014年12月赴City University of Hong Kong从事博士后研究工作；2016年9月获得山东省自然科学杰出青年基金资助；2019年入选欧盟“居里学者”计划，并赴英国、德国从事研究交流，2020年12月入选山东省“泰山学者”青年专家，2022年8月获评国家优青。从事三维视觉媒体的高效编码、智能处理、可靠传输等研究工作。发表论文100余篇，向国际、国内标准化组织(MPEG、AVS)提出33项提案，其中5项被MPEG G-PCC国际标准采纳。2022年11月获得中国图象图形学学会自然科学二等奖(1/5)。

报告摘要：三维点云是描述真实三维场景的数据形式，可以广泛应用于虚拟/增强现实、自动驾驶、文物修复等多个领域。然而，高精度三维点云数据量巨大，远远超出现有的存储设备和网络带宽的承载能力，为其传输和存储带来巨大的压力。因此，如何设计高效的三维点云编码方法已成为当下亟需解决的重要问题。本报告从数据采样的角度出发，针对三维点云的几何信息，提出基于采样（下采样编码-上采样重建）的编码框架。为了保障重建点云的质量，首先将讨论几何上采样方法。针对当前上采样方法在几何高频区域易产生噪点的缺陷，提出基于频率感知的几何上采样方法PUFA-GAN。进一步地，提出基于渐进式空间修正的几何上采样生成对抗网络PU-Refiner。基于上述采样方法，进一步构建了基于采样（下采样编码-上采样重建）的点云几何编码框架，大量实验结果充分表明了该框架的有效性。

5. 报告题目：AI城市元宇宙技术与应用

王涛，航天宏图

讲者简介（200字）：中国计算机学会（CCF）理事、多媒体专委副主任，曾任英特尔中国研究院高级研究员、爱奇艺资深科学家。主要从事多媒体智能分析，计算机视觉、模式识别、虚拟现实、数据挖掘、AI视频云、区块链等相关技术的研究，领导并参与了航天宏图智能云服务平台，视频监控，实景三维，数字人，爱奇艺随视购、视频拆条、视频审核、以图搜剧、对白搜索、场景看点、音频水印、VR渲染直播等项目。在IJCV、CVPR、ACM MMSJ、ACM Multimedia等国际期刊和会议上发表论文60余篇，申请70多项专利。

报告摘要：我国基于遥感卫星的观测监控系统正在加速建设和部署，为国土资源普查、自然灾害监测、农作物估产、环境保护、智慧城市等应用提供了丰富且庞大的数据。随着大数据，虚拟现实，人工智能等计算机技术的快速发展，元宇宙技术和应用正成为新的行业热点。报告将介绍航天宏图在实景三维，数字人，遥感解译，数字孪生等相关领域的工作，并探索了遥感与元宇宙相结合的多方面应用。

6. 报告题目：大飞机外形分析中的三维几何处理问题

 魏明强，南京航空航天大学

讲者简介（200字）：南京航空航天大学教授、博士生导师、人工智能专业主任、江苏省计算机学会青年科技奖获得者，及第14届Chinagraph最佳论文一等奖获得者。博士毕业于香港中文大学并获得校最佳博士毕业论文奖（2014）。目前为多个期刊的编委，如ACM TOMM、The Visual Computer (TVC)，以及IEEE TMM和TVC的客座编辑。近年来，围绕大飞机3D扫描与测量、几何深度学习和三维视觉等研究方向，主持国防基础科研、国家重点研发计划子课题、国自然面上以及联合主持国自然重点项目等10余项；发表学术论文百余篇，如IEEE TPAMI/TVCG、SIGGRAPH、IJCV、CVPR、ICCV等CCF A类期刊和会议。

报告摘要：大飞机作为当今社会最为复杂的高端装备之一，是跨学科、跨领域先进技术的集大成者，雄踞制造业技术链和价值链的顶端。随着运-20、C919、蛟龙-600等一批国之重器的面世，我国在大飞机制造方面已实现突破性进展，逐步建立起了相对完整的生产研制体系。但是由于技术基础支撑能力不足，与国际航空制造业巨头相比，我国航空企业尚未能实现制造测量一体化和形成有效的精度调控能力，其中“高精度快速3D扫描分析与质量控制技术”已成为影响我国大型飞机研制进程的重要因素。几何深度学习利用其强大的几何特征学习能力，在大飞机外形分析中表现出了良好的潜力。然而，由于现有的网络结构缺乏飞行领域专业性、尚未有公开的大型飞机3D数据集、以及最新的机器学习技术还未能深入移植到几何深度学习领域，导致很难全面高效地对特征复杂、精度要求严苛的大型飞机外形进行分析。本报告将介绍大飞机外形分析中涉及的几何处理问题。

7. 报告题目：三维重建与生成的表征学习

   廖依伊，浙江大学

讲者简介（200字）：浙江大学信息与电子工程学院特聘研究员。2013年获西安交通大学学士学位，2018年获浙江大学博士学位。2018至2021年，在德国马克思普朗克智能系统研究所 (MPI-IS) 及德国图宾根大学从事三年博士后研究。研究兴趣为三维视觉，包括场景重建、场景语义理解、可控图像生成。累计发表文章二十余篇，代表作有KITTI-360, GRAF, Deep Marching Cubes等。担任CVPR2023、3DV 2022、BMVC 2021-2022的领域主席。

报告摘要：近年来，深度学习在三维视觉领域取得了飞速发展。三维信息的表征形态多种多样，常见的表征形式包括点云、栅格、网格面片、隐式场等。深度几何学习中，一个核心问题是三维几何结构及颜色纹理信息应该如何被高效率、高质量地表征？从这一问题出发，本报告第一部分介绍三维重建中可学习表征的系列工作，包括网格面片表征、隐式场、点云与隐式场的联合表征等。第二部分将介绍三维生成模型中的可学习表征的系列工作，进一步探讨不同三维表征形态在三维可控图像生成中的发展历程及进展。

       8. 报告题目：Graph Spectral Processing and Analysis for 3D Point Clouds

     胡玮，北京大学

讲者简介（200字）：北京大学王选计算机研究所助理教授，北京大学博雅青年学者。2010年获中国科学技术大学学士学位，2015年获香港科技大学博士学位，2015-2017年在法国Technicolor担任研究员。主要研究兴趣是图机器学习、图信号处理及其在三维视觉等方面的应用，相关成果发表在IEEE TPAMI， IEEE TIP， IEEE TSP，CVPR，ICCV, ECCV等国际顶级学术期刊和会议上，获得CVPR 2021最佳论文提名等多项论文奖，以及2021 IEEE Multimedia Rising Star Award---Honorable Mention Award。担任IEEE Signal Processing Magazine和IEEE Transactions on Signal and Information Processing over Networks的Associate Editor。

报告摘要：从现实场景中获取的几何数据，例如二维深度图像、三维静态点云和四维动态点云，在自动驾驶、增强现实和虚拟现实、机器人视觉、自由视点视频等方面有着广泛的应用。大多数几何数据的采样不规则，因此不能直接采用传统的图像/视频处理方法，而快速发展的图信号处理(Graph Signal Processing, GSP)领域提供新的数学工具和方法处理不规则采样的信号。此外，GSP为广受关注的图神经网络(Graph Neural Network, GNN)提供了一定的可解释性，有助于提升GNN的可解释性和鲁棒性。在本次报告中，我将聚焦点云的表示、重建和生成，介绍图谱处理和分析在几何结构学习、无监督表征学习和基于GSP先验知识的可解释分析方面的能力。