微信里点“发现”，扫一下
二维码便可将本文分享至朋友圈
演讲摘要：精准强大的三维感知能力和可泛化的物体操控策略是具身机器人所需要具备的两项重要能力。近年来，很多工作聚焦于机器人在真实三维环境中的感知和交互，如基于RGBD输入进行物体位姿估计及物体抓取，所提出的监督性数据集大大推进了相关问题的研究水平。但是考虑到真实数据的标注和在真实环境中进行策略学习都是极其昂贵的，这样的方法无法低成本地推广到新问题上，同时已有数据集中未覆盖的部分也形成了新的挑战。相比于真实环境和标注，仿真环境及生成的合成数据具有无需标注、高度可控、价格低廉、时间采样率高等优势，因此我们考虑使用仿真及合成数据来帮助具身智能攻克新的任务和新的挑战。在本报告中，我们将展现仿真及合成数据对机器人三维视觉及物体操控的帮助：1）我们ECCV2022的工作通过对结构光深度传感器进行域随机的仿真，生成了大规模配对的仿真深度图及完美深度图，所训练的深度图修复模型可直接泛化并修复真实传感器的深度图，使得非透明物体上训练的抓取模型可以直接进行透明高光物体的抓取；2）我们IEEE RAL + IROS2022的工作在仿真环境中研究可泛化的物体操纵策略，第一次提出了类别级模仿学习的算法，可以打开没见过的抽屉和没见过的柜子门，工作也获得了ICLR2022中ManiSkill挑战赛无额外标注赛道的冠军。
讲者简介：王鹤，北京大学前沿计算研究中心（CFCS）的助理教授和博士生导师。创立并领导了具身感知与交互实验室(EPIC Lab)，实验室立足三维视觉感知与机器人学，重点关注具身机器人在三维复杂环境中的感知和交互问题，研究目标是以可扩展地方式发展高泛化性的机器人视觉和控制系统。他已在计算机视觉、机器人学和人工智能的顶级会议和期刊（CVPR/ICCV/ECCV/RAL/NeurIPS）发表20余篇工作，其论文获得Eurographics 2019最佳论文提名奖，2022年世界人工智能大会青年优秀论文奖（WAICYOP），其带领的团队获得ICLR 2021可泛化机器人物体操纵挑战赛ManiSkill无额外标注赛道冠军。他担任了CVPR2022和2023的领域主席和诸多顶会的审稿人、程序委员。在加入北京大学之前，他于2021年从斯坦福大学获得博士学位，师从美国三院院士Leonidas. J Guibas教授，于2014年从清华大学获得学士学位。
2022中国智能机器人学术年会
机器人具身智能
京公网安备11010802032778号