认知驱动的多模态学习

人工智能正迈入“认知赋能”的新纪元。认知驱动的多模态学习以认知科学理论为基石，探索机器学习模型的生物启发机制与算法创新思路，为探索人类认知机理与机器学习的深度融合路径，推动下一代可信、可解释、自适应智能系统的突破。本论坛汇聚全国高校、科研院所的资深专家，分享认知驱动的多模态学习方面的最新研究成果和实践经验，推动产学研用深度融合和协同创新。

论坛主席1：景丽萍，讲师，北京交通大学                                                   

景丽萍，北京交通大学教授、博导，现任计算机科学与技术学院副院长。担任中国计算机学会人工智能与模式识别专委会副主任、交通数据挖掘与具身智能北京市重点实验室副主任、《中国科学》青年编委，入选国家优青、教育部创新团队负责人、北京市课程思政教学名师、北京市海淀区人大代表、北京交通大学优秀教师、优秀教育工作者等。先后主持国家自然基金优青项目/重点项目、国家重点研发计划、国防科技创新重点项目、北京市自然基金重点专项等。主要聚焦机器学习、认知计算理论、算法及应用研究，研究成果成功应用于智能交通、智能芯片、智能教育等领域，获得北京市科学技术自然科学奖、中国城市轨道交通科技进步奖。

论坛主席2：刘华锋，讲师，北京交通大学                                                    

刘华锋，博士，硕士生导师，香港大学博士后，CCF人工智能与模式识别专委会执行委员、北京交通大学研究生《机器学习》课程负责人。主持和参与多项国家级和省部级项目，包括国家自然科学基金、科技部重点研发计划、北京市自然科学基金、教育部创新团队等。以第一作者或通讯作者身份分别在国际顶级学术期刊 JMLR、IEEE TKDE、ACM TOIS，会议ICML、NeurIPS、KDD、CVPR、ICCV、AAAI、WWW、ACL、ACM MM以及国内计算机核心期刊《中国科学》、《软件学报》上发表多篇学术论文。相关研究成果获得北京市科学技术奖自然科学奖、中国城市轨道交通科技进步奖、北京交通大学优秀博士学位论文，相应研究连续多年（2019/2020/2021）被评为《软件学报》高影响力论文。

报告1：康复机器人的研究及其展望                                                       

报告人简介：刘震，现任长崎综合科学大学研究生院工学研究科教授，博士生导师， 温州医科大学康复医学院学术院长。日本国立东北大学信息科学博士。日本工程院（EAJ）外籍院士，亚太人工智能学会（AAIA）Fellow，世界人工意识学会（WACA）副理事长。主要研究领域包括，人工智能、大数据与数据挖掘、康复机器人等。

报告摘要：作为人工智能的一个研究领域，机器人从示教再现、基于传感，到智能化，经历了三个世代发展历程。康复机器人是智能机器人的一个重要应用领域，涵盖了康复医学、生物力学、机械电子、材料科学、计算机科学、机器人学等诸多领域。报告回顾机器人发展，介绍康复机器人关键技术， 特别介绍为确保外骨骼康复机器人的安全性、稳定性， 提升人机协同能力的柔顺驱动技术，展望康复机器人发展前景。

报告2：受脑认知启发的视觉语言大模型鲁棒下游任务迁移方法                                       

报告人简介：龚怡宏，西安交通大学人工智能学院特聘教授，中组部国家特聘教授，IEEE Fellow，陕西省人工智能联合实验室执行副主任。共出版中英文专著5部，在国际知名学术期刊和会议上发表论文300余篇，他引近33,000次，单篇最高他引4,100余次，谷歌h-index为79。发表在ACM SIGIR 2003会议上的论文获得最具影响力文章提名奖。入选2020 AI2000最具影响力TOP100学者榜单，连续5年入选爱斯维尔“终身学术影响力”榜单。于2022年获得教育部自然科学一等奖（排名第一）。创建认知科学学会认知与类脑计算专委会并担任首任主任委员。研究领域包括人工智能，计算机视觉及受脑启发神经网络研究等。是学术界最早开展体育视频内容分析，基于图像内容的以图搜图检索，以及提出图像稀疏编码特征向量的国际知名学者，引领了国际上大量学者的研究，带领团队多次获得国内外图像视频内容分析领域技术大赛的冠军。

报告摘要：当前，主流视觉语言大模型（如CLIP）在下游任务迁移过程中普遍存在“灾难性遗忘旧知识”的问题，导致模型严重过拟合下游任务数据，丧失泛化能力。本次报告重点介绍本团队在视觉语言模型迁移学习领域取得的突破性进展：受人脑视觉记忆拓扑不变性工作机制启发，提出基于特征空间拓扑结构保持的提示学习方法。该方法通过维护预训练模型知识结构的完整性，同时赋予模型学习新任务的适应性，在知识保持与迁移性能之间实现了最优平衡。大量对比实验验证了上述方法避免视觉语言大模型在适配新任务时发生灾难性遗忘问题的有效性。本研究成果不仅为视觉语言大模型的鲁棒迁移提供了新型解决方案，更为人工智能与脑科学研究的交叉融合开辟了新的研究思路。

报告3：神经形态智能感知计算理论与方法                                                    

报告人简介：田永鸿，北京大学博雅特聘教授，博士生导师，IEEE Fellow，北京大学深圳研究生院副院长兼科学智能学院执行院长，鹏城实验室智能计算部副主任兼云脑研究所所长，2018 年国家杰出青年基金获得者，2024年首批国家杰出青年基金延续资助计划获得者。主要研究方向为分布式机器学习、类脑神经网络、神经形态视觉和AI for Science。累计主持国家重点研发计划项目、国基金杰青/重点/重大仪器项目等国家、省部级与企业合作项目40 余项，累计在Nature/Science子刊、IEEE Trans等国际期刊和ICML、NeurIPS等国际会议发表学术论文400余篇，两获国际期刊和会议最佳论文奖；拥有美/中国发明专利110余项，获国家技术发明/进步二等奖各1次、教育部科技进步一等奖1 次、中国电子学会技术发明/科技进步一等奖各1次、2023年广东省科技进步特等奖、2022年IEEE标准奖章和标准新兴技术奖、2022年ACM戈登贝尔奖特别奖提名、2024年首届祖冲之奖重大成果奖、2025年IEEE Hans Karlsson奖，是2018年首届高校计算机专业优秀教师奖励计划获奖者。曾任香港中文大学（深圳）和华中科技大学兼职教授，多个国际期刊编委和国际会议大会主席/程序主席，现任IEEE数据压缩标准委员会副主席兼IEEE 2941标准工作组组长、中国图象图形学会理事与交通视频专委会副主任等。

报告摘要：人工智能的终极研究目标是研究用于模拟、延伸和扩展人类智能处理能力的理论、方法与技术，最终开发出能以与人类智能相似的方式做出反应的机器。然而，由于真实世界是高度复杂、变化无穷的动态开放场景，使得感知计算技术总会面临新的、从未见过的困难场景，如极端光照/天气条件、高速运动对象等。大脑是一个高效智能的超大规模生物脉冲网络，对开放动态环境具有很强的感知认知能力，因此迫切需要借鉴大脑机制发展神经形态感知计算理论与方法。本报告将围绕这一主题，重点分享采用模拟人类视网膜的新型神经形态传感器，结合模拟人类视觉皮层的脉冲神经网络，打造“神经形态视觉+脉冲神经网络”的感知计算新架构方面所面临的挑战问题与研究进展。

报告4：多模态大模型的高效训练与推理                                                     

报告人简介：刘静，中国科学院自动化研究所研究员，国科大岗位教授，国家优青。研究方向多模态分析理解，带领团队研发了国际首个图文音多模态大模型“紫东太初”。相关成果曾获中国电子学会自然科学一等奖，北京市自然科学二等奖，中国图象图形学学会科学技术二等奖，世界人工智能大会卓越人工智能引领者奖等。主持或参与十余项国家自然科学基金重点、科技部重点研发计划和省部级重点研发计划项目等。连续多年入选全球前2%顶尖科学家，已发表高水平学术论文近200篇，谷歌学术引用17000+次，SCI他引9000+次。荣获国际学术竞赛冠军十余项。

报告摘要：近年来，多模态大模型在图文理解、视频问答、语音交互等任务中取得突破，但随着模型规模持续扩展，但其巨大的参数规模和高昂的资源开销也对训练部署带来了严峻挑战，在模型落地和边端推理需求不断增长的背景下，“高效”成为多模态模型设计与实现中的核心课题。本报告聚焦多模态大模型在架构设计、训练与推理全流程中的高效优化，内容包括：简述高效多模态模型的研究背景与与当前研究进展，包括轻量化架构设计、模态信息压缩、训练优化策略、数据高效利用以及推理加速机制等关键方向；简单介绍我们课题组在多模态大模型高效架构、训练加速与推理优化方面的创新成果，并展望未来发展方向与潜在挑战。

报告5：解耦概念瓶颈模型与预测一致性学习在增强可解释性和复杂标签预测中的应用                         

报告人简介：严骏驰，上海交大教授，CCF杰出会员/杰出讲者。优青、IAPR Fellow、IET Fellow、IEEE-CS人工智能新星奖获得者，新一代人工智能国家科技重大专项、基金委人工智能重大研究计划项目负责人，教育部深度学习资源建设首席专家。曾任IBM研究院首席研究员。主要研究兴趣为机器学习及交叉应用。

报告摘要：本报告结合了两种创新的机器学习方法：解耦概念瓶颈模型（DCBM）和预测一致性学习（PCL）。DCBM 解决了在高水平概念不足的情况下，概念和标签失真的问题。通过将概念层解耦为显式和隐式成分，DCBM改善了预测和解释任务。它利用JS散度约束，确保最终预测主要依赖于显式概念，从而在减少失真的同时保持可解释性。此外，报告还介绍了DCBM中的人机交互框架，包括前向干预和后向修正，用于自动修正标签和追踪错误概念。另一方面，PCL 提出了一个新颖的学习范式重构经典监督学习流程，通过监督学习中标签使用方式的革新提升模型针对复杂预测任务的表现。通过使用噪声扰动标签并在不同噪声水平之间强制执行预测一致性，PCL 提高了模型的能力和准确性，特别是在涉及高维标签的任务中，如图像分割和文本生成。这两种方法的结合突显了概念模型和生成学习范式在监督学习中的潜力，能够解决模型可解释性、预测质量以及处理复杂、高维标签的能力等关键挑战。