以 BERT 和 GPT 为代表的预训练语言模型自从 2017 年提出以来取得了巨大的成功,改变了整个自然语言 处理的面貌,几乎刷新了所有自然语言处理任务的成绩,而且在工业界也开始获得广泛的应用,其影响甚至远 远超出了 NLP 的范围。最近新出现的 GPT-3 模型更是表现出了惊人的能力,似乎再一次印证了“大力出奇迹” 这样一个道理。本论坛将邀请这一领域学术界的顶尖学者和工业界的领军人物一起,探讨预训练语言模型的所 面临的问题和发展趋势。讨论的话题包括但不限于:预训练语言模型还能给我们带来哪些惊喜?“大力出奇迹” 这条路还能继续下去吗?预训练语言模型还有哪些潜在的突破口?预训练语言模型亟待解决的问题有哪些?
演讲摘要:
个人简介:负责语音和自然语言处理研究。原爱尔兰都柏林城市大学教授、爱尔兰 ADAPT 中心自然语言处理主 题负责人、中国科学院计算技术研究所研究员、自然语言处理研究组负责人。分别在中国科学技术大学、 中科院计算所、北京大学获得计算机学士、硕士和博士学位。研究方向主要是自然语言理解、语言模型、 机器翻译、问答、对话等。研究成果包括汉语词语切分和词性标注系统、基于句法的统计机器翻译方法、 篇章机器翻译、机器翻译评价方法等。承担或参与众多中国、爱尔兰和欧盟大型科研项目。在国际会 议和期刊发表论文 300 余篇,被引用 7000 多次。培养国内外博士硕士毕业生 50 多人。曾获得 Google Research Award、ACL Best Long Paper、钱伟长中文信息处理科学技术奖一等奖、国家科技进步二等奖 等奖项。
演讲摘要:大规模预训练语言模型很大程度上改变了自然语言处理模型的研究和开发范式,在工业界 和学术界都引起了广泛的关注。本报告将对现有的语言模型预训练工作进行总结和比较,然后介绍面 向自然语言理解和生成任务的统一预训练语言模型 UniLM 以及多语言预训练模型 InfoXLM,并就未来 面临的挑战和进一步的研究方向进行讨论和展望。
个人简介:长期从事自然语言处理的基础研究和技术创新。在自然语言处理领域重要会议和期刊发表 论文 100 余篇,被引用 9000 余次,多项研究成果转化到微软重要产品中。入选 2017 年《麻省理工科技 评论》中国区“35 岁以下科技创新 35 人”榜单,2019 年第六届世界互联网大会“领先科技成果”奖。近年来, 团队开发的预训练模型(UniLM, InfoXLM, LayoutLM, MiniLM 等)被广泛应用于微软的产品中。
演讲摘要:预训练语言模型在自然语言处理领域发展迅速并获得广泛工业应用。2019 年,百度提出了 101 知识增强语义理解框架文心 (ERNIE),在 GLUE 评测中以首次突破 90 分的水平位居全球第一。此后, 百度文心(ERNIE)取得一系列突破和应用,在多个权威语义评测中获得近十项世界冠军。文心被包 括全球顶级科技商业杂志《麻省理工科技评论》等多国权威科技媒体报道,在 2020 世界人工智能大会 上赢得最高荣誉 SAIL 奖。本次报告主要分享百度文心 (ERNIE) 在技术创新及产业应用方面的进展。
个人简介:从事 NLP、搜索等领域研究与应用近 10年,主导研发了百度语义理解技术与平台文心(ERNIE) 和百度神经网络语义匹配框架 SimNet 等诸多世界领先成果,相关工作广泛应用于搜索引擎、信息流、 智能音箱、智能客服等产品,已授权或公开的国内外专利 60 余项,曾获 2020 世界人工智能大会最高 荣誉奖项 SAIL 奖、中国电子学会科技进步一等奖、中国人工智能学会优秀科技成果奖、百度最高奖及 百度最佳团队等奖项。
演讲摘要:目前预训练语言模型在自然语言处理领域取得了广泛的成功,并改变了自然语言处理的学 习范式。未来预训练语言模型还会取得什么样的突破?有没有更高效的学习范式出现?本报告的内容 简单总结预训练语言模型目前的一些改进方向,包括迁移方法、知识嵌入、多模态、跨语言、特定领 域等,并对预训练模型的未来发展趋势进行展望。
个人简介:主要从事自然语言处理、深度学习等方向的研究,在 TACL、ACL、EMNLP、AAAI、 IJCAI 等国际权威期刊、会议上发表 60 余篇学术论文,并获 ACL2017 杰出论文奖,CCL2019 最佳论文奖, 领导开发了开源自然语言处理工具 FudanNLP 作者和 FastNLP。2015 年入选首届中国科协人才托举工 程,2018 年获中国中文信息学会“钱伟长中文信息处理科学技术奖青年创新一等奖”,2020 年入选由清华— 中国工程院知识智能联合研究中心和清华大学人工智能研究院联合发布的“2020 年度 AI2000 人工智能 全球最具影响力提名学者”。
演讲摘要:主要介绍华为诺亚方舟实验室语音语义团队在预训练语言模型方向上的研究和商业化探索, 以及我们对该研究未来发展方向的思考。我们最近的研究主要关注在预训练语言模型的解释分析,设 计更加高效的预训练任务,融合蒸馏 / 量化等多种技术的高效压缩,以及我们在自然语言理解等多个 业务场景的落地尝试。在未来发展发向上,我们关注在提升预训练语言模型的知识表示和推理能力, 推进依赖推理的信息检索系统的发展。
个人简介:2012 年博士毕业于香港大学计算机系,目前主要从事对话系统、预训练语言模型加速、知 识表示和推理的研究。在国际顶级会议和期刊发表多篇论文,曾获得 ACL-2019 最佳论文提名、CGI- 2014 最佳论文奖。