微信里点“发现”，扫一下
二维码便可将本文分享至朋友圈
演讲摘要：大语言模型，如GPT系列模型，在各种自然语言处理任务中表现卓越。为了使这些模型更适应特定应用场景，研究人员通常采用一种被称为“微调”的技术。微调是在大规模数据集上预训练模型然后在特定任务的小型数据集上进行精细化训练的技术。本报告将深入探讨大语言模型的“微调”技术，包括指令微调、提示微调、低秩适配微调、知识微调等技术。我们将详解这些微调方法的原理，以及它们在现实世界任务中的应用。 在指令微调中，我们将讨论如何通过嵌入特定的指令，使模型在执行任务时表现出更强的定向性。而在提示微调部分，我们会解析如何通过精心设计的提示，激发模型的潜力，以更高效地处理各类问题。 在低秩适配微调中，我们将讨论如何利用低秩适配的方法做到在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。在知识微调中，我们将讨论由我们提出的如何潜入领域知识把通用模型转变成领域行业模型的技术方法。此外，面对不断变化的自然语言处理领域，微调技术的发展也在持续进行。我们将探讨微调技术的未来趋势，其中包括基于元学习的微调、低资源微调策略，以及使用迁移学习进行跨领域微调等。
讲者简介：赵森栋，哈尔滨工业大学副教授/博生导师，担任哈工大智慧医疗研究所所长助理。康奈尔大学博士后，伊利诺伊大学香槟分校联培博士。担任《Frontiers In Big Data》的编委，并在IBM Waston Xprize担任Red Judge。他还是Nature Communications等多个国际顶级期刊和会议的审稿人和程序委员会成员。他的研究领域主要聚焦自然语言处理、大语言模型、健康智能和新药发现。他参与了多项重要的国家级项目，包括国家973项目和科技创新2030-"新一代人工智能"等。他开发的中文医学大模型“本草”在GitHub上获得了3500多个星标，反映了其工作的影响力和公众的广泛关注。至今，他已经在相关领域发表了40余篇学术论文，其中包括在AAAI、IJCAI、ACL、WSDM、ICDM、CIKM、EMNLP、COLING等国际顶级会议以及Briefing in Bioinformatics、IEEE TKDE、Bioinformatics、IEEE J-BHI等国际顶级期刊上发表的论文，并获得了ACL 2013最佳论文提名奖的荣誉。
第二十届CCF中国信息系统及应用大会
本期嘉宾
京公网安备11010802032778号