11月16日,大湾区大学(筹)信息科学技术学院邀请密歇根大学梅俏竹教授来我校访问,并开展了计算机方向的学术讲座,由信息科学技术学院代理院长李晓明教授主持,学院教师和研究生积极参加。
图1:徐志伟(左)、梅俏竹(中)、李晓明(右)
梅俏竹教授的讲座主题为“Teach Large Language Models to Personalize”。在本次讲座中,梅教授首先从以人为中心的数据科学出发,介绍了人机协作的概念,并指出高效的人机协作的前提是理解并掌控大型语言模型的行为,从而根据用户需求训练个性化模型。
图2:梅俏竹教授介绍以人为中心的数据科学
随后,梅教授介绍了几种模型个性化的方案。其中,由用户指定所有需求和约束或使用基于用户反馈的强化学习等方法,都会对用户带来较大的负担。而梅教授的团队则从写作教育中获取了灵感,提出了一种新的模型个性化方法。
当学习写作时,我们首先需要查找、阅读并精准阐释参考文献,同时需要评估文献的权威性和相关性,随即通过引用和总结等方法重述文献的观点,整合多篇文献的素材并加入自己的观点,最后创造出新的文本。
同样地,大型语言模型也可以通过检索、排名、摘要、综合和生成,通过多阶段多任务设置来得到更符合用户需求的文本。
图3:梅俏竹教授介绍模型个性化方法
而当大型语言模型被冻结,人们只能通过API进行访问时,通常只能通过手动修改文本提示来调整模型。对于这种情况,梅教授介绍了一种新的方法来自动修改提示,利用多阶段框架生成初始提示,并通过总结和综合个性化文本来进行重述。
图4:梅俏竹教授介绍自动修改提示方法
在讲座的最后,梅教授介绍了利用大型语言模型来准确衡量个性化生成文本质量的评估方法,并分享了对大型语言模型和信息检索研究之间联系的看法。
图5:梅俏竹教授进行讲座
在本次讲座中,梅教授深入浅出的讲解帮助在座师生更好地学习了大型语言模型个性化的前沿知识,引发了参会人员的踊跃提问和积极互动,促进了信息科学技术学院计算机方向的学科发展。
密歇根大学信息学院和工程学院教授,曾担任应用数据科学硕士项目的创始主任。他的研究团队开发了机器学习、数据挖掘、信息检索和自然语言处理领域的新方法,并将其应用于网络、社交媒体、医疗保健和教育等社会领域,从而改善人们的日常生活。梅教授曾多次在ICML、WWW、WSDM、KDD等主流计算机领域会议上获得最佳论文奖。梅教授是ACM杰出会员,曾任ACM SIGIR 2018会议的联合主席,目前在Journal of Machine Learning Research和ACM Transactions on the Web期刊编委会任职。