机器智能前沿论坛衍生于“智能科学创新讲堂”，由中国科学院自动化研究所主办英文学术期刊Machine Intelligence Research(MIR)发起，由自动化所及MIR联合主办，旨在以"专题报告+圆桌讨论"的形式，聚焦机器智能领域热点，交流最新前沿成果。

机器智能前沿论坛

第3期

机器智能前沿论坛·第3期将聚焦"大规模预训练：数据、模型和微调"这一专题，论坛邀请了5位嘉宾进行分享，4大平台同步直播。2023年9月6日(周三)14:30，准时开播！

报告主题 & 嘉宾简介

时间：2023年9月6日(周三) 14:30-17:30

主持人：宋睿华

中国人民大学

个人简介：

中国人民大学高瓴人工智能学院长聘副教授。近期研究兴趣为多模态理解、创作和交互。发表学术论文90余篇。她的算法完成了人类史上第一本人工智能创作的诗集《阳光失了玻璃窗》。

一、报告分享 (14:30-17:30)

报告一：大语言模型时代的搜索与推荐算法 (14:30-15:10)

报告人：文继荣

中国人民大学

个人简介：

文继荣，教授，现任中国人民大学信息学院院长、高瓴人工智能学院执行院长。曾任微软亚洲研究院高级研究员和互联网搜索与挖掘组主任。长期从事大数据和人工智能领域的研究工作。2018年入选首批"北京市卓越青年科学家"。

报告简介：

大语言模型在近年来引起了极大的关注，代表了人工智能在语言理解、知识表示、逻辑推理等能力上的重大突破。和很多其它领域一样，信息检索目前也正在跨入"大模型时代"，致力于解决内部知识和外部知识的融合问题，以实现更精确更自然的信息获取。本次报告将介绍团队在该领域的最新研究成果和思考。

相关好文：

AI最前沿 · 特约专题 | 大规模预训练: 数据、模型和微调 

DynamicRetriever: A Pre-trained Model-based IR System Without an Explicit Index 

（https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1373-9）

报告二：大语言模型的安全性研究 (15:10-15:45)

报告人：黄民烈

清华大学

个人简介：

黄民烈，清华大学长聘教授，博士生导师，国家杰青获得者，计算机系智能技术与系统实验室副主任，清华大学基础模型中心副主任，自然语言生成与智能写作专委会副主任、CCF学术工委秘书长。研究领域为大规模语言模型、对话系统、语言生成。曾获得中国人工智能学会吴文俊人工智能科技进步奖一等奖(第一完成人)等。在国际顶级会议和期刊发表论文150多篇，谷歌学术引用15000多次，h-index 60，入选2022年Elsevier中国高被引学者，连续三年入选AI 2000全球最有影响力AI学者榜单。

报告简介：

随着ChatGPT、GPT-4等大语言模型的智能水平的提升，通用人工智能也越来越接近。但"越智能越危险"，大语言模型的安全性研究变得越来越重要：偏见歧视、隐私、滥用、伦理、价值观等各种安全性问题成为广泛关注的问题，人工智能治理也成为智能社会的亟待规范的课题。讲者将围绕大语言模型尤其是中文大语言模型、对话系统的安全性问题，阐述其在安全类别体系、对抗攻防、隐性毒性内容检测、隐私训练数据抽取、社会伦理道德植入等方面的工作。

相关成果：

EVA2.0: Investigating Open-domain Chinese Dialogue Systems with Large-scale Pre-training

（https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1387-3）

报告三：多模态多语言预训练模型 (15:45-16:20)

报告人：金琴

中国人民大学

个人简介：

金琴，中国人民大学信息学院教授、博士生导师。分别获得清华大学学士、硕士学位，美国卡内基梅隆大学博士学位。主要研究方向为多媒体智能计算。在国际一流期刊及顶级学术会议上发表论文百余篇，蝉联多项国际权威竞赛冠军。曾任ACM Multimedia 2022程序委员会主席。

报告简介：

多模态预训练在各种下游任务中取得了令人信服的表现。然而，由于现有的大多数工作都是基于英语构建模型的，其应用受到语言的限制。因此我们探索了两种将多模态预训练模型从单语言扩展到多语言的方法。此外，我们尝试进一步扩展加入音频模态。我们的模型在多语言视觉文本检索、视觉问答和图像字幕等基准测试上取得了先进的性能。

相关成果：

Multimodal Pretraining from Monolingual to Multilingual

（https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1414-4）

报告四：大模型值得关注的重要特性 (16:20-16:55)

报告人：刘知远

个人简介：

刘知远，清华大学计算机系副教授、博士生导师。主要研究方向为自然语言处理、基础模型。2011年获得清华大学博士学位，已在ACL、EMNLP、IJCAI、AAAI等人工智能领域的著名国际期刊和会议发表相关论文200余篇，Google Scholar统计引用超过3.3万次。曾获教育部自然科学一等奖(第2完成人)、中国中文信息学会钱伟长中文信息处理科学技术奖一等奖(第2完成人)等，入选国家青年人才项目、北京智源研究院青年科学家、2020-2022连续三年Elsevier中国高被引学者、《麻省理工科技评论》中国区35岁以下科技创新35人榜单、中国科协青年人才托举工程。

报告简介：

近年来以BERT、GPT为代表的预训练模型，使人工智能技术进入"预训练-微调"的全新范式，特别是最近ChatGPT引爆了全社会对大模型技术的关注。本报告重点介绍大模型与过去深度学习模型相比，在模型框架、微调适配以及推理计算等方面的重要特性，探讨大模型未来的研发应用范式。

相关成果：

Red Alarm for Pre-trained Models: Universal Vulnerability to Neuron-level Backdoor Attacks
（https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1377-5）

报告五：大模型推荐技术现状与展望 (16:55-17:30)

报告人：王文杰

新加坡国立大学

个人简介：

王文杰，NUS NExT++研究员，主要研究方向为推荐系统、因果推理和多模态计算。2023年从新加坡国立大学获得博士学位，曾获谷歌博士奖学金等荣誉。在SIGIR, KDD, WWW, ACMMM和TOIS等会议/期刊上发表多篇论文，其工作曾获得ACMMM 2019最佳论文提名。

报告简介：

大语言模型(LLM)以其卓越的语言理解、推理和规划能力，在多个领域展现出惊人的潜力，也催生了LLM在推荐系统领域的新应用与发展。本报告将介绍大语言模型如何应用到推荐技术，讨论相关进展，包括基于in-context learning的LLM推荐能力的激发，和基于instruction-tuning的LLM推荐任务对齐，并进一步探讨大模型推荐的未来发展机遇和挑战。

相关成果：

Mitigating Spurious Correlations for Self-supervised Recommendation

（点击即可查看）

观看指南

直播通道①：中国科学院自动化所B站

哔哩哔哩APP搜索"中国科学院自动化所”或扫描下方二维码，直播当天点击头像即可进入

直播通道②：自动化所视频号

直播通道③：MIR视频号

直播通道④：蔻享学术

点击下方链接进入"智能科学创新讲堂"主题页，直播当天选择相应直播即可观看

https://www.koushare.com/topic-h‍d/i/ISILH 

直播服务：

微信微信公众号"机器智能研究MIR”(发布最新讲座资料)

直播群：实时更新通知 (请备注: 论坛3)

∨关于Machine Intelligence Research

Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等数据库收录。