写在前面

随着适用于大范围数据训练和大规模下游任务分析的通用模型（例如BERT、DALL-E和GPT-3）发展，人工智能（Artificial Intelligence，简称AI）正在经历范式变革。AI内的通用模型也叫基础模型，那么基础模型未来面临的机遇与风险如何？本次就推荐一篇发表在arXiv预印本的综述报告《On the opportunities and risks of foundation models》，本篇综述报告的作者都是AI领域模型开发、设计与应用的主力军。

01

—

动机

名称“基础模型”是为了强调这类模型非常重要但具备不完整特性。尽管基础模型正在被广泛应用，但是关于它们如何工作、什么时候失效、能够智能做什么等问题，仍然缺乏一个清晰的认知。为了解决这些问题，基础模型的大量批判性研究将需要与其基本社会属性进行深度交叉融合。综述报告《On the opportunities and risks of foundation models》正是围绕这些问题进行探究（图1）。

图1 基础模型的机遇与风险论文

02

—

内容

综述报告《On the opportunities and risks of foundation models》从基础模型的基本概念：自动化（emergence）和同质化（homogenization）、社会影响力、生态系统和展望出发，详细的描述了基础模型的性能、应用、技术和社会性。

基础模型是深度学习和机器学习的子集（图2），机器学习关心如何自动化处理任务，深度学习使用特征来进行自动化预测，基础模型专注功能性（例如上下文学习自动化）。与此同时，机器学习将学习算法（例如逻辑回归）同质化，深度学习将模型架构（例如卷积神经网络）同质化，基础模型将模型本身同质化。

图2 AI故事是一段日益自动化和同质化的旅程

关于基础模型的性能、应用、技术和社会性内容，可以参见图3。详细内容参见文献[1]。

图3 文章路线图

后话

综述报告《On the opportunities and risks of foundation models》包含200多页的内容，它对AI领域的基础模型进行了很好的归纳和展望，为后续基础模型深入研究提供重要参考。

参考文献：

[1] Bommasani R, Hudson D A, Adeli E, et al. On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258, 2021.

更多背景知识如下：

1. 因果推理综述推荐一篇

2. 生物学家的机器学习指南

号外，为了便于交流，我们为miRNA介导的ceRNA研究在Frontiers in Molecular Biosciences杂志（ 2020_IF = 5.246）整了个专刊，主题为“Computational Identification of ceRNA Regulation”。投稿链接：https://www.frontiersin.org/research-topics/24340/。