博文

面向表格基础模型：现状、挑战和机遇

已有 435 次阅读 2024-6-14 21:42 |个人分类:科普|系统分类:科普集锦

面向表格基础模型：现状、挑战和机遇

毫无疑问，深度学习是近年来许多技术进步的关键驱动力。这一进展在自然语言处理和计算机视觉领域尤为显著，在这些领域，深度学习方法长期以来一直优于传统的工程和机器学习范式。目前发展的前沿是所谓的基础模型——在大量数据上训练的大型通用架构，在各种下游任务中表现出前所未有的性能。例如，在自然语言处理中，基础模型在语言理解和生成方面取得了突破。最常见的是，它们通过在chatGPT、Bard或HuggingChat等通用聊天机器人中的使用而闻名，这些聊天机器人分别由OpenAI的GPT、谷歌的PaLM或Meta的LLaMA语言基础模型驱动。在这种情况下，它们通常也被称为大型语言模型(LLM)。同样，在计算机视觉中，基础模型主要在生成式人工智能的背景下变得流行，例如通过DALL-E、Stable Diffusion或Midjourney。然而，它们也成功地用于其他与视觉相关的任务，如分类、对象检测或语义分割等。最近，还研究了多模态基础模型，例如同时利用自然语言和图像。

虽然还没有被完全理解，但基础模型的成功通常归因于一个关键因素:规模。这里，尺度既指底层深度学习模型的参数数量，也指所需的训练数据量(两者通常是相互依赖的)。将深度学习模型扩展到数千亿甚至数万亿个参数的能力——以前远远超出可行性的量级——主要是由深度学习架构、训练范式和硬件的最新发展推动的。也就是说，基础模型主要是由Transformer架构的使用驱动的，通过使用分布式计算节点和硬件加速器的大型集群进行大规模的自我监督来训练。

除了可预测的随规模增长的性能之外，基础模型还表现出所谓的涌现属性，指的是通过泛化而不是通过显式(架构)构建间接出现的训练模型的特征。通常，但并非总是如此，这些性质会在大范围内突然出现，并与物理系统中的相变有相似之处。涌现特性的例子包括，特别是在各种任务中令人印象深刻的零次和几次推理，例如用以前看不见的语言进行单词解析或问题回答。虽然一般来说，涌现属性得到了广泛的认可，但它们的潜在特征和工作原理在社区中得到了积极的讨论，有时也存在争议。

尽管基金会在自然语言处理和计算机视觉方面取得了巨大的成功，基础模型尚未广泛应用于其他领域(尽管正在积极研究)。一个可能的原因是，目前基础模型的主要创新者是美国的科技巨头，如微软(主要通过OpenAI)、谷歌和Meta，它们的核心产品都围绕着自然语言和视觉。

尽管表格数据在野外非常丰富，在许多实际应用中非常重要，显示出AI应用的巨大潜力，但在深度学习和基础模型的背景下，它只引起了很少的关注。然而，随着自监督学习和基础模型在自然语言和计算机视觉领域的巨大成功，该领域最近获得了更多的关注，如越来越多的出版物以及顶级机器学习会议上专门针对表格领域的会议研讨会所示，如图1所示。然而，与设计和训练表格基础模型相关的技术挑战，即通过大规模使用异构表格数据集的大型语料库进行自我监督训练的深度学习模型，在文献中仍然没有解决。