博文
[转载]人工智能中的范畴学家
|||
作者： John Baez
发布日期： 2025年2月8日
应用范畴论学者正纷纷涌入人工智能领域，因为那里有钱可赚。我本人避免从事这方面工作，既是因为我本能地反感“热门话题”，也是因为目前的AI主要被用来让富人和权贵变得更加富有和强大。
然而，我还是喜欢关注范畴论学者是如何获得与AI相关的工作，以及他们都在做些什么。他们中的许多人都是我的朋友，所以我很好奇他们将为AI乃至整个世界做些什么——以及从事AI工作将如何改变他们自己。
让我列举一下目前的动向。我将从一个警示性的故事开始，然后转向当今连接AI与范畴论的最重要的项目。
Symbolica 公司当马斯克（Musk）及其AI负责人安德烈·卡帕西（Andrej Karpathy）无视工程师乔治·摩根（George Morgan）的担忧——即当前的深度学习技术无法“无限扩展并解决所有问题”——摩根离开了特斯拉，创立了一家名为 Symbolica 的公司，致力于符号推理研究。亿万富翁维诺德·科斯拉（Vinod Khosla）给了他200万美元的种子资金。起初，他采用基于超图（hypergraphs）的方法，但随后这些研究人员撰写了一篇立场文件，推动公司转向了不同的方向：
Bruno Gavranovic, Paul Lessard, Andrew Dudzik, Tamara von Glehn, Joao G. M. Araújo 以及 Petar Velikovic，《立场：范畴深度学习是一种关于所有架构的代数理论》 (Position: Categorical Deep Learning is an Algebraic Theory of All Architectures)。
科斯拉喜欢这个新方向，又向Symbolica追加投资了3000万美元。在加夫拉诺维奇（Gavranovic）和莱萨德（Lessard）的建议下，摩根雇佣了包括多米尼克·维里蒂（Dominic Verity）和尼尔·加尼（Neil Ghani）在内的范畴论学者。
但摩根从未完全接受范畴论：他仍想推行自己的超图方法。一段时间后，摩根与范畴论学者之间的持续分歧造成了损耗。他解雇了一些人，甚至有人被当场从办公室带走。另一些人则主动辞职。由于保密协议（NDA）的存在，这些人不再公开谈论发生了什么。
因此，给范畴论学者，或者实际上任何有好点子的人的一个教训是：在你的想法帮助别人赚大钱之后，他们可能反过来有能力炒了你。
ARIA（英国高级研究与发明局）大卫·达尔林普尔（David Dalrymple）正在英国机构ARIA（高级研究与发明局）运行一个耗资5900万英镑的“安全AI数学”（Mathematics for Safeguarded AI）项目。他对为此目的使用范畴论非常感兴趣。
以下是“安全AI”项目网页上的说明：
为何设立该项目
随着AI能力的增强，它有潜力推动科学突破、增强全球繁荣并保护我们免受灾难。但这只有在明智部署的情况下才能实现。目前用于缓解高级AI系统风险的技术存在严重局限性，且在经验上无法依赖以确保安全。迄今为止，针对为AI系统提供定量安全保障的方法，研发投入极少，因为这些方法被认为是不可能的或不切实际的。
我们的目标
通过结合科学世界模型和数学证明，我们将致力于构建一个“守门人”：一个被赋予理解和降低其他AI代理风险的任务的AI系统。在此过程中，我们将开发出我们所期望的、类似于核能和民航领域那样的AI定量安全保障。
你可以在这里阅读更多细节。
以下是从该项目中获得资助的一些范畴论项目。此处仅引用网站内容：
1. 概率过程范畴的弦图公理化理论
负责人： Fabio Zanasi，伦敦大学学院
内容： 旨在为重要的概率过程范畴提供完整的弦图公理化理论，并利用这些理论开发针对不同种类概率图模型的组合分析方法。
2. 安全：支撑安全AI的核心表示
负责人： Ohad Kammar，爱丁堡大学
团队： Justus Matthiesen, Jesse Sigal
内容： 设计一个利用准博雷尔空间（quasi-Borel spaces）语义结构的演算。该团队将开发准博雷尔空间的内部语言作为随机过程的“语义宇宙”，定义便于类型检查和版本控制的语法，并与其他团队合作（嵌入其他形式主义）。
3. 哲学应用范畴论
负责人： David Corfield，独立研究员
内容： 计划通过应用范畴论整合跨学科知识，克服传统哲学形式主义的局限性。将探索分级模态逻辑、类型论和因果关系，并开发支持更广泛安全AI项目的概念工具。
4. 面向安全AI的双范畴系统理论 (DCST)
负责人： David Jaz Myers，Topos研究所（英国）
团队： Owen Lynch, Sophie Libkind, David Spivak, James Fairbanks
内容： 利用双范畴系统理论（DCST）作为数学框架，促进利益相关者、领域专家和计算机辅助工具之间的协作，共同设计自主AI系统部署环境的可解释且可审计的模型。团队将扩展该框架以纳入系统安全性和可靠性的形式化验证。
5. 幺半 coalgebraic 度量
负责人： Filippo Bonchi，比萨大学
内容： 建立一个超越定量代数理论和度量空间上余代数所能表达的鲁棒数学框架。通过从笛卡尔（Cartesian）设置转向幺半（Monoidal）设置，利用代数上下文（增强语法基础）和余代数上下文（提供鲁棒的定量语义和有效技术）来研究这些度量。
6. 双范畴系统逻辑：一种规范语言理论
负责人： Matteo Capucci，独立研究员
内容： 旨在开发一个逻辑框架，以分类和操作各种用于推理复杂系统及其行为的逻辑系统。目标是研究系统的组合结构与形态学结构与其行为之间的联系。
7. 可组合系统的真正范畴编程
负责人： Jade Master 和 Zans Mihejevs，格拉斯哥AI验证实验室 (GLAIVE)
团队： André Videla, Dylan Braithwaite
内容： 旨在开发一种支持现有语言尚不支持的关键数学结构的范畴编程类型论（包括函子、泛性质、Kan扩展等）。目标是创建一种能准确将范畴概念转化为代码的类型论，并将其部署以开发与安全AI数学基础相关的关键定理。
8. 利用范畴概率实现安全AI
负责人： Sam Staton，牛津大学
团队： Pedro Amorim, Elena Di Lavore, Paolo Perrone 等
内容： 利用范畴概率研究世界建模的关键要素。将研究不精确概率（为不安全行为的概率提供界限）和用于世界建模的随机动力系统，并建立语义版本控制的鲁棒基础。
9. 多模态Petri网的符号学与语义学
负责人： Amar Hadzihasanovic，塔林理工大学
团队： Diana Kessler
内容： 为多模态Petri网开发组合和图解语法及范畴语义。这些网络将模拟经历模式或阶段转变的动力系统。目标是创建一个范畴论框架，用于数学建模和安全设计的规范。
Topos研究所（Topos Institute）是位于伯克利的一个专注于范畴论的数学研究机构。那里的三位年轻范畴论学者——Sophie Libkind、David Jaz Myers 和 Owen Lynch——撰写了一份名为“面向安全AI的双范畴系统理论”的提案，并获得了ARIA的资助。因此，他们现在正迁往牛津，将与 Tim Hosgood、José Siqueira、Xiaoyan Li 等人一起在Topos研究所的第二分支机构——Topos UK工作。
Glaive（格拉斯哥AI验证实验室）格拉斯哥AI验证实验室（GLAIVE）是一家非营利性有限公司，专注于将范畴论应用于AI验证。为其工作的人包括 Dylan Braithwaite、Jade Master、Zans Mihejevs、André Videla、Neil Ghani 和 Jules Hedges。听说他们正在设计基于范畴论的类型论和编程语言。
与Topos UK一样，Glaive也得到了ARIA的支持。
Conexus AIConexus AI 由 Ryan Wisnesky 领导，其相关的开源项目 categorical data 将函子数据迁移（functorial data migration）及相关范畴和形式化方法应用于数据集成问题（该技术被称为生成式符号AI），并用于所谓的“安全AI”（用于验证大语言模型LLM的输出）。
Sandbox AQ除此之外，Tai-Danae Bradley 是 Sandbox AQ（一家专注于AI和量子技术的初创公司）的研究数学家。她在自然语言处理方面应用范畴论发表了几篇有趣的论文。
VERSESVERSES 是一家“构建下一代智能软件系统的认知计算公司”，Karl Friston 担任首席科学家。他们聘请了范畴论学者 Toby St Clere Smith 和 Marco Perrin，他们正在开发用于近似贝叶斯推理的组合工具。
本文发表于2025年2月8日，归类于计算机科学、风险。 你可以通过RSS 2.0订阅回复。
读者评论精选Tim 说：
“以前的Topos研究所……”——它现在依然是！😉
John Baez 回复：
是的，我发现这句话很难措辞，听起来确实有点怪。我再改改。
Worley 说：
看到第一段我笑出声了。我父亲是教授（终身教职），所以我第一反应是把它改成：“……因为我有终身教职，所以不用担心再也找不到工作，但很多初级教授知道自己最终会被学术界抛弃，正拼命试图在现实世界找到有报酬的工作。”
John Baez 回复：
当然，职业不稳定的人往往会涌向有钱支持他们的学科，而更稳定的人则有更多的选择自由。更有趣的是，这里列出的许多范畴论学者已经离开学术界，进入了所谓的“准学术界”（para-academia）：即他们自己创造的新机构。
mikrokosmos42 说：
你开篇就说“应用范畴论学者涌向AI是因为那里有钱”。紧接着列出了一大串同事（很多是你的 junior 同事，有些人还在读博），他们拿的是政府机构的资金来做AI安全研究，而不是给公司做AI产品。这读起来感觉不太好。你把拿公司钱的同事和拿政府安全研究经费的同事混为一谈了。
John Baez 回复：
我列出了我知道的所有靠做AI领工资的范畴论学者。这可能不完整，但我列出了我知道的每一个人。我不认为我的引言是“友善”的，但我肯定不是在敌意攻击。我想很明显我很担心AI研究，也很担心我那么多有前途的年轻同事都转行去做这个了。好消息是，他们不仅仅是在用常规方式做大语言模型，而是试图让AI变得更好。Symbolica的人试图用范畴论发展深度学习架构的通用理论。ARIA的安全AI项目试图通过开发更好的理解和控制AI的方法来使其更安全。所以这项研究很有可能会造福世界。但我认为整个领域的结果还很难预测。我希望所有这些人都用范畴论来帮助应对我们面临的生态危机——但那里没钱，那就好比逆流而上。钱来自富人和权贵。
Taliesin Beynon (Symbolica研究总监) 说：
我是Taliesin Beynon，在Symbolica担任研究总监。不代表公司官方发言。
首先，感谢你对ACT+AI人士的精彩总结。那里有很多我非常尊敬的聪明人。
至于我和公司的同事们，我们绝对还是一个CT（范畴论）商店。例如，某种函子语义学被证明是我们杀手级的理论工具。虽然我们的工作是开发高效的神经符号模型而不是发表学术论文，但我们（tslil clingman, Mitch Buckley, Paul Lessard和我）有一些纯CT成果，有时间会分享。我认为它们为CT/TT/PL重叠领域的某些东西提供了新颖而优雅的视角。
我们从其他源泉汲取灵感：代数几何、贝叶斯推断、深度学习、定理证明、依赖类型论、逻辑和函数式编程、编译器和数据库，以及数组编程。当然，范畴论是让你能连贯地跨越这些领域的工具；我不知道没有它你怎么思考。所以，CT会留下来，至少在我脑子里是这样。
另外一件事：早期的初创公司环境非常“多变”。为了打造一个小团队的凝聚力，在早期员工中筛选以找到才能、协作风格和心理先验的互补组合是很正常的。甚至时区都可能成为挑战——团队分散在美国、英国和澳大利亚。
我非常喜欢Dom（多米尼克·维里蒂），对他离开我们感到非常遗憾。但这跟范畴论无关。
Symbuttockika 说：
你对Symbolica的评论很到位，尽管实际情况可能更令人担忧，前雇员可能因为诽谤协议而不能发声。虽然初创公司确实会有人员流动，但在各个领导层对待员工的方式在我看来很有问题。如果你深挖那些“发号施令”的人的资历和经验，这种待遇并不奇怪（虽然看着心酸和亲身经历是两回事）。事实是，他们开除了最初负责技术层面筹款的人，只留下了Paul Lessard（我先声明我对他本人没意见），这应该引起警惕。
关于这家公司我能说的太多了，但我还是等着看未来几个月他们的产出吧；在不得不发布点东西来证明自己之前，你能自称研究实验室并用行话搪塞的时间也就那么长。在我看来，这家公司是由一群极度自负的人经营的，尽管我想弄明白他们的经验和能力能在多大程度上证明这种自负是合理的。他们不断贬低那些拥有远比他们更称职人才的实验室，用模糊荒谬的论点，这让我特别恼火。我想以我朋友最近告诉我的话结束：“似乎Symbolica唯一成功交付的产品就是把员工输送去更好的公司”，鉴于美国办事处从12人缩减到3人（据我最后检查），我深表赞同。
ievutec 说：
作为一个不受诉讼威胁的前雇员，我要非常公开地说，我在Bruno离职前在Symbolica看到的只有猖獗的伪科学和对员工的虐待。我看到过科学问题被驳回、人们被领导层侮辱和已读不回的帖子。他们对真正的研究毫无好奇心，如果某个论点让领导层“感觉不好”，哪怕论证清晰且明显有优点，也会被驳回。Symbolica在乎范畴论只是为了用它装点门面显得合法，背地里根本不做实际研究。
我知道外界只能看到现在的表象。我不指望谁信我，毕竟我受了伤。我会等着球自己掉下来，我不指望那里能出什么好东西，那本身就是证据。但我愿意用我的名誉来让外界知道他们缺乏诚信和残忍的能力。
如今很多美好的事物都被邪恶贪婪的人拆毁了。我不会袖手旁观看着这里发生这种事，哪怕规模小得多。他们可以雇佣任何人，但这改变不了公司固有的问题。我尊重John不知道全部内情，但我讨厌看到任何形式的、对Symbolica那种行为的意外辩护。
Bruno Gavranovic 说：
嗨 John，
谢谢你的博客文章。
因为很多人问我关于Symbolica发生了什么，但我没法说，我想在此澄清：如果你想了解更多，请联系我。
祝好，
Bruno Gavranovic
（博客托管于 WordPress.com）
原文链接: Category Theorists in AI | Azimuth
https://blog.sciencenet.cn/blog-3582667-1534763.html
上一篇：AI对"因果凝聚框架的五种意义(二)"的概括
下一篇：意义组合分布模型的数学基础
