当AI有了创造性，会不会彻底取代人。因为计算机和人相比，有更多更强的优势，一旦突破某个界限，意味着一泻千里。好比发明创造，过去认为只有人类可以，包括人工智能本身，也是证明人类创造性的证据。不过，人工智能超越人类，可能就发生在现在。

尽管机器在许多任务上都优于人类，从制造到玩游戏1,2，他们通常被认为没有能力创造或发明事物。但这种情况正在改变：在过去的三年里，科技公司一直在发布人工智能（AI）程序，这些程序可以以令人印象深刻的创造力进行绘画或写作。

科学发现可能是下一个目标，因为计算机开始发现科学家无法发现的知识。《自然》杂志，Romera-Paredes等人。3报告使用人工智能的自主数学发现——不是为了检查证明或执行繁琐的计算，而是为了解决开放性问题。这种概念验证可能会被其他类似的程序所遵循，因为软件成为科学发现的创造性贡献者。

罗梅拉-帕雷德斯及其同事的工作是一系列研究的最新一步，该研究试图通过从生物进化中汲取灵感来自动创建程序，该领域称为遗传编程4.该过程从运行许多随机程序开始，以找出每个程序解决目标问题的程度。然后以类似于遗传变异的方式选择、复制和随机修改最好的程序。然后，该过程从这些修改后的程序重新开始，这些程序被选择和修改，直到一个程序充分解决问题。

遗传编程的关键问题是如何表示程序，以便它们可以通过随机变异轻松但有意义地修改。换句话说，计算机程序的“DNA”是什么？例如，向用 Python 脚本语言编写的程序添加随机字母不太可能导致程序遵循 Python 语法，这意味着绝大多数修改后的程序不能由计算机执行，因此是无用的。

为了解决这个问题，基因编程研究人员从编译器中汲取了灵感，编译器是将用编程语言编写的文本转换为计算机可以解释的代码的程序。编译器用抽象的“树”结构表示计算机内存中的程序。使用这种表示，遗传编程系统通过将树中的一个节点随机更改为不同的值来“突变”程序（图 1a）。例如，突变可能会用减号替换加号，或者将数字 2 替换为 3。同样，系统通过交换从两个独立程序中随机选择的子树来混合两个程序。

图1 |使用大型语言模型进行遗传编程。遗传编程是一种“突变”代码的计算机科学方法，一次一个变体。a，计算机程序可以用抽象的“树”结构表示。在这种表示中，遗传编程涉及随机更改树中的一个节点，测试更改是否改进了程序，然后在性能最高的程序上重复该过程。b，Romera-Paredes 等人没有对抽象树进行更改。3设计了一种遗传编程方法，该方法涉及将两个程序连接起来，并要求大型语言模型（LLM）使用连接对作为提示自动完成第三个程序。这种方法使作者能够生成在其特定上下文中可能有意义的程序变体。

这种方法产生了许多令人着迷的结果。在过去的 20 年里，人们举办了一场竞赛，以展示受进化启发的算法如何与人类的算法相媲美（见 human-competitive.org/awards）。一个例子是一个名为Eureqa的程序，它仅使用数据即可自动查找经典动力系统（例如摆动钟摆）的运动方程5.另一个例子是GenProg系统6，它提供了一种自动修复现有开源程序的方法，甚至为开发人员赚了钱。

然而，到目前为止，遗传编程只对方程式或程序的短部分（通常由十几行组成）是成功的。这样做的原因是编程很难。它需要正确的语法和直觉，知道什么可以工作。每一次更改都要求程序员考虑程序其余部分的上下文。一般来说，语法树中的随机变化很少有意义，遗传编程过程只能通过数百万次重复产生结果。

这种情况正在随着大型语言模型 （LLM） 的出现而改变。这些大型神经网络经过训练，在输入数百万行代码后，可以预测给定上下文（称为提示）的代码行中的下一个单词。这一大堆示例使模型能够“直觉”地了解典型程序员在相同情况下会写什么。许多程序员每天都在使用专门用于代码生成的 LLM，就像人们使用许多应用程序中提供的自动完成功能一样——模型猜测每段代码后面最有可能的文本，因此无需键入或记住函数名称。

LLM 是程序员改变游戏规则的工具，但它们也可能是基因编程难题中缺失的一块：它们嵌入了数千名程序员的知识，为给定的上下文生成有意义的代码。LLM 可以生成用标准编程语言（如 Python）编写的程序的变体，而不是替换语法树的随机部分。为此，一个简单但强大的方法是选择两个程序，将它们连接起来，并要求LLM使用连接对作为提示来完成程序，从而生成第三个程序（图1b）。结果可能具有有效的语法，并且在其上下文中是有意义的。但是，它可能不准确或最佳。这就是为什么必须迭代该过程的原因，通过选择性能最高的程序，使用 LLM 生成变体，然后测试这些变体。

Romera-Paredes 等人。使用这种新的遗传编程方法来寻找解决优化和几何数学问题的方法，这些方法比人类程序员的最佳尝试更好。作者的系统显示出希望，但它仍然需要“评估函数”形式的指导，这将模型推向最有效的方向。更直接的方法是使用“验证函数”，该函数确定问题何时得到解决。作者的评估功能类似于学校测试，旨在通过在简单和困难的问题之间取得平衡来奖励学习。

使用自动编程器，例如Romera-Paredes及其同事开发的程序，在制定正确的测试时，需要同样程度的仔细判断。然而，作者的创新展示了使用 LLM 编写解决问题的创造性程序的力量和潜力，这一进步是发展成功故事的一部分7,8.随着这些模型的问题变得越来越重要，很明显，LLM将为遗传编程注入新的活力。