从定量推理到理解自然语言，大型语言模型（LLM）在解决复杂任务方面已经表现出了巨大的能力。然而，大型语言模型有时会受到“幻觉”的困扰，导致它们可能做出看似合理但不正确的陈述。这大大阻碍了现有的大型模型在科学发现中的应用。
在一项新发表于《自然》杂志的研究中，DeepMind的研究团队介绍了一项基于大型语言模型的人工智能系统，可以在数学和计算机科学中生成新的解。
迭代中进化
这个人工智能系统名为FunSearch，它基于的是一个经过预先训练的大型语言模型与一个自动评估器。大型语言模型的目标是以计算机代码的形式提供创造性的解决方案，而自动评估器则可以防止幻觉和错误理念的产生。通过在这两个组件之间来回迭代，就可以将最初的解决方案，进化成为新的知识。
FunSearch会自动为受过特殊训练的大型语言模型创建请求，要求其编写简短的计算机程序，为特定的数学问题生成解决方案。然后系统会快速检查这些解决方案是否比已知的更好。如果有，那么最好的程序会被添加回现有程序池中；如果没有，它会向大型语言模型提供反馈，并在下一轮迭代中进行改进。如此一来，便形成了一个自我改进的循环。
在不同领域发现新的数学知识和算法是一项非常艰巨的任务，它在很大程度上都超出了目前最先进的人工智能的能力。为了在FunSearch中解决这些具有挑战性的问题，研究人员设置了许多关键组件。他们的进化过程并非从零开始，而是从对问题的共同认识开始，让FunSearch专注于寻找最关键的理念，以做出新的发现。此外，他们的进化过程还使用了一种能提高理念的多样性、避免停滞的策略。最后，他们并行运行进化过程来提高系统效率。
数学的新天地
为了验证FunSearch的实际用途，DeepMind团队在“帽集问题”（cap set）上对它进行了测试。这是数学领域中的一个长期存在的开放问题，几十年来一直困扰着多个研究领域的数学家。
这个问题涉及到在高维网格中寻找最大的点集（帽集），其中没有三个点是位于一条线上的。这个问题很重要，因为它可以作为极值组合学中其他问题的模型。想要依靠蛮力来计算这个问题是行不通的，因为要考虑的可能性的数量很快就会超过全宇宙中的原子数量。
FunSearch发现了帽集问题的新解决方案，在一些设定下发现了有史以来最大的帽集。这是帽集规模在过去20年来的最大增幅。此外，FunSearch的求解性能优于最先进的计算求解器，因为这个问题的规模远远超出了它们的计算能力。
此外，受到在帽集问题上的成功的鼓舞，DeepMind团队还决定将FunSearch应用于发现更有效的解决“装箱问题”（bin packing）的算法。这是一个具有普遍应用的问题，它关注的是如何将不同尺寸的物品打包到最少数量的箱子中。它是许多现实世界中的问题的核心，从向容器装载物品到如何使数据分配更高效。
现有的对装箱问题的最佳解决方案（左）和FunSearch发现对装箱问题的解决方案。（图/DeepMind）
线上装箱问题通常使用基于人类经验的算法规则（启发法）来解决。但是找到一套适用于不同规模、时间、容量的特定情况的规则是很困难的。尽管与帽集问题非常不同，但设置FunSearch求解这个问题却很容易。FunSearch给出了一个自动定制的程序（适应数据的具体情况），它优于现有的启发式方法，可以使用更少的箱子来打包相同数量的物品。
发现与超越
虽然发现新的数学知识固然重要，但与传统的计算机搜索技术相比，FunSearch方法还具有另一个额外优势，那就是FunSearch不仅仅是一个生成问题的解决方案的黑匣子，而且它所生成的程序还可以描述这些解决方案是如何求得的。这与科学家在解决问题时的思维模式很像。
科学进步总是依赖于分享新认知的能力。研究人员表示，FunSearch之所以可以成为一个强大的科学工具，正是因为它输出的程序不仅展示了解决方案是什么，还揭示了它的解决方案是如何构建的。研究人员希望这能激发使用FunSearch的科学家进一步地产生新的见解，推动科学发现与进步的良性循环。
这项研究首次证明，一个基于大型语言系统的人工智能系统，可以超越数学家和计算机科学家所知道的。它不仅新颖，而且比目前已有的任何方法都更有效。DeepMind团队认为，这仅仅是个开始。随着大型语言模型的广泛发展，FunSearch将会得到进一步改善。而对于科学和工业中的许多问题，使用大型语言模型驱动的方法生成有效和定制的算法也将成为普遍做法。
参考来源：
https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/
https://www.nature.com/articles/d41586-023-04043-w
https://www.nature.com/articles/s41586-023-06924-6
本文来自微信公众号：原理 （ID：principia1687），作者：小雨
相关文章
