在开始 GPT-3，拥有 175 亿个参数。然后他们来了 PaLM、威震天-图灵、 龙猫 等等, 并且参数突破了万亿门槛。它们是 LLM（大型语言模型），是经过大量文本训练来模仿人类语言的模型。他们已经成为人工智能竞赛中无可争议的主角。但有一个问题。
这些模型变得越大越复杂，它们消耗的能量就越多。他们所取得的进步似乎只是线性增长，而不是像成本那样呈指数增长。这或许是一个信号，要实现令人垂涎的 AGI，通用人工智能 能够像（或超过）人类一样思考 需要进行范式转变。答案不仅在于大数据，还在于更高效、“理性”的架构。
LLM悖论
让我们明确一点：大型语言模型是人类聪明才智的奇迹。 他们学会了以令人难以置信的方式掌握语言的微妙之处。他们能够撰写文章、回答问题、总结复杂的概念、在数十种语言之间进行翻译，现在他们甚至知道如何生成代码。有时，我觉得我并不夸张，他们似乎抓住了歌词的深刻含义，对世界有着近乎人类的理解。
已经。几乎。
但我们越给他们压力，他们的局限性就越明显：他们非常擅长识别模式和模仿风格，但不擅长独立思考。在他们光鲜亮丽的语言表现背后，并没有真正的智力，也没有与他们接受训练的数据脱节的推理和解决问题的能力。没有什么。
为了获得这些部分结果，法学硕士需要 过多的能量。 可以说，在能量层面上，训练 GPT-3 是“昂贵的” 相当于乘坐飞机在纽约和旧金山之间飞行 700 次。 巨大的环境和经济成本，随着模型规模的每一次飞跃而呈指数级增长。就好像为了让工人提高一点生产力，我们必须每个月将他们的工资加倍。 从长远来看，这是一种不可持续的动态。
火花不存在
但这不仅仅是成本效益问题。还有一个更深层次的问题困扰着法学硕士，这削弱了他们成为通用人工智能基础的雄心。这是缺乏抽象推理，缺乏超越肤浅类比的真正“思想”。
一些研究人员希望，一旦获得足够大的参数和数据集，这种类型的能力就可以从法学硕士中自发地“出现”。这个想法是，你向模型投入的信息和计算能力越多，它就越能开始开发自己的智能，不仅可以模拟人类语言，还可以模拟潜在的认知过程。
但到目前为止，还没有出现这种“紧急情况”的迹象。 即使是最先进的法学硕士，在面临需要逻辑推理、计划和创造性创造力的任务时，也会迷失在毫无意义的猜想和幻觉中。看来，智能，真正的智能，不仅仅是一个极其残酷的统计问题，而且需要不同的架构和学习过程，而这些在很大程度上仍有待发现。
通用人工智能的新路径
法学硕士所表现出的困难是许多研究人员正在探索实现 AGI 最终目标的替代方法的基础。其中之一是 范畴论，抽象数学的一个分支，研究代数结构之间的关系。一些初创公司，例如 象征性的，相信它可以为构建能够开发世界符号表示的人工智能系统提供理论框架，而不仅仅是单词之间的统计关联。
另一个有希望的趋势是 “目标导向”的人工智能，即旨在在复杂的三维环境中实现特定目标，以物理和语言方式与对象和代理交互。这个想法是，智力不是在真空中诞生的，而是在真空中发展的 实施例，行动体现在世界上，就像发生在孩子身上一样。毫不奇怪，估计 一个 4 岁的孩子通过对环境的多感官探索，已经处理了大约是当前最大的法学硕士数据的 50 倍。
这些只是人工智能领域正在开辟的两个新领域，试图克服法学硕士的局限性，真正接近通用人工智能。这些前沿领域不仅需要技术进步，而且最重要的是需要深刻地重新思考智能是什么以及智能如何在人工系统中出现。
LLM，（人工智能）不再存在于此
我会进入正题。 几十年来，人工智能一直“陷入”纯粹符号操纵的范式中，其基础是思维本质上是根据句法规则处理抽象符号串。它是催生了专家系统和语义搜索引擎的范例，并且最终奠定了当前法学硕士的基础，尽管通过数据集和神经架构得到了增强。
但也许正是这种“脱离实体”的还原主义范式才是通用人工智能的真正瓶颈。 也许智能不仅仅是一种在计算机上运行的算法，而是复杂系统的一种新兴属性，它与环境动态交互，修改环境并允许自身在感知、行动和学习的连续循环中进行修改。
也许，为了创造真正的通用人工智能，我们必须从我们所知道的唯一通用智能，即生物智能中汲取更多灵感，它具有分布式架构、神经可塑性、锚定于世界的感觉运动。也许我们还必须认识到，智能不是一个要实现的目标，而是一个不断发展的过程，它没有预定义的最终形式。
这并不意味着法学硕士毫无用处或被丢弃
事实并非如此：它们代表了人工智能发展的一个重要阶段，并且仍然有许多实际应用有待探索。但也许现在是时候减少许多人所表达的救世主期望，并认识到它们作为通用人工智能候选者的内在局限性了。
如果它真的到来，AGI 可能不会是一个会说 1000 种语言的无形超级大脑，而是一个集成的、具体的智能体，可以向世界学习并改变它，有点像我们人类。为了实现这一目标，不仅需要更多的精力，而且最重要的是需要更多的想象力。
可能的边界
我认为重点甚至不是达到 AGI。重点是不断拓展当今人类和未来人工智能的智能领域。它意味着通过 混合协作 我们的生物思维和合成思维之间。
毕竟，自从我们在石头上刻下第一个符号或按下计算机上的第一个按键以来，这就是我们一直在做的事情。 使用技术 增强我们的智力，增加我们的认知和创造力，解决日益庞大和复杂的问题。
法学硕士尽管有其局限性，但代表着在这条道路上向前迈出了一步。它们向我们展示了语言是多么灵活和强大，它本身就是一种技术，渗透到我们生活的各个方面。它们挑战我们发明新的语法、新的思想语法，表达无法表达的事物，想象难以想象的事物。
真正的目标不是创造一种取代我们的人工智能，而是与之共生共同进化，带来我们甚至还不知道如何构想的智能形式。
LLM 与智能的未来
法学硕士将继续存在。就像交通领域的自行车一样，它们注定会为我们提供帮助，但还需要更多。
也许智能的未来不是一个技术奇点，而是多个相互关联的智能，人类和非人类，生物和合成。认知多样性的爆炸式增长将带我们超越当前的思想限制，走向意义和可能性的新领域。
但要实现这一目标，我们必须首先摆脱仍然囚禁我们的成见和狭隘愿景。我们必须停止追逐计算错觉，这些错觉以笨拙和片面的方式再现了我们智力的外在表现，而没有掌握其深刻的本质。
我们必须有勇气从根本上重新思考在不断变化的宇宙中智慧意味着什么。我们必须怀着好奇心、开放性和热情去做这件事。据了解 智能不是一个有待发现的算法，而是一个需要日复一日、一个又一个错误、一个又一个直觉来创建和扩展的过程。
通往 AGI 的道路，或者无论未来的智能是什么，不会（仅）通过法学硕士。它穿过我们能够想象到的意想不到的联系，穿过我们将能够居住的未探索的空间，穿过我们将能够提出的不恰当的问题。
它体现了我们惊叹、梦想、犯错、学习、解构和重建我们自己和周围世界的能力。因为智慧无非就是这样：总是敢于冒险更远一点、更高一点、更深一点的勇气。迈向下一个突破极限、探索下一个前沿。面对等待着我们的未知事物，借助人工智能，也许我们将不再感到害怕。
