AI 大模型发展的现状、挑战与未来展望
作者：微信文章针对当前大模型发展的观察，AI作为这一轮AI革命的核心，正在以前所未有的速度快速推进。它的迭代速度不再是按年或月计算，而是以周甚至日的方式在不断推陈出新，并且在各个领域都具备广泛的应用场景和潜力，很多具体产业场景已经在快速规模化落地。
但这里依然存在一些真实的问题和挑战。
智能黑盒
到现在为止，为什么AI会涌现出智能？虽然人类创造了AI，但我们却越来越不懂它，不清楚其中的底层逻辑和原理。关于智能涌现的原因，有很多猜测，但也都只是猜测。例如，有一种说法认为，AI从海量人类知识中学习到了世界的投影，从这些知识和信息中反过来学习并理解了世界的规律，从而具备了智能。还有一种说法认为，大模型本质上是一种无损压缩，为了实现更好的压缩，它逼自己去了解世界运行的隐藏规律，所以看起来就显得智能。
这些都只是猜测，而我们唯一能观测到的现实情况是，当模型规模超过某个临界点，比如达到百亿参数级别时，它突然具备了小模型原来完全不具备的能力。
这其实也隐藏了一个风险：当你无法解释它的时候，也就不知道它什么时候会出现幻觉、会犯错，也就无法控制它，这一点尚且无解。
缩放定律是否可持续
缩放定律会持续有效吗？像OpenAI包括Grok，他们公司的核心信仰就是缩放定律，也就是说模型的性能与它的计算量、参数、数据量呈现显著的幂律关系。所以最简单的一条路径就是，只要去堆算力、堆数据，模型就会变得更强。
但问题是：
数据是有限的：人类有史以来的数据正在面临枯竭的风险，尤其是高质量的文本数据快要被用光了。
路径的有效性存疑：这种“大力出奇迹”的智能路径是否真的有效，这条路还能不能走下去，是一个巨大的问号。
而所谓的信仰就是：我不管别人认为它是否正确，但我依然坚定这条路是对的。
基于这个逻辑，就像前段时间AMD的苏姿丰提到的，OpenAI的人每一次找到她聊天时都会谈到，他们的算力快用完了，算力不够。所以目前的AI竞争俨然就变成了能源、芯片和数据的竞争。
这进一步会导致，基础大模型的竞争，变成了少数巨头玩家才能玩得起的游戏。
转折
有意思的是，每次当我们提到数据枯竭、算力不够、能源受限时，总是会找到新方法。尤其是合成数据和多模态数据，正在迅速地token化，然后融入到模型当中。
所以到目前为止，缩放定律依旧有效。但我们真的不知道这还会不会持续下去。而且，根据杨立昆和李飞飞他们的观点，现实的物理世界本质上来说就是一个巨大的数据库。过往我们人类是通过统计分析这个现实物理世界的各种数据，然后去总结规律，发现了牛顿三定律、热力学定律、各种电磁学各种定律等等。
但是，你要知道，这是人类创造的“二手”世界。所以一旦我们的算力、能源跟得上，那其实最好的方式是绕过人类这个“二道贩子”，直接去感受这个“一手”世界——由原子、分子和物理定律构建的真实世界。
这其实是为缩放定律的续命打下坚实的基础，理论上能为其提供无限的燃料库。
这是一个苦涩的教训，有太多的实例和数据在反复证明：人类定义的所谓先进概念、先进方法，甚至包括人类所理解的思考和推理模式，事实上在限制大模型的探索。
首先，某种意义上讲，人类学习的二手经验中存在大量错误，充满了各种噪声。其次，更好的方式其实是绕过这些，直接面对真实世界。典型的产品代表就是各种机器人，包括现在的自动驾驶和人形机器人。
基于这些逻辑推断，AI的快速发展远未达到尽头，一切才刚刚开始。未来一定会有魔法般的AI产品涌现，让我们拭目以待。
共勉！
页:
[1]