微软首席技术官凯文·斯科特认为LLM“扩展定律”经得起质疑的考验

**微软首席技术官Kevin Scott坚信大型语言模型的“扩展定律”将继续发挥作用**
凯文·斯科特（Kevin Scott），微软首席技术官（CTO），在近日的一次访谈中再次强调了他对大型语言模型（LLM）“扩展定律”的信念。尽管存在对此领域的怀疑和批评之声，斯科特依然坚信这些定律将继续推动人工智能的进步。
在这次由Sequoia Capital的Training Data podcast发布的访谈中，斯科特明确表示：“尽管其他人可能有不同的看法，但我认为在规模扩大方面，我们尚未达到边际效益递减的境地。”他解释说，人工智能的进步在某种程度上遵循指数规律，但每过几年我们才能观察到显著的进步，因为需要时间来建造超级计算机并在其上训练模型。
大型语言模型的扩展定律指的是OpenAI研究者在2020年发现的一种模式：随着模型规模的扩大（更多参数）、训练数据的增加以及计算能力的增强，语言模型的性能往往会以可预测的方式提高。这些定律表明，简单地增加模型大小和训练数据量可以在不突破基本算法的情况下显著提高人工智能的能力。
此后，一些研究者对扩展定律能否持续提出了质疑，但这一概念仍然是OpenAI人工智能开发的核心。微软作为OpenAI的重要合作伙伴，对其持续投入巨资。斯科特认为即使出现了所谓的“高原效应”，他们仍坚信大型语言模型会继续改进。他认为通过投入更多的计算资源，未来几代模型会在某些领域表现得更好。斯科特在接受采访时说：“下一代模型将几乎肯定会更好解决那些当前模型还较为薄弱的问题。”他进一步指出，随着时间的推移，这些模型的性能提升将会降低使用成本并减少脆弱性。这意味着更复杂的应用场景将得以实现。这种进步是每一代模型在规模扩大过程中共同遵循的故事线。然而，人工智能社区中的一些批评者认为大型语言模型的进步可能已经停滞在某些程度上接近GPT-4级别的水平他们认为最近的模型如谷歌的Gemini 1.5 Pro、Anthropic的Claude Opus甚至是OpenAI的GPT-4都没有显示出与早期版本相比的显著能力飞跃可能意味着大型语言模型的发展正在接近收益递减的境地对此微软则保持乐观态度认为投资大型模型仍有价值尽管批评的声音不断关于AI的进步可能已经出现高原效应的观感可能是因为公众对于AI的快速发展迅速知晓而感到对其过去的积累感到惊讶因此有人对进步速度产生怀疑实际上大型语言模型的发展已经经历了多年的积累从GPT-3到GPT-4之间有着长达三年的研发周期而许多人对GPT-4的认识仅仅是在其发布之时才了解到之前的GPT-3系列因此对比感受到的进步速度可能会存在偏差斯科特在接受采访时强调未来仍有可能出现显著的突破他认为当前我们正处于这一发展过程中的某个节点每一次进步都可能为未来打开新的可能性随着模型技术的不断发展这一突破指日可待在未来的日子里我们可以共同期待大型语言模型为我们带来更多的惊喜与进步