李彦宏内部讲话流出！谈大模型三个认知误区、称不允许打榜

9月11日消息，据媒体报道，百度创始人李彦宏的一则内部讲话曝光，称外界对大模型有相当多的误解。

在此次讲话中，李彦宏提到了外界对大模型的三个认知误区，包括大模型竞争、开源模型效率、智能体趋势等热点话题。

对于大模型之间的壁垒，李彦宏表示，部分自媒体的炒作，再加上每个新模型发布的时候都有宣传的动力，使得大家有一种印象，认为模型之间的能力差别已经比较小了，其实真不是这样。

“真正衡量文心大模型能力的是，你在具体应用场景当中到底有没有能够满足用户的需求，有没有能够产生价值的增益，这是我们真正在乎的”，李彦宏表示，“我不允许我们的技术人员去打榜”。

不仅模型之间还有着明显的差距，大模型的天花板也很高，跟理想状态还差得非常远，所以模型还需要不断快速地去迭代、去更新、去升级，几年、十几年如一日地投入。

以下为内部讲话内容

问：有观点认为，大模型之间的能力已经没有壁垒了？

李彦宏：这个说法我不同意。我认为外界对大模型有相当多的误解，每一个新模型发布时，肯定都想说自己有多好，每次都去跟GPT-4o做比较，拿测试集或者弄一些榜单，说我的得分已经跟它差不多了，甚至某些单项上得分已经超过它了，但这并不能证明这些新发的模型跟OpenAl最先进的模型相比已经没有那么大的差距了。

模型之间的差距是多维度的，一个维度是能力方面，不管是理解能力、生成能力、逻辑推理能力还是记忆能力等这些基本能力上的差距；另一个维度是成本方面，你想具备这个能力或者想回答这些问题，你付出的成本是多少？

有些模型可能推理速度很慢，虽然也达到同样的效果了，但实际上它的体验还是不如最先进的模型。还有就是对于测试集的over-fitting,每一个想证明自己能力的模型都会去打榜，打榜时他就要猜别人到底在测什么、哪些题我用什么样的技巧就能做对，所以从榜单或者测试集上看，你觉得能力已经很接近了，但到实际应用中还是有明显差距的。

部分自媒体的炒作，再加上每个新模型发布的时候都有宣传的动力，使得大家有一种印象，认为模型之间的能力差别已经比较小了，其实真不是这样。在实际使用过程当中，我不允许我们的技术人员去打榜，真正衡量文心大模型能力的是，你在具体应用场景当中到底有没有能够满足用户的需求，有没有能够产生价值的增益，这是我们真正在乎的。

我们需要看到，一方面模型能力之间还有比较明显的差距，另外一方面天花板很高，你今天做到的跟你实际想要做到的、跟理想状态还差得非常远，所以模型还需要不断快速地去迭代、去更新、去升级。

即使今天你看到差距也许没有那么大了，再过一年你看看差距有没有拉大？ 有谁能够持续不断地几年甚至十几年如一日往这个方向上去投入，让它越来越能够满足用户的需求、满足场景、满足提升效率或者说降低成本等需求？不同的模型之间差距不是越来越小，是会越来越大的，只是他们不知道真实需求的时候，只去做测试集的题可能觉得差不多了。

所谓的领先12个月或者落后18个月，我认为没有那么重要。我们每个公司都处在完全竞争的市场环境中，你不管做什么方向都有很多竞争对手，如果你能永远保证领先对手12~18个月，那是天下无敌的，不要觉得12—18个月是很短的时间，哪怕你能保证永远领先竞争对手6个月，那就赢了，你的市场份额可能是70%，而对手可能仅为20%甚至10%的份额。

问：有人说开源模型正在缩小与闭源模型的差距，这会摧毁闭源大模型公司的商业模式吗？

李彦宏：这个问题跟上一个问题是高度关联的，我刚才讲一个模型除了能力或效果之外还要看效率，效率上开源模型是不行的。闭源模型准确地讲应该叫商业模型，商业化的模型是无数个用户或者说客户在共享同样的资源，在分摊研发成本、分摊推理用的机器资源和GPU，而开源模型需要你自己去部署一套东西，部署之后GPU的使用率是多少呢？

我们的文心大模型3.5、4.0也好，使用率都是90%多，你部署一个开源模型有多少人在用？我们对外讲文心大模型每天调用量超过6亿，每天生成的token数超过万亿，哪个开源模型可以说自己一天调用量是多少、生成了多少token?没有人用的话成本怎么分担？推理成本怎么能够跟商业化模型相比呢？

在大模型时代之前，大家习惯了开源意味着免费、意味着成本低。那时市面上那种商业化的产品，每一个版本都要为之付钱，比如买一个电脑装Windows，可能微软要从中收多少钱，而你如果跑一个Linux就不用花这个钱了。由于Linux是开源的，所有程序员都可以看到代码，哪儿做的不好我可以去更新，更新了再check in，大家众人拾柴火焰高，你在巨人的肩膀上可以不断地进步。

但是这些东西在大模型时代都不成立，大模型时代大家经常讲的是GPU有多贵，算力是决定大模型成败的一个关键因素，开源的模型给你送算力吗？它不给你送算力，怎么能够让算力高效地被利用？开源模型解决不了这个问题。

以前你买电脑的时候就已经为算力付费了，但大模型的推理不是这样，这个推理其实很贵。所以说开源大模型的价值在教学科研这些领域，要想搞清楚大模型的工作原理是啥，如果不知道源代码什么的肯定是有劣势的，但是真正在商业领域，当你追求的是效率、效果，追求的是最低的成本时，开源模型是没有优势的。

问：AI应用的演进方式是什么？为什么强调智能体？

李彦宏：大模型发展的过程必然要经历这几个阶段，一开始是对人进行辅助，最后出来什么东西需要人把最后一道关，我们确定它的效果是OK的，各方面都不错才会让它出去，这是Copilot阶段；再往下走就是Agent智能体，外界对于Agent有各种各样不同的定义，最主要还是说它有了一定的自主性，具备自主使用工具、反思、自我进化等能力；这种自动化程度再往下走就变成一个所谓的Al Worker，能够像人一样做各种各样的脑力和体力劳动，各方面的工作都可以独立完成。肯定要有这么一个过程。

“智能体是大模型最重要的发展方向”这个判断，其实是一个非共识。百度Create大会上我们发了三个产品，AgentBuilder、AppBuilder、ModelBuilder，其中AgentBuilder和AppBuilder都是讲智能体的，一个门槛更低一些，另一个功能更强大一些。

当我们解释完了之后，有些人终于开始明白这东西确实有意思，能够产生价值，而且已经可以相对比较低门槛地做出来大家感觉可用的东西。从那时候开始智能体的热度才慢慢上来，也开始有很多人看好智能体这个发展方向，但是到今天为止智能体还不是共识，像百度这样把智能体作为大模型最重要的战略、最重要的发展方向的公司并不多。

为什么我们这么强调智能体？因为智能体的门槛确实很低，我们去年说要卷应用、大家都去做应用，其实很多人还是说不知道该怎么做，不知道这个方向能不能做出来，我到底要用到什么能力才能够在这个场景下产生价值，这里面有无数不确定性，大家不知道怎么从模型变成应用。

但是智能体提供了一个非常直接、非常高效、非常简单的方式，在模型之上构建智能体是相当方便的，这也是为什么今天每周都有上万个新的智能体在文心平台上被创造出来。

智能体方面我们已经看到了趋势，也有比较好的先决条件，除了模型本身的能力比较强大之外，我们也有很好的分发通路。

百度的APP，尤其是百度搜索一天有数以亿计的人在用，用户的需求主动向我们表达了，哪一个智能体能更好地去回答他这些问题，去满足他这些需求，这是一个自然匹配的过程，所以我们是最能够帮助这些开发者分发他们智能体的。