预练习的 Scaling Law 正在走入死胡同，o1 让更多创业公司从头复生
北京时刻 9 月 13 日清晨，OpenAI 在官网发布了其最新一代模型，没有接连曩昔 GPT 系列的称号，新模型起名为 o1，其时可以获取 o1-Preview 和 o1-mini 这两个版别。
当天，Sam Altman 在交际渠道上振奋地称，「『o1』系列代表新范式的开端」。
但这或许是榜首次，外界比 OpenAI 的掌舵人 Sam Altman 自己，愈加振奋地等待 OpenAI 的新品发布。这份等待里，无关对赛道榜首名的艳羡，更多是同呼吸、共命运的决定性瞬间。下一代模型是否有惊人的开展？能否为 AGI 的浪潮和愿望完结崇奉充值？
本年，你或许也对 AI 这个字眼麻痹了，上一年有多疯狂，本年就有多麻痹。原因无他，在 AI 的落地运用上，看不到决心二字。截止现在，仍未呈现颠覆性的 AI 运用；Inflection.ai、Adept.ai、Character.AI 等最头部的明星公司接连被大厂归入麾下；科技巨子们在财报周被重复拷问 AI 的巨额本钱开销何时看到报答……
这些心情背面，都指向同一个问题，那个所谓的榜首性原理「Scaling Law」可以通向 AGI 吗？以本年十万卡、百亿美金投入，交换模型功用线性添加、乃至对数级添加的门槛来看，这注定是一场玩不起的游戏。不少人开端质疑它的合理性，这波 AI 不会就这样了吧？
这是「o1」诞生的年代性。
在 OpenAI 交出答卷后，AI 创业者表明「又行了」。不同于预操练的 Scaling Law，一条在推理阶段注入强化学习的途径成为明晰的技能新方向，缓缓打开。
极客公园「今夜科技谈」直播间也在榜首时刻约请极客公园创始人 & 总裁张鹏，和立异工场联合首席履行官/办理合伙人汪华、昆仑万维首席科学家&2050 全球研讨院院长颜水成，一同聊了聊 o1 所代表的新范式及创业者脚下的路。
以下是直播沉积文字，由极客公园收拾。
01「o1」释放了明晰的技能信号，但更等待下一个里程碑
张鹏：从上一年传出「Q*项目」到现在，OpenAI的强推理模型「o1 系列」总算发布了。实践用下来，「o1」的发布契合你们的预期作用吗？
颜水成：我用 o1 做的榜首件作业是，把我女儿做的数学题输进去看作用，o1 的体现令人惊喜。它解题的逻辑次序、总结的 CoT（Chain of Thoughts，思想链）信息，让人觉得很纷歧般。
假如是用 GPT-4 或 GPT-4o，仅仅做下一个 token（词元）的猜测，其实咱们心里会打鼓、会置疑：仅仅做下一个词元的猜测，是不是就能完结杂乱推理进程。
但 o1 适当于在答复问题之前，先引进用 CoT（思想链）表明的考虑进程，把杂乱问题先用 planning（规划）的方法将使命拆解，再依据规划的作用一步步细化，终究把一切作用做总结，才得到终究作用。
一个模型的好与欠好，要害在于它是不是直觉上能处理问题。GPT-4 和 GPT-4o 仍是一种快考虑，这种快考虑不太适宜处理杂乱推理问题；可是 o1 是一种慢考虑的进程，像人相同考虑，更或许处理一个问题，尤其是跟数学、编程或许逻辑有关的问题。o1 所代表的技能途径未来会走得十分远，带来十分大的幻想空间。
汪华：我觉得 o1 是一个十分好的作业，瓜熟蒂落，契合预期。契合预期是说这个时刻点该有作用了，为更高的未来预期打开了通路，但并不 surprise，没有超出预期。
由于这个作业其实从上一年就现已有一系列的头绪，包含 OpenAI、DeepMind 出的一系列的论文像 Let』s Verify Step by Step (OpenAI, 2023)，以及其他像 Quiet-STaR 和 in-contest reinforce learning 中都有迹可循。
咱们用强化学习、包含用组成数据去串 Reward Model（奖赏模型）或 Critic Model（评判模型），或许后来用各式各样结构化的推理来前进模型正确率。事实上，无论是 OpenAI、Meta，仍是其他大厂，咱们现在都现已在做相似的作业，这个方向其实是咱们的一个一致。
不但 OpenAI，许多其他模型在数学、编程、推理上都现已有了很大前进，便是由于或多或少用了一部分这方面的技能，但 OpenAI 发布的 o1 是集大成，并且作业做得十分好，并且里边应该有它共同的工程探究。
图片来历：OpenAI 官网
张鹏：预期之内，但还不行惊喜。
汪华：对，整个结构仍是在预期规模之内，没有像 GPT-4 或许 GPT-3.5 发布相同带来很大的惊喜。
你会发现 o1 针对推理等各方面功用的增强，仍是在一些有明晰对与错和关闭作用的范畴。比方 o1 展现的代码、学术解题，包含数据剖析才干其实都归于有明晰信号的范畴。
哪怕是在明晰范畴，比方数学编程的问题，它在做得好的问题上体现十分好，但在一些问题上也做得不太好。也便是说，或许它在操练 Critic Model（评判模型）或许 Reward Model（奖赏模型）的时分，关于下流使命的泛化，或许仍是遵从物理规则。假如对下流使命掩盖得好，它就做得好；假如掩盖得欠好、下流使命没见过这些数据，或许 reward model 无法很好地给予 reward 的时分，它泛化也纷歧定真的能泛化曩昔，所以从这个视点来讲，o1 没有特别的超出常识的部分。
我还测了一些愈加通用推理的场景，在这些范畴，o1 增强得还不太多，许多也没有带来增强的作用。
实践上对 OpenAI 抱持更高的等待是，期望它下一步能做到，把推理泛化到通用范畴。
当然现在端出这么一个十分完善的作业，把这件事给做出来，OpenAI 这点仍是十分凶猛的。并且在跟 OpenAI 的同学聊地利，能感觉到他们在做更难的作业，朝着通用推理的方向在做，仅仅或许现在还不老练，所以先放出来关于 signal（技能信号）更显着的阶段性作用，在代码、数学方面的作业。所以我也十分等待，什么时分 OpenAI 能把下一个里程碑也克服了。
02 强化学习不新鲜，「o1」在用强化学习上有立异
张鹏：o1 现已能在一些范畴展现出杂乱推理的才干，其间很重要的原因是，强化学习在 o1 系列模型里扮演了十分重要的作用。怎样了解强化学习在新一代模型里起的作用？
颜水成：强化学习是一个存在时刻蛮长的方向，把这个技能用得最好的团队应该是谷歌 DeepMind，他们一开端便是从这个视点动身，去处理实在国际的实践问题。
我个人觉得强化学习在 o1 里最中心的点，不在于运用强化学习，由于强化学习在 GPT-3.5 里就现已用了PPO（一种强化学习算法），用一个奖赏函数去辅导 PPO，从而优化模型参数。
强化学习优化一个描绘长时刻累计 rewards 的方针函数，而原先传统算法仅仅求解丢失函数。适当于，在优化 policy action（战略动作）的时分，需求考虑未来一切奖赏的总和。
详细来说，像在围棋博弈中，它会用 self-play（自我博弈）的方法去搜集 action-status 序列，这个进程主动生成一个奖赏值，而不是说去学一个奖赏函数。它是直接主动产生出奖赏，或许说人工可以界说奖赏，用这些奖赏就可以把战略学出来，然后逐渐前进战略。它最大的特色是整个进程不需求人类干涉，不是像 RLHF（依据人类反响的强化学习），有许多的进程需求人去反响。
我觉得其实 o1 跟本来的强化学习有一个最实质的不同。有人以为，o1 的原理或许与斯坦福大学团队 (E Zelikman et al, 2024) 宣布的 Quiet-STaR 研讨作用最相关。Quiet- STaR 的一个特色是从 CoT（思想链）的视点动身，可是 CoT 并不是一开端就存在。
要做推理问题，本来有开端的文本存在，假如在文本里边再刺进一些 CoT 的信息，它就能前进推理作用。
但当咱们期望去处理通用的、杂乱的推理问题时，大部分的状况下 CoT 是不存在的。那么在强化学习的 pipeline（流程管道）里边，怎样把这些 CoT 的信息一步一步生成出来是十分困难的。
这就要问 o1 的模型架构是什么？是一个模型它既可以去做规划，又可以依据规划去生成 CoT，又可以做自我反思（self-reflection），又可以做验证，终究做一个总结，这些一切的作业。仍是说其实是好几个模型，一个模型依据信息生成 CoT，别的一个模型做反响，两个模型彼此交互，逐渐把作用生成。现在 o1 还不是特别清楚，两种或许都能做，单一模型或许会让整个进程更高雅。第二种或许完结起来会更简略一些。
怎样用适宜的方法把 CoT（思想链）生成，我觉得这是 o1，跟其他的强化学习差异最大的当地。这儿的细节还不是很清楚，假如清楚的话，o1 的黑盒问题或许就处理了。
张鹏：怎样把强化学习运用到这一代推理模型里？是一个单体的超级智能、仍是一个团体决议计划，这些还没有被揭露。
颜水成：上一代的强化学习，或许更像下围棋，经过他人已有的棋局，先学了一些东西今后再接着往前走。我觉得要做通用、杂乱推理的话，它就会碰到许多从零开端（zero start），或许一开端底子没有 CoT 的数据，这种状况大约怎样去做学习，有待探究。
2015 年，DeepMind 推出了 AlphaGo，这是榜首个打败围棋国际冠军的核算机程序，经过强化学习，其后继者 AlphaZero 和 MuZero 依据自我对弈与强化学习的方法，变得越来越通用，可以处理许多不同的游戏以及杂乱的实际国际问题，从紧缩视频到发现新的更高效的核算机算法。｜图片来历：DeepMind
张鹏：为什么把强化学习放到模型里，成为接下来开展的一致？这个一致是怎样达到的？中心都是要处理什么样的问题？
汪华：技能上有颜教师在。从商业视点，咱们仍是在评论模型的智能上限这样一个问题。
举个比方，哪怕是一个职工的运用场景，小学生精干的工种，跟中学生、大学生精干的工种，不同仍是十分大的。所以模型的错觉，或许说模型的杂乱指令遵从才干、模型的长链路规划和推理才干，现已约束了模型的进一步商业化，哪怕我不是为了完结 AGI（通用人工智能）。
所以咱们早就现已有这个说法了，一开端就有「体系-1」「体系-2」的说法（快考虑和慢考虑）。根本上预操练适当于常识的紧缩，它本身就跟人的直觉相同，无法进行杂乱的推理，所以必定要找到一个方法来完结「体系-2」。
在完结「体系-2」的时分，用各式各样的结构化推理，包含用各式各样的强化学习，有一个正好的规划，更安稳的模型输出，更好的指令遵从，包含让模型不行是学会常识本身，包含按什么样的 pipeline（流程管道）去运用常识。比方人类在处理问题 A 时会用思想结构一，处理问题 B 时会用思想结构二。像这些问题怎样来做？咱们手里的武器库，其实除了 LLM，便是强化学习。
并且我特别赞同颜教师刚刚的说法，详细完结上用了一个模型仍是两个模型，仅仅一个工程问题，但 CoT 的数据从哪里来？包含怎样来完结一些实在国际的模仿和对立，这个反而是咱们一向在企图霸占的难点。代码和数学之所以能被很快地处理，是由于它的信号十分明晰，对便是对，错便是错，并且它的进程组成，组成它的推理 CoT 数据其实是相对比较简略的，奖赏或许 Critics（评判）也是相对比较清楚。
颜水成：就适当于说奖赏能直接取得。
汪华：更难的便是代码和数学之外，国际上那种杂乱的、复合的，乃至敞开作用的，没有明晰的、必定对错的，乃至没有仅有履行途径的这些问题怎样办。我觉得把这个问题给解了，难度要比一个模型和两个模型其实要难得多。
颜水成：o1 这个结构里边我觉得应该仍是有一个奖赏函数存在的，否则就没方法推演到通用的杂乱推理。
03「o1」开展下去，更挨近一个「超级智能体」张鹏：o1 跟跟此前的 GPT 系列比较，是两个技能方向，可以这么了解吗？
颜水成：对，o1 体现出来的行为不再是下一个 token 的猜测了，而更像是一个超级智能体的姿态，未来可以处理多模态、可以处理东西，可以处理存储回忆，包含短期和长时刻的语义回忆。
《考虑，快与慢》，诺贝尔经济学奖得主丹尼尔·卡尼曼经典之作，介绍了大脑的两种思想体系：体系 1 快速直觉、体系 2 缓慢理性｜图片来历：视觉我国
我个人是以为 o1 这个技能方向必定是对的，从 GPT-4 到 o1 的话，其实便是从「体系-1」到「体系-2」的一个改动。本年 5 月我做过一个讲演，AGI 的结局或许是什么东西，其时提到了两个概念，一个概念叫做 Global Workspace（大局作业空间），一个叫超级智能体。
Global Workspace（大局作业空间）在心理学和神经科学范畴里的一个理论，是说大脑里除了专用的子体系，比方视觉、语音，触觉等子体系之外，或许还存在一个区域叫做 Global Workspace。
假如「体系-2」，便是多步和多模型的方法一同来完结的话，现在 CoT（思想链）产生的作用，它十分像 Global Workspace 的作业原理。用一个注意力的模型，把文本的、未来多模态的、东西等信息都拉到这个空间，一同也把你的方针和存储的回忆（memory）都拿到这个空间里进行推理，测验新的战略、再做验证、测验新的或许性……不断的往前推理，演绎的作用便是终究得到剖析的作用。推理时刻越长，就适当于在 Global Workspace 里的推演进程越长，终究得到的作用也会越好。
关于杂乱的使命无法用「体系-1」（快考虑）一竿子究竟，就用「体系-2」（慢考虑）的 Global Workspace，把信息逐渐分化、推演，一同又动态地去获取东西，动态地去获取存储回忆，终究做总结，得到终究的作用。
所以我觉得 o1 开展下去，或许便是「体系-2」（慢考虑）的 Global Workspace 的 AI 完结方法，假如用 AI 的言语来描绘的话，其实它就像是一个超级智能体。也便是说，o1 开展下去，或许便是一个超级智能体。
04 LLM+RL 的方法，是否可以通向泛化推理？
汪华：强化学习相关的一致其实很早就有，但咱们一向也没处理好问题。当年强化学习也很火，还被视作 AGI 的一个通路，包含机器人范畴也都是用强化学习，但其时就遇到了这个难题：关于十分明晰的使命，奖赏函数很好建、使命的模仿器也很好建；但一旦扩展到实在国际的泛化使命时，就无法泛化，或许无法树立能完好模仿实在国际各式各样、杂乱古怪的使命模仿器，也无法去树立对它很好的奖赏函数。
您觉得按现在这条 LLM（大言语模型）加上 Reinforcement Learning（强化学习）的方法，不止是在有明晰信号的范畴比方代码、数学，假如要往泛化推理走的话，要怎样走？
颜水成：一个最大的不同便是，本来的强化学习，它的泛化功用欠好。每次或许是专门针对一个游戏、或许一组相似的游戏去学一个战略。可是现在它要做通用的杂乱推理，面临一切问题都要有能产生 CoT 的才干，这就会变成是一个巨大数据的问题和工程的问题。
我十分认同汪华的观念，在数学、编程、科学这些问题上，或许比较简略去造一些新的 CoT 数据，可是有一些范畴，想要惹是生非地生成这些 CoT 数据，难度十分高，或许说还处理得欠好。
要处理泛化的问题，数据就要满意多样，但在通用场景的推理泛化问题上，这种 CoT 的数据究竟怎样生成？
或许也有或许底子就没有必要，由于那个问题或许现已处理得很好了，你再加 CoT 或许也没有含义，比方说在有一些问题上，或许感觉 o1 没有带来实质的作用前进，或许由于那种问题本来就现已处理得十分不错了。
张鹏：强化学习鄙人一代的模型里要扮演更重要的作用，会带来什么影响？
汪华：假如大规模采用这个计划，算力会更短少，推理睬变得更重要。
由于之前说推理本钱将来会降 100 倍，现在假如往强化学习的方向开展，推理本钱就更需求降了，由于处理问题要耗费更多的推理 token。下降推理价格其实等效于推理速度前进，需求把推理所需的时刻紧缩下来，许多运用才会变得可用。
第二，模型巨细也要变得十分精干，由于假如无限的扩张基模尺度的话，推理速度会变得更慢、也更贵重，从商业上来讲就愈加不行行了，由于采用结构化推理，或许要耗费 100 倍的 token 来处理同一个问题。
张鹏：你怎样看 LLM+RL 的远景，推理泛化的途径是明晰的吗？
汪华：o1 之后 AI 的未来怎样开展，其实我相对比较保存，什么作业都做两种计划。
榜首种是，咱们在很长段时刻内没有找到泛化的方法。但即使是这样，我个人以为仍然是一个巨大的前进。由于这尽管意味着许多敞开的、复合的、十分杂乱、含糊的问题上，咱们没方法用这个方法来前进，可是商业场景下有许多的问题，比方法令、金融范畴，许多问题是关闭的、明晰的。在这些问题上可以经过这条途径，去组成数据、去做奖赏模型、判别模型（critic model），极大地前进笔直范畴的功用，乃至把功用前进从 Copilot（辅佐驾驭）前进到 Autopilot（主动驾驭）的境地，这便是一个腾跃性的改动。
无人驾驭轿车｜图片来历：视觉我国
这个场景有点像回到 AI 1.0，但比 AI 1.0 好，由于会针对笔直范畴会做出一个个笔直的模型或许一套体系，从商业视点上来说现已是个巨大前进了。现在咱们天天忙着做 copilot，无法做 autopilot，便是由于模型不拿手做长推理，一做杂乱问题就犯错，产生错觉等问题。
第二种，假如能完结通用模型的话，影响就比较大了。哪怕纷歧定带来 AGI，它的泛用性、泛化性差、处理问题仍然比人差，正确率没有高的，但只需高过普通人的平均水平，那也可以给国际上 70% ~ 80% 的作业带来主动化。你要知道咱们许多成年人也做不对奥数题，并且咱们自己也有「错觉」。
05 树立实在国际模仿器：能读万卷书，也能行万里路
张鹏：在今日这个节点看得见期望，可是或许一颗红心两种预备。哪怕不行以彻底泛化，今日也能处理许多问题了，比方在专用范畴里可以做到通用才干合格。
汪华：对，能不能完结推理泛化，我个人觉得要害在于能否结构一套泛化的「实在国际模仿器」。构建这个实在国际模仿器，或许难点在于数据加上算法等一系列的要素。
由于模型跟人互动，处理这些敞开问题的时分，实质上是在跟实在国际互动，实在国际便是那个奖赏函数或许判别函数（Critic Model），能不能树立一套新的方法论，能实在地模仿这个实在国际的反响，并且能脱离人类反响。
之前的 SFT（精调），包含之前的强化学习实质上是依据人类的反响（RLHF），这就像 AlphaGo 仅仅跟着人类棋谱学习，而不能左右互搏，作用必定是有限的。
构建这个「实在国际模仿器」，或许难点在于数据加上算法等一系列的要素。这个模仿器一旦树立了，模型会产生无限的数据，就像 AlphaGo 相互下棋，它可以下 100 万盘、 1000 万盘、1 亿盘，并且它来判阵输赢，经过输赢的判断去模仿棋道真理。
张鹏：有点像它是要发明一个实在有用的国际，AI 在里边能「解万道题」，乃至「行万里路」，而不只像本来那样「读万卷书」，这个东西其实终究才干通向更广泛化的含义，而不受限于人类的反响、等着人类师傅带，本钱很高、泛化也很难。
汪华：并且这儿边其实在我看来分两个阶段。榜首阶段便是 LLM（大言语模型）的阶段，预操练的阶段便是紧缩常识，学习人类的常识，而 RL（强化学习）的阶段是操练和探究思想方法。两个阶段培育两种才干，终究都紧缩到这个 LLM 里边的 Latent Space（潜在空间，深度学习中一种数据的低维表明方法）里边。
Sam Altman 在 X 渠道称，OpenAI o1 是新范式的开端｜截图来历：X.com
06 Sam Altman 所谓「新范式的开端」，有几分可信
张鹏：作为这次 OpenAI 发的新模型，「o1」不再接连曩昔 GPT 系列的叫法，比方 GPT 四点几，而是敞开了 o 系列新模型代号。一同 Sam Altman 称这是一次新范式的开端。咱们怎样了解这个所谓的新范式？
颜水成：假如依照 Global Workspace 这套理论去对照「体系-2」（慢考虑）和「体系-2」（快考虑），o1 和 GPT-4 是有实质不同的，其间最大的不同在于，它会在处理问题的进程中产生 CoT（思想链）。
一年前有人说 Ilya Sutskever (OpenAI 联合创始人) 在「草莓模型」（o1 之前的代叫喊草莓）里发现了一些让人震动的、可怕的作业。今日可以大约估测，他其时究竟在草莓模型里边发现了什么东西。我觉得他发现的便是 AI 的学习进程，RL（强化学习）和 CoT（思想链）相结合，他发现体系具有自己发掘 CoT（思想链）的才干。
我个人以为，CoT 的进程，不是朴实从已有的常识里去提取常识。CoT 的进程跟人类的考虑进程相同，会打开不同的剖析组合，包含验证、自我反思等。CoT 进程完毕之后，其实一个新的常识就产生了，由于你其实会对曾经的常识进行再加工，可以以为这是一个新常识。
当模型具有主动产生 CoT 的才干，意味着它有常识发现和常识添加的才干，新的常识可以从头完善（refine）模型，也会注入（inject）到模型自我的常识里，AI 就可以完结自我前进（self-improving）的才干。
从这个视点看，o1 假如可以主动地去做发掘 CoT，它真的便是一个新范式的开端。它不仅仅提取已有的常识，而是不断地产生新的常识，是一个常识添加的进程，是一个用算力去挖矿的进程，发掘出新的常识。常识就会越来越多，AI 就能做研讨者能做到的许多作业。
张鹏：要这么说的话，人类的科学开展进程也是人类不断产生 CoT 的进程，现在发现模型具有了 CoT 才干，自己可以取得更多常识，也能依据这个常识再优化自己，有了「自我进化」的才干。这或许是新范式代表的含义，当咱们要需求模型更有用地处理问题，有赖于它自主产生 CoT 的才干，并可以自我进化。
颜水成：所以有或许，OpenAI 把一切咱们问的问题、信息全部都存下来，然后再拿这部分东西操练模型，就可以把模型的才干进一步前进。适当于全国际的人用自己的钱、用他的算力去进行了常识的扩展，然后扩展出来的 CoT 作用，又可以使模型变得越来越强。假如从这个视点来说的话，确实是一种新的范式的开端。
拿手布道和公关的「融资大师」Sam Altman｜图片来历：视觉我国
张鹏：直播间里有观众说得很直接，说 Sam Altman 口中的「新范式」就等于「OpenAI 融资难了，需求有一些新的话术」。你觉得他说的新范式，是一个给咱们前进预期、一个崇奉充值的东西，仍是说会再敞开一个所谓的新范式？
汪华：从出资人的视点来讲，现在中美出资人，现已开始过了「为了科学打破而感到激动」要投钱的时刻点了，都在忙着看商业化，会看这个东西究竟处理什么问题。尽管出资人或许比较庸俗，可是曩昔一年多究竟也是砸了那么多钱进去，千亿美金的算力、Infra 等都投进去了。
对创业公司或许大言语模型的开展来讲，我个人以为是一个新范式，并且是咱们现已等待的新范式。曩昔的 Scaling Law 每次都要 100 倍的算力（扩张），指数等级的算力添加，然后只得到线性的模型功用前进。这会带来两个问题，榜首，怎样再持续扩张（scaling）下去。第二，关于创业公司、研讨机构，包含新的 idea 的呈现，是一个必定的摧残，由于终究只需少量的帝王级企业，才有资历去做这件事。
但「o1」代表的范式，把许多东西拉回来了，国际可以更多元化了。不是说不要 Scaling Law 了，或许新范式下仍然是模型越大作用越好。但有了「o1」所代表的新范式，Scaling Law 可以从更小的模型做，而或许这个模型算力前进 10 倍就能看到原先百倍的作用，而不是要指数等级的前进才干看到许多前进，包含关于各式各样的商业化也更友好了。
所以从商业视点来讲，我个人觉得「新范式」是有潜力产生的，并且是有必要的。按本来那条 Scaling Law 是一条绝路，都不说再 Scaling Law 下去全国际的数据够不行用这个问题，在 Scaling Law 下，全国际还有多少人能做这件事都是问题。
07「o1」打破了预操练的 Scaling Law 瓶颈，商业上解锁了新的或许
颜水成：所以其实最近有不少公司，也根本上觉得朴实的根底模型的预操练含义现已不大了，由于根本上是 10 亿美金级了。
汪华：并且你就算操练得起，你用得起吗？AI 假如真的要给整个国际带来广泛的前进，本身就需求范式改动，光靠推理本钱的下降是撑不住的。
别的从学术的视点来说，我觉得这个范式有的当地变了，有的当地仍是没变。现在 o1 模型里的许多问题，包含规划、推理，其实它在产生 CoT 的进程仍然仍是在做下一个 token 的猜测。
生成式 AI 的创业门槛，算力是绕不开的巨额本钱｜图片来历：视觉我国
颜水成：由于有许多进程，比方有的在做规划，有的是一末节一末节在做 CoT，有的是在做自我反思（self reflection）。这个进程究竟是怎样完结，现在还不是特别清楚。假如便是说依照一个固定的流程，都依照下一个 token 的猜测来做，那么 CoT 便是一个 new data 的问题了，可是我是觉得或许不仅仅一个 new data 的问题。
汪华：对，由于没有细节不知道，可是我在测验模型的时分，仍是发现它的推理进程会有错觉，中心会有古怪的推理进程，但过错的推理进程却得到了正确的作用，正确的推理进程下的推理，又飞到天上去了。
我个人觉得新范式是从学术上、科学视点来讲，范式是改动了，但说不定还需求改动更多。
我认同颜教师的观念，常识是 data，推理进程和思想方法其实也是 data。下一个 token 的猜测，这个方法也纷歧定是错的，也不是说必定要脱节，可是学习关于推理进程和思想方法的 data，是不是有更进一步的一些范式的改动。
张鹏：受限于之前的模型技能，一度觉得许多事都干不了了，现在 o1 之后，又感觉未来有许多事可干，作为一个技能研讨者，你觉得有哪些下一步值得探究的方向？
颜水成：曾经用 GPT-4 或许 GPT-4o，尽管说能产生出不错的作用、能做不少作业，可是其实在直觉上会感觉，下一个 token 的猜测，这个东西如同没有这个才干，或许应该不具有这种才干。所以这个条件下，咱们会在 GPT-4o 的根底上，再搭一个 agent，用 agent 去调用大模型、调用现成东西的方法。
尽管 Agent 有潜在或许性去处理这个问题，可是开展不是特别好，由于它仍是没有一个比较完美的结构来处理问题，不像方才提的 Global Workspace 的进程。后者是把信息全合在一同，在这个进程中去做演绎、去做推理、去做验证、去做自我反思。
可是现在有了 o1 就合理了，要得到终究作用，其间有一个考虑进程，这个考虑进程其实并不是本来惯例的大模型，就直接能生成出来。有了这一套范式之后，你给我任何一个问题，我直觉上应该是能用这种方法处理的，无论是杂乱推理仍是其他，所以会有许多作业可以做。
别的，有了这套范式，那种超级大的模型有或许变得不是那么重要，模型可以做得比较小，但它就能做成一个，模型参数并不是特别大的一个网络架构，但它在推理的时分，可以做得愈加杂乱。
这种状况下，就不会像曾经的 Scaling Law 相同，到了只需 10 万张 H100，才干够实在在正的进入到榜首队伍。你或许有几千张卡，就能在一些维度能做到十分好的作用。
本来的 Scaling Law，或许在炸毁许多的创业公司，那么现在或许又会让一波的创业公司要从头的复生，去做各式各样的作业。所以无论是从可行性，仍是创业的视点，我觉得时机都比曾经要更好，没有进入到一个死胡同。
08 当「o1」通向 autopilot，AI 运用该怎样做？
张鹏：从「o1」模型里看到新的或许性，会对接下来的创业、产品、处理实在国际的问题，带来什么样新的应战或许机会？比方一个问题是，「o1」推理的进程必定比本来拉长了，本来像 GPT-4o 以快为美。
汪华：我觉得这不会成为问题。由于「体系-1」和「体系-2」是共存的联系，并不是说 o1 出来了，GPT-4o 就没有用了。人类在大部分时刻其实也是处于「体系-1」（快考虑）而不是「体系-2」（慢考虑）。
详细仍是要看运用类型。比方像 AI 查找、Character.ai、写作辅佐这些运用，大部分场景其有用本来的模型、速度够快就行。产品上也好处理，可以经过目的辨认的分类模型，把不同使命分给不同模型。
长时刻看，假如「o1」愈加完美了之后，GPT-4o 所代表的「体系一」和「o1」代表的「体系二」实践上是在两个不同的流水线上。
举个比方，为什么要寻求推理速度快？由于咱们现在大部分运用是 Copilot。Copilot 的运用当然要快，人就在周围等着呢。可是假如「o1」未来做得满意好，能带来更高精确度、能处理杂乱问题、能很好地完结 agent，它履行的使命或许是 autopilot（主动驾驭）等级的使命的话，你管它多久完结呢。我给搭档分配一个使命，也是这个礼拜布置使命，下个礼拜看作用，不会要他当即交。所以假如是 autopilot 的场景，重要的实践上是模型、是这个方法做出来的功用，而不是低时延，更何况推理速度正在进一步前进。
第二，这是一个自适应的问题，假如将来「o1」模型操练得更完美，它的强化学习做得满意充分时，它会依据问题的杂乱度和类型，有适宜的推迟（latency）和推理时刻、和 token 的耗费的。
张鹏：之前 GPT 系列在 Copilot 场景持续发挥优势，反响更快、交互天然，但一同 o1 带来了通向 autopilot 的或许性，曾经觉得很难做到的场景，跟着强化学习、模型才干的持续优化，有更大约率完结。
图片来历：视觉我国
汪华：对，再详细一点说，「o1」首要能解锁的便是许多企业级运用。
现在哪怕在 SaaS 生态和 AI 开展更老练的美国，许多企业级运用添加得很快，但现在摘的也都是低垂的果实，运用类型仍然跟我国差不多，比方职工的写作辅佐、智能查找，企业常识库、出售支撑客服等智能帮手类运用。更要害的出产性使命和更杂乱的使命，不是企业不想用 AI 来完结，是之前的模型做不到。
第二，也会给 C 端交互类运用带来影响。
在 C 端的交互革新里边，80% ~ 90% 或许都是本来的快速的模型，或许只需 10% 的使命需求调 CoT 模型。所以这个是会有很明晰的分野。比方，Meta 的雷朋眼镜假如将来加了多模态，其实大部分的使命也都不是深思熟虑的，而是我看到什么东西它直接给我辅佐，履行我的指令。
ToB、ToC，出产力使命、文娱使命、交互使命其实都是会有 copilot 和 autopilot 明晰的分野的，并且会协同。
举个比方，比方说让 C 端运用帮我订张机票，在我和它的交互对话、它向我展现美丽景点的进程，后台现已帮我比价、调用各种资源做游览计划了，后台或许就在用新一代推理模型。有时延也没联系，前台多模态的模型跟我谈天、欺骗我、延伸我的等待时刻，后边的模型在那里兢兢业业做 CoT，调用 agents 做推理演绎。搜集你的信息，还能给你心情反响、供给心情价值。
张鹏：产品设计的空间，可立异的东西打开了，这其实是让人实在振奋的。
09「o1」模型可曾经进机器人大脑，但具身智能还有自己的卡点
张鹏：o1 的模型关于机器人的才干未来会不会有很大前进？比方像这种 CoT 的才干，未来会对具身智能产生什么样的影响？
颜水成：我觉得会，由于具身智能需求有比较强的推理才干，一次推理，或许一次 CoT 出来的作用或许并不能满意条件，所以它能自我反思或许自我验证十分重要。
例如行走的机器人去完结某些使命，假如它有「体系-2」的进程，输出会愈加精确、愈加牢靠。一同在一些场景，其实让他先想一想，再去做交互，用户也是能承受的。
未来当「o1」具有多模态才干，它用在具身智能场景会变得更好。
图片来历：视觉我国
汪华：具身智能，现在有三件事都是它的瓶颈。
榜首是硬件，硬件本身，包含传感器，仍然有许多的瓶颈。
第二是可泛化的运动操控。现在机器人都是依据物理核算，或许是依据单项使命的模仿仿真、强化学习。而人的动作是十分杂乱的，可以抓、拧、掏、抠，咱们现在其实没有一个在运动操控上的 GPT。
第三，也是现在「o1」能处理的，大脑的问题，运动操控适当于小脑的问题，机器人「大脑」现在也能做，可是「o1」会极大地前进大脑关于运动规划的精确性、可控性、牢靠性。
这三个问题要都处理，具身智能才干完结。假如只打破「o1」，没有可泛化的运动操控，仍然会受许多约束，由于机器人能进行的动作会十分有限。
别的，我个人觉得这两件事说不定都有相同的瓶颈被卡着，可泛化的运动操控咱们也企图用强化学习、模仿学习（Imitation Learning）来做，也短少许多的数据，就像短少 CoT 数据相同，短少许多的实在国际各式各样的运动操控数据，仅仅：一个是要处理可泛化的运动操控，一个是要处理可泛化的推理。
由于没有一个人在手上带着传感器、脑袋上顶着摄像头，也没有几千万人天天做这些动作，奉献一个互联网等级的一个数据集，所以咱们在用模仿器、用强化学习在做。但说不定在一件作业上找到了一些处理方法，别的一件事可以用相似的方法来处理同一个问题。
颜水成：感觉仍是不相同，这种数据产生的流程和「o1」产生 CoT 的流程仍是有很大不同，或许要作为一个垂域的问题去考虑。
汪华：我特别等待强化学习本身的方法论产生一次超进化，把现在强化学习，关于奖赏模型泛化的约束撤销。
颜水成：由于强化学习本身的算法就比 GPT-4 的优化更难一些。比方强化学习的曲线的丢失（loss），根本上一向在剧烈的震动，可是像 GPT 模型，或许 AI 1.0 年代的判别式模型，曲线根本上十分安稳，所以强化学习做起来的难度或许说要求的范畴 know-how 更多。
我国本身做这块的人就蛮少，现在渐渐好一些，可是比较国外做的时刻和堆集仍是要少一些。
张鹏：为什么我国的强化学习这条线会弱一些？上一代 AI，其实就看到了强化学习这个道路。
汪华：强化学习其实各式各样的 paper 都在外面，我国聪明的人或许多，之前之所以做得欠好，不是学术上做不出来，而是工程上和累积上，咱们投入太低的问题。客观地讲，会有点名利化。之前强化学习（RL）在各个范畴里的作用都不是特别显着。
即使是在大模型年代，OpenAI 做了 PPO（一种强化学习算法、由 OpenAI 在 2017 年提出），做了 RL（强化学习），但实践上关于大部分国内的大模型公司来讲，做好 SFT，做好 DPO，其实作用现已跟 RL 十分挨近了，供给的增益也不大。
而 RL 做起来很难，十分耗工程，关于算力耗费也是十分明晰的，所以在这种关于收益不明晰的当地，国内咱们的投入仍是相对比较保存和慎重。
保存和慎重就导致资源的投入，没有满意多的卡，没有满意多的试验，没有满意多的算力让咱们去糟蹋，那这方面的人才就无法堆集阅历。由于有些东西不写在 paper 里，而是你在操练时一次次训崩的 knowhow。
我国在顶尖科研上确实存在体系性问题——他人探出路来了之后，咱们会很有决心去投入资源去趟，但最初不明晰的时分，咱们不愿意投入。
10 假如 Scaling Law 玩不起，「o1」又是谁要下注的竞赛
张鹏：「o1」其实让咱们看到一个明晰的方向，这是不是意味着咱们要在这个方向上更深化地探究？
颜水成：我个人略微失望一点，首要原因是有一些细节不像 Sora 出来的时分，从它的技能文档上你就能看得很清楚，它的道路是什么东西。
第二，仍是类比 Sora，其时 Transformer，以及后边的 DIT（一种文生视频架构）、分散模型，是在开源的生态上往前走，创业公司只需去考虑数据和工程的问题就可以。
可是这次强化学习，客观上来说，我觉得我国公司里，在大规模场景下，自己有代码库（code base）跑通的就很少，并且没有满意开源社区的支撑。招引人才其实也没有实在有一手阅历的人。
所以这两个要素，一是没有大规模 RL 场景和洽的 code base 做支撑，二是许多 know-how 的细节不清楚，或许会让追逐的速度比较慢，会比咱们追上 GPT-4 所需求的时刻更长一些，我觉得哪怕是在美国，优异的公司要追上的话，也或许是以年为单位。
图片来历：视觉我国
张鹏：你正好提示我，从 ChatGPT 出来，到国内呈现相似 ChatGPT 的运用，大约阅历了四五个月的时刻，追 GPT-4 或许大约是半年左右，Sora 或许也是经过了大约半年，大约的追逐周期是半年。但追上 o1 这样的才干，或许是要以年为计的难度。汪华怎样看？
汪华：我倒没有那么失望。
之前那种往上 scaling（扩展）模型尺度的方法，国内真的追不起，哪怕几家拿到许多出资的创业公司，追到必定程度也就追不动了。哪怕是大厂，我觉得追到必定程度也不见得往下追了，由于国内的现在经济和本钱环境也没有那么好。
并且实践上，GPT-4o 其实欠好追。尽管 GPT-4o 的模型尺度比 GPT-4（1.8 万参数）要小许多，但多模态的数据和操练是十分耗费资源的，很吃算力。所以操练 GPT-4o 只会比 GPT 4 更贵。我倒不觉得国内是由于工程原因和学术原因做不出 GPT-4o。
那「o1」会有什么样的一个特色呢？便是它其实「吃」（许多耗费）许多的研讨，也「吃」许多的试验，也「吃」许多的探究和 idea 的东西，包含数据的一些结构的技巧等，但「o1」其实不太吃算力。并且它可是可以经过比较小的模型，去试验和模仿的。
我个人觉得，我国公司玩得起，并且 o1 出来了之后，开源社区也玩得起，开源社区不太玩得起 GPT-4o。我觉得，不行是我国公司，开源社区和学术界也会企图在小尺度的模型上，用各式各样的方法去完结相似的作用，包含一些开源结构。所以我国公司也并不是仅仅孑立地说我对立全国际，适当所以我国公司和开源社区一同追逐 OpenAI 的这件事。
张鹏：听起来我国的大模型的创业公司真的辛苦，曩昔一段时刻现已接连铺开好几条战线，许多东西还在 pipeline 里打磨中，但现在「o1」出来之后要去再去做，资源或许会怎样分配？
汪华：客观地讲，不会一切的公司都去追的。有些大模公司会坚持方向，有些大模型公司会转型成产品公司，有些大模型公司或许会挑选某个方向做打破口，但首要大厂应该都会去追。
张鹏：或许像 DeepSeek，这种比较「神」的公司也有或许。
汪华：大厂都会去追。创业模型公司里有一部分会去追。
并且，咱们在试验的视点应该都会追，由于你要说做出一个特别大的产品模型，那不会做，但在适当于 mini 等级的尺度里边去夯实强化学习才干，去做这方面的试验，是必定要做的事，仅仅纷歧定咱们都能做到出产等级。
颜水成：其实有一点，比方说像 GPT-3.5 的时分，PPO 就根本上有很大的收益。其实开源社区也在想方法去复现一些东西，可是并没有谁开源出一个实在含义的 code base（代码库）能被我国公司直接运用。所以我觉得在 RL 上，门槛仍是会比幻想的要大一点。
汪华：我觉得有两方面原因。
榜首，我个人觉得 PPO 确实是工程门槛要高许多。跑 PPO，一同多个模型跑，对算力的要求也耗费也很大，学术界也跑不太动。
还有一部分原因，开源社区其时很大的精力都放在「芳华平替版」，发明晰 DPO 等一系列东西去做开源平替。开源平替根本上 online PPO，Offline PPO 确实也做到了根本上 90% 的作用。
颜水成：这儿边奖赏函数十分要害，当年 GPT-3.5 的时分，其实他们是拿 GPT-4 的模型去操练奖赏模型，才干确保 PPO 做得比较好。所以假如说模型在强化学习这儿，假如要用奖赏模型，这个东西本身也是一个瓶颈，不是小模型出来的东西就可以用。
汪华：是的，但开源社区并不仅只需创业公司。
张鹏：有 Meta、阿里，看起来开源范畴仍是有一些巨子的，假如他们有坚决的方针要给大众发枪，我觉得也 make sense。
汪华：或许确实不会那么快，可是技能分散是必定的。跟着更多的公司，包含国内的大厂，海外的开源社区，学术界去花更多的精力去做 RL（强化学习），其实曩昔几年在大模型之前，RL 现已十分冷了，无论是 PhD 仍是工业界、学术界，其实挑选做 RL 方向的人现已很少了，这也是一部分的原因。
假如咱们忽然觉得这个事靠谱的话，很快咱们都用算力，各方面人才就会逐渐地多起来。包含技能分散也会渐渐地产生，但确实这个门槛要高得多。
颜水成：我原先做 RL 研讨的时分，其时一个最大的问题，便是最前沿的算法，code base 都是依据 DeepMind 的 TPU 代码，依据 GPU 的完结其时比较缺少。现在略微好一些，许多东西依据 GPU 的东西现已多起来了。
汪华：我乃至觉得 Nvidia、微软都会企图去做这件事，然后乃至是开源他们的结构运营或许投认去做这方面的结构，由于对他们来说最重要的是把算力卖出去。
11「o1」之后，创业者的挑选
张鹏：现在创业者常常在谈的一个论题是：技能开展太快，怎样可以跟着技能水涨船高，而不是被水漫金山？换句话说，技能涨对我有利，而不要技能一涨我就变得没价值。「o1」出来之后，你会怎样答复这个问题？
颜水成：昆仑万维做大模型的方法仍是以产品先行，现在大约有五六个产品，比方说像 AI 查找、AI 音乐、AI 陪同、AI 短剧创作和 AI 游戏，有这些详细的产品在前面做牵引，带动咱们做根底模型的研制。有一些模型是通用的，有一些模型其实是垂域的，比方说音乐大模型便是垂域的。
我个人觉得，这一波「o1」出来之后，通用模型在原有的模型根底上，添加 RL + CoT 的方法，应该能把功用前进得更好，这必定要做。
别的，或许更聚集一些场景，比方精度优先会变得十分重要。举个比方，咱们有一个产品是做 AI for research，在天工 APP 里边。有了 CoT 技能，它就可以协助研讨者去考虑，在他的研讨方向上指明哪一些课题可以探究，而是不是像曾经仅仅给论文做总结、修正语法过错。
最近有人做了一个作业叫「AI scientist」，有了「o1」的这种范式，这种功用就有或许提炼出来了。由于曾经是直接一次性生成的，作用是否具有立异性和可行性，不知道，它不行以做任何的剖析，现在，在「o1」范式下，有或许把这件作业能做得更好。
图片来历：视觉我国
汪华：由于 o1 也刚刚出来，我也还在测验它的才干。对做模型的同学来说，看到「o1」心里或许会打鼓，但对做运用的同学来说，出了「o1」之后，只或许有增益，不或许有丢失，由于又多了一个东西可以用。
别的，我觉得不被「水漫金山」的话，中心仍是一点：咱们是做 AI 运用的创业者，运用本身、场景本身是主语，AI 仅仅定语，「水漫金山」往往是把 AI 当主语，没有花许多时刻深耕场景、需求和本身的禀赋、优势。
做运用仍是场景优先，一同随时观测技能开展，或许无法像 Google 相同自己去开发技能栈，但实践上许多的作业是有迹可循的。哪怕是「o1」的发布，其实之前在 DeepMind 的研讨里这条途径是有迹可循的。
在跟技能前沿坚持交流的一同，做严重的工程决议计划要特别慎重，由于这跟当年做移动互联网运用不相同，移动互联网年代做运用时，一切的技能栈都是老练的，要害是能不能找到一个场景的问题。只需找到场景，拉一个产品司理、拉一个工程师，几个大学生也能做出一个爆款运用出来。
坚持快速 PMF 的准则，尽量运用市场上现有的模型来快速完结 PMF，而不是用杂乱的工程。假如一个简略的模型要加杂乱工程才干做 PMF 的话，那还不如一开端用最贵的、最好的模型去做 PMF，由于 PMF 耗费不了多少 token。在一开端阶段能用 prompt 处理的，就不要用 SFT，能用 SFT 处理的就不要用后操练。不到万不得已，千万不要用针对模型的缺点去做一个十分杂乱的工程 pipeline（流程管道）的补丁去补偿其时的模型缺点。
张鹏：要穿就穿新衣服，尽量少打补丁，假如真要打补丁，也不要打杂乱的补丁，要打简练的补丁，这或许在前期阶段就变得很重要。并且很重要一点，其实是你要处理的问题才是你的竞争力。仅仅围着技能非要找个场景落地，或许就舍本求末，思路必定要回到要处理的场景和问题上，这样「水涨船高」的或许性就更大。
相关文章
林岳：消费理性年代，高端精品咖啡还凭什么卖一杯三四十块？
【文/观察者网专栏作者 林岳】当9块9乃至6块6的贱价咖啡满世界呈现的时分，高端精品咖啡凭什么卖一杯三四十块？由于质量？口感？仍是门店气氛？品牌情怀？精品咖啡究竟哪里“精品”？从前卖三十几块钱的咖啡现...
原创产品热销多年 李俊：紧盯商场念活“生意经”
个人手刺李俊，1983年生，义乌大陈人，义乌宗信鞋业有限公司总经理。自2005年来，李俊一向从事鞋品交易，重视帆布鞋、运动鞋、休闲鞋等鞋品的研制规划，凭仗诚信运营和过硬产品质量深得外商信赖，产品销往俄...
台媒：解放军宣告展开系列军演，桃园机场明日撤销50多个航班
（观察者网讯）美国政府“3号人物”众议院议长佩洛西窜访我国台湾区域后，大陆方面宣告将于明日（4日）正午开端在台湾的周边6个区域，进行为期3天的重要军事演训行为。归纳中时新闻网、联合网、“ETtoday...
坚守岗位无法陪同女儿，她却是女儿作文里的完美妈妈
“乖乖，你把妈妈的手牵紧点儿哟，看着路，别摔了！”站台上，付婷婷弯着腰，正对着一对预备搭车的母女关怀地提示道。可以关怀他人的女儿，却无法陪同自己的女儿。新年假期，在万家团圆的日子，“铁路人”却在岗位上...
马龙国体练习36岁不松懈：5项赛被赋0分球迷抱不平 2度发声拒退役
#百家观赛团#北京时间11月13日，WTT官方宣告，樊振东、马龙、陈梦退出福冈总决赛，樊振东与陈梦在巴黎奥运会后任何一项赛事都没有参加，而36岁的马龙则参加了我国大满贯。接连的退赛音讯也让外界开端置疑...
知道 这些食物一吃就胖，想瘦身就少碰！
来历：有品日子ID：pinpinlife一不小心吃下去这些食物，坚持良久的瘦身就白费了 香蕉 1根香蕉=90大卡=漫步1小时 别以为一切生果都是瘦身神器，一根香蕉约含有热量90大卡，几乎是常见生果中热...