对模型的迷思

Vibe Coding的谎言：https://mp.weixin.qq.com/s/ONybtOkDDlADBpj5OTMfaQ

没有人知道真实的世界究竟是什么样子的，可能它就是很复杂，可能它就是需要标准模型那么长的拉氏量，来建模各种相互作用；但AI已经证明了用很简单的规则可以做出一个万能学习机器，虽然还没有人脑那样高效，但已经步入实用了。一个好的学习理论应当建模通用的学习过程，建模这些模式和知识是如何从数据中抓取出来，并且进入网络的权重里面的，它对任何数据分布都有效，如果数据里面没有结构，就会自动退化成记忆，如果数据里面有结构，就会习得泛化能力如何从已有的对数学、神经、智能的理解，给神经网络的原理一个清晰的理论，但实在是太难了。我们甚至还不能清楚解释为什么一个三层的 MLP 可以学好图像分类任务，也不知道如何严格证明 transformer 能够理解人类的语言。理论如此滞后，您认为应该如何打开局面？如果你两次问 AI 模型同样的问题——比如”你今天怎么样？“——你不会得到相同的回复。这是因为 AI 模型使用一个称为种子的随机数来改变它们对问题的回复。一个独特的种子会产生一个独特的答案，即使提示保持不变。

预训练和人类学习的方式完全不同…Ilya

预训练、中训练与后训练：从图书馆到专家

预训练（Pre-training），就像走进一座图书馆。理论上所有信息都在那里，但你得自己翻。而且图书馆里什么都有：广告、论坛灌水帖、百科词条、学术论文，一视同仁地全学了。

中训练（Mid-training），像是从图书馆里挑出高质量的书，多读几遍。比如 Wikipedia、GitHub 代码这些信息密度更高的内容，会被加权训练，让模型从“什么都读过”进一步靠近“更常读好材料”。

后训练（Post-training），则是把一个读过所有书的「学霸」变成一个你可以直接提问的「专家」。你不需要自己去翻书了，直接问他就行；他能理解你的问题，并给出有用的回答。

偏好训练里的硬答案

SFT 让模型学会扮演助手，偏好训练会奖励清晰、果断、像答案的回答。太多“可能”“还要看”“证据不足”，在很多标注场景里会显得没帮助。模型于是学会把不确定问题写成确定句子。

模型没有真实的责任感。它不为判断承担后果，只是在拟合一个“好答案”。语气稳，结构完整，能收束，就更容易被看成可靠。它会说“最多说明”“真正原因”“本质是”这类看起来谨慎或有力的话，但背后未必完成了排除、对照和反例检查。

用 AI 写判断时，先把观察、假设、边界分开。不要让它为了好看，把可能性压成结论。

关闭思考模式以后，回答里仍可能有推理

要求模型「只给答案」，它仍可能先写一段推导。关掉思考模式，也不能保证普通回答里不再出现推理步骤。

清华、牛津和斯坦福的研究者把这种可见行为称为「思维惯性」（Thinking Inertia）。他们比较了 6 个模型、6 个基准和 6 种实验设置，分析 572,688 条输出。这里的 6 种设置包括开启思考、关闭思考、重新诱发推理，以及不同强度的输出约束，并非 6 种「禁止思考」指令。¹

论文观察的是回答里能看见什么，没有据此证明模型内部「停不下思考」。没有 <think> 标签，推导仍可能写在普通回答中；回答很短，也可能包含一个明确的计算或排除步骤。反过来，一段很长的开场白也可能只是复述题目，算不上推理。

这组实验里，答案空间会影响显式推理是否出现。判断题和给出候选项的选择题，更容易只输出答案；开放式生成更容易留下显式推理。严格的直接作答指令可以减少这些步骤，却不能可靠地消除它们，在开放式任务上还可能伴随准确率下降。把同一道题改成提供候选答案的形式，也会让直接作答更容易。

工程上，我会分别检查答案是否正确、格式是否合规、有无可见推理，并记录延迟和 token 用量。需要只返回选项或字段，就检查返回值，不能看到思考开关关闭就算验收通过。这是从论文得到的应用判断；短回答本身不能证明内部计算或费用减少。

这也接上了 如何科学评测 Agent 生成的文本报告：从评分体系到评测器的元评测 中拆开评分维度的做法。

仍然待解的模型问题

如果完全一样的输入，并且降低随机性到0，模型是否会给出一样的输出？

有大量的数据，把它输入到机器中，一开始可能会对数据进行一些整理。而现在，我们是不是只是在学习更高效地整理这些数据？Mark Chen：你提到的这一点我也一直在思考。当你考虑预训练时，你是在拿人类撰写的数据，教模型如何模仿人类的写作模式。在某种程度上，这也限制了模型能力的上限——当你只是在模仿人类的写作时，你很难超越人类已经写下的内容。所以我们会在RL（强化学习）等方面开展工作，引导模型去解决人类能想到的最难的任务，让模型跳出模仿人类的思维框架，实现更高水平的能力。现在出现了一个有趣的问题：如何超越人类今天的能力水平？这也带来了一个严重的测量问题。即使在科学领域，人类能判断超人的表现吗？我们怎么知道这个超人数学家比那个超人数学家更优秀？我们真的需要为这个领域的进步制定更好的评估方法。到目前为止，我们很幸运，像IMO（国际数学奥林匹克竞赛）、IOI这样的竞赛能告诉我们谁是世界上最顶尖的数学家。

Mike Allen：Axios曾多次写到，即便是这些模型的创造者，也并不完全理解它们。关于Gemini 3，有什么是你觉得自己还没有完全搞清楚的？Demis Hassabis：事实上，对所有这些模型来说都是如此，而且我想在座的很多人也有类似感受。创新和进步的速度实在太快了，我们几乎把全部时间都投入到构建下一代系统中。每次发布新版本时，我都会有一种感觉：自己甚至还没来得及探索现有系统十分之一的潜力。因为在这场激烈的竞争中，我们必须立刻转向下一项创新，同时确保安全性和可靠性。最终，往往是用户把这些模型的能力发挥到了远超我们内部测试的程度。

接近博士级的水平，在特定任务上能获得IMO金牌之类的成就。但在其他方面，它们仍然存在明显缺陷。这是一种“锯齿状”的智能形态。而真正的AGI，应当在各个维度上都具备一致性。此外，它们还缺乏一些关键能力，比如持续学习、在线学习、长期规划和推理能力，目前这些能力几乎都不存在。

现实生活中，你可能只有有限的关键决策时刻可以犯错和学习；而在游戏中，你可以反复练习决策过程。只要你认真对待游戏、深度思考每一次决策，它就能有效训练你的判断力和规划能力.

泛泛提问的人总是会得到平庸的回答，而问对焦点的人则会得到迎刃而解的解答。答案正在贬值，而提问的能力，决定了你在AI时代的位置。凯文·凯利说过：“未来提问将比回答更有价值。当答案成为商品时，好的问题就是新的财富。” https://mp.weixin.qq.com/s/A0VovhOt8LVztMBP78ssxw

不要相信平台的所谓记忆—记忆最重要的是忘记，而不仅仅是记住，这个是chatgpt 和 claude的记忆机制： https://mp.weixin.qq.com/s/hc_VMN41bIE1RiztFuRgKQ

泛泛提问的人总是会得到平庸的回答，而问对焦点的人则会得到迎刃而解的解答。