还缺的四个视角：信息、几何、计算与因果

2026年11月12日·约 8 分钟

已有的两份报告分别回答了“状态按什么物理定律演化”（物理视角）和“高维概率表按什么结构切分”（概率拆解视角），但它们默认目标都是被动拟合观测分布 $p(x)$ ，且没有回答损失函数怎么度量距离、信息怎么取舍、算力怎么分配。要拼齐理解现代 AI 模型的完整版图，还缺四个正交的底层视角：信息论与压缩视角、流形几何与散度度量视角、计算状态与测试时优化视角，以及因果干预与世界模型视角。

加上已写完的两篇，六个视角刚好构成一套互不重叠的坐标系，每一维专门解释其他维度看不见的盲区：

视角维度	核心追问	主导数学工具	独有的解释力（前两篇解释不了的现象）
1. 物理演化（已完成）	系统靠什么动力学方程走向目标态？	能量函数、随机微分方程、辛几何与对称群	扩散与流模型的连续轨迹设计、注意力机制的能量本质、守恒律归纳偏置
2. 联合分布拆解（已完成）	$p(x_1,\dots,x_D)$ 怎么切成能算的子因子？	概率链式法则、隐变量边际化、雅可比行列式	自回归、掩码扩散、多尺度 VAR、MAR 等生成架构的同源性与转换关系
3. 信息论与数据压缩（遗漏一）	模型究竟记住了多少比特？该丢掉什么信息？	香农信源编码、最小描述长度（MDL）、率失真-感知理论	为什么无损压缩器等价于生成模型、为什么似然越高图像反而越模糊、JEPA 为何拒绝重建像素
4. 散度度量与流形几何（遗漏二）	怎么衡量模型分布与真实分布的“距离”？数据在空间里长什么样？	$f$ -散度族、瓦瑟斯坦对偶、费舍尔信息、低维流形投影	最大似然、GAN、变分推断与强化学习对齐的统一对偶表，以及高维去噪为何不会迷路
5. 计算状态与测试时算力（遗漏三）	历史记忆怎么存？算力花在训练期还是推理期？	快慢权重（Fast Weights）、在线梯度下降、不动点迭代与树搜索	注意力机制与 Mamba/TTT 的记忆本质差异，以及扩散多步去噪与大模型思维链（CoT）的深层等价
6. 因果干预与世界模型（遗漏四）	当智能体主动改变环境时，结果会怎么变？	结构因果模型（`do`-演算）、潜在状态转移、控制即推断	为什么视频生成模型画得出逼真水花却算不准物理碰撞，以及生成模型如何接入强化学习与规划

遗漏视角一：信息论与无损压缩——“预测即压缩”与率失真权衡

概率拆解视角只关心怎么算出 $p_\theta(x)$ ，而信息论视角一针见血地指出：训练任何概率生成模型，在数学上严格等价于建造一台无损数据压缩器。根据香农信源编码定理，如果一个模型给真实数据 $x$ 赋予的概率是 $p_\theta(x)$ ，配合算术编码（Arithmetic Coding），就能把 $x$ 无损压缩成长度为 $-\log_2 p_\theta(x)$ 比特的二进制串——深度学习里天天最小化的交叉熵损失，一比特不差就是压缩后的文件体积！沿着这条主线，自回归大模型是直接的流式算术编码器；而变分自编码器（VAE）和扩散模型因为引入了额外的随机噪声轨迹，初看似乎浪费了比特，但借助借位编码（Bits-Back Coding，Hinton & Zemel），编码端可以把待传输的附加信息伪装成随机隐变量喂给模型，解码端再把这段信息完整还原出来，扣掉借位后净码长依然严格等于负的证据下界（ $-\text{ELBO}$ ）。更进一步，柯尔莫哥洛夫复杂度与最小描述长度原则（MDL）将模型参数本身的体积 $|\theta|$ 也算进总压缩账本，直接回答了“为什么压缩得越狠的模型越能涌现出逻辑推理与泛化能力”——因为死记硬背噪声需要消耗海量比特，只有提炼出数据背后的生成规律（程序），总编码长度才能最短。

更重要的是，信息论中的率失真-感知权衡理论（Rate-Distortion-Perception Tradeoff）解开了生成模型中一个著名的反直觉怪象：为什么优化均方误差或对数似然（追求低失真 Distortion）必然导致图像模糊，而想要高清锐利的视觉效果（追求高感知质量 Perception，即分布一致性），在相同码率下均方误差反而必须变大至少一倍？这同时引出了以对比学习（InfoNCE）和杨立昆提出的联合嵌入预测架构（JEPA）为代表的“非生成式”路线：如果下游任务是理解世界而非画图，强迫模型在像素空间预测每一片树叶随风晃动的精确位置，会把绝大部分网络容量浪费在不可压缩的高熵随机噪声上；根据信息瓶颈理论（Information Bottleneck），直接在抽象表征空间最大化上下文与目标之间的互信息、主动丢弃像素级冗余细节，反而是更高效的表征学习路径。

遗漏视角二：流形几何与散度度量——“换一把尺子，就换一个流派”

联合分布拆解视角讨论的是“模型家族 $p_\theta$ 怎么搭积木”，却忽略了另一个决定模型性格的核心变量：用哪把尺子去丈量真实分布 $p_{\text{data}}$ 与模型分布 $p_\theta$ 之间的距离？哪怕两个模型采用一模一样的网络结构和概率拆解，只要把损失函数里的距离度量换掉，就会演化出截然不同的算法流派。在 $f$ -散度族（ $f$ -Divergences）与积分概率度量（IPM）的统一框架下：用前向 KL 散度 $D_{\mathrm{KL}}(p_{\text{data}} \,\|\, p_\theta)$ 当尺子，就是所有自回归、归一化流和扩散模型的最大似然训练，它逼着模型去覆盖每一个真实数据点（Mode-covering），宁可在两个峰中间生成四不像也不敢漏掉冷门样本；把位置对调换成逆向 KL 散度 $D_{\mathrm{KL}}(p_\theta \,\|\, p_{\text{data}})$ ，就变成了变分推断、蒸馏以及大模型强化学习对齐（RLHF），它逼着模型死死抱住概率最高的单个山峰（Mode-seeking），样本极度清晰锐利但极易丧失多样性（模式坍缩）；换成康托罗维奇对偶下的瓦瑟斯坦距离或詹森-香农散度，就自动推导出需要判别器博弈的 GAN；换成比较对数密度梯度差异的费舍尔散度（Fisher Divergence），就推导出绕开配分函数的分数匹配（Score Matching）。

而在数据空间本身的几何结构上，高维流形假说（Manifold Hypothesis）与信息几何（Information Geometry）补齐了另一半拼图。近百万维的像素空间里，合法的自然图像只蜷缩在一张维度极低的弯曲薄片（子流形）上。从纯微分几何视角看，加噪过程就是把薄片膨胀成有厚度的管状邻域，而扩散模型学到的分数函数 $\nabla_x \log p_\sigma(x)$ ，在几何上就是把管状空间里的任意点垂直拉回低维数据流形的最短正交投影向量！同样，在参数空间 $\theta$ 里不用欧氏距离而改用衡量概率分布可区分度的费舍尔信息矩阵（Fisher Information Matrix）作为黎曼度量，普通的梯度下降就升级为不受参数化方式影响的自然梯度下降（Natural Gradient，如 K-FAC、TRPO/PPO 的信赖域起源）。

遗漏视角三：计算状态与测试时优化——“快慢权重”与推理算力缩放

物理与概率视角都把神经网络看作静态的数学函数，但如果换上计算机科学的眼镜，把所有序列与生成模型看作有限内存的状态机，一条全新的演进主线立刻浮现：模型是如何在“固定容量的内部记忆”与“不断增长的外部记忆”之间做计算权衡的？在这个视角下，标准 Transformer 自注意力机制的本质是一台键值外部存储器：每读入一个新词元，键值缓存（KV Cache）就原封不动地增长一行，靠 $O(N)$ 的无损线性内存膨胀换取精确的上下文回溯；而线性注意力（Linear Attention）、现代状态空间模型（Mamba / GLA）乃至近年兴起的测试时训练层（TTT, Test-Time Training / Titans），在数学上被证明全都是在线优化的快权重网络（Fast Weights）：它们把固定大小的隐藏状态矩阵 $W_t$ 当作一层微型内部神经网络的参数，前向传播每读入一个词元，本质上是在上下文键值对上做了一步在线梯度下降来压缩更新 $W_t$ ！训练期学到的主干参数是“慢权重”（元学习器），推理期滚动更新的隐藏状态是“快权重”（上下文记忆）。

把“推理即优化”再往前推一步，还能打通生成模型与推理大模型的任督二脉——测试时算力缩放（Test-Time Compute Scaling）。单步前向传播的计算深度是死板的（电路复杂度受限于固定层数 $\mathsf{TC}^0$ ），遇到需要多步组合搜索的难题必然卡壳。为了突破定深计算瓶颈，不同领域不约而同地走向了测试时迭代优化：深度平衡模型（DEQ）通过求解隐层不动点 $z^* = f_\theta(z^*, x)$ 实现无穷深网络；扩散模型在连续画布上花几十步迭代修正全局冲突；而 OpenAI o1 / DeepSeek-R1 类推理模型则是在离散词元空间里，把“思维链（CoT）草稿 + 过程奖励验证 / 蒙特卡洛树搜索”当作外显的迭代去噪步——本质上都是在用推理期的动态算力去换取远超静态模型参数容量的求解精度。

遗漏视角四：因果干预与世界模型——跨越“被动看图”到“主动行事”的鸿沟

前所有纯生成模型（无论物理扩散还是自回归拆解）都有一个共同的致命盲区：它们全都被锁死在朱迪亚·珀尔（Judea Pearl）因果之梯的第一层——关联与观测 $p(x, y)$ 。假设数据集中“气压计指针下降 $x$ ”总是伴随着“暴风雨来临 $y$ ”，无论你用自回归拆成 $p(x)p(y\mid x)$ 还是用扩散模型拟合联合分布 $p(x,y)$ ，模型都能完美生成两者同时出现的画面。但一旦智能体伸手拨动气压计指针（执行物理干预 $\mathrm{do}(x)$ ），纯联合分布模型就会荒谬地预测“拨低指针能召唤暴风雨”！这就是为什么当今顶级的视频生成大模型虽然能画出电影级的光影反射，却经常在物体遮挡、刚体碰撞和机器人抓取交互中违反基本因果逻辑——它拟合的是二维像素投射的统计相关性，而不是底层三维世界的结构因果方程（Structural Causal Models）。

要跨越从“生成逼真表象”到“支撑智能体规划决策”的鸿沟，必须引入因果表征学习与动作条件世界模型（World Models）视角。世界模型不再对静态数据块 $p(x)$ 做分解，而是显式引入智能体的外部干预动作 $a_t$ ，围绕状态转移方程 $p(s_{t+1} \mid s_t, \mathrm{do}(a_t))$ 建模环境的反事实演化（“如果我刚才向左打方向盘而不是向右，现在车会在哪？”）。在这一视角下，强化学习与最优控制也被彻底统一进了生成模型版图——即控制即推断（Control as Inference）与生成流网络（GFlowNets）：如果把“获得高额任务奖励 $R(x)$ ”看作观测到了一个最优事件变量，那么寻找最优动作轨迹的强化学习过程，在数学上就等价于从奖励加权分布 $p^*(x) \propto p_0(x)\exp(\beta R(x))$ 中进行后验概率采样。

如果要继续撰写第三篇同规格的深度解释报告，信息论与压缩视角（最适合深挖“为什么预测�