概率拆解视角：生成模型如何切分高维联合分布

一句话结论：所有生成模型都在做同一件事——把高维空间里原本算不出、存不下的联合概率分布 $p(x_1, x_2, \dots, x_D)$，拆解成一串神经网络能够轻松拟合的简单局部因子；整个生成式 AI 的演进史，本质上就是在按数据坐标拆解（自回归、多尺度与掩码生成）、按信噪比轨迹边际化拆解（变分自编码器、扩散模型）、按可逆几何形变拆解（归一化流、流匹配）以及按无向势函数拆解（能量模型、概率电路）这几条路线之间权衡“表达精度、采样步数与精确似然”，并最终在“坐标 × 噪声”的二维网格上走向正交合流。

---

一、 核心直觉与最小算例：为什么联合分布非“拆”不可？

把所有生成模型串成一体的唯一主类比是在浓雾中还原一幅马赛克壁画：生成一份高维数据（如一张由百万像素组成的照片，或一段由上千词元组成的文章），就像把一幅被白雾彻底笼罩的壁画呈现在人眼前。直接一步到位猜出整幅壁画的每一块瓷砖太难了，于是不同流派发明了不同的“揭雾工序”——有人从左上角到右下角，一块瓷砖一块瓷砖地彻底擦干净，每次只擦一块，但擦完就是最终颜色；有人先隔着薄雾看清整面墙的色块轮廓，再换细画笔分几轮补全全墙细节；有人把整面墙的浓雾每次均匀吹散百分之一，让所有瓷砖同时从模糊变得清晰；还有人不规定揭开顺序，只给相邻瓷砖制定配色协调度打分表。

但这个主类比有两个必须提前标明的失效边界。第一，真实的壁画在墙后只有固定的一幅，而生成模型面对的是成千上万幅合法壁画组成的多峰概率分布（比如壁画既可以是晴空白昼，也可以是星空黑夜）。如果让几个画工同时站在不同角落、互不通气地按各自位置的“平均印象”下笔，就会画出“左半边烈日当空、右半边繁星满天”的拼接怪物——只要多步拆解时违背了条件相关性，多峰分布就会退化成荒谬的均值模糊。第二，对于连续实数信号（如声波振幅或浮点图像特征），概率密度不是“抽中某块色板的离散比率”，而是附着在坐标体积元上的密度；一旦用函数对画布做拉伸或挤压，局部面积发生变化，概率密度就必须乘上体积缩放系数（雅可比行列式），这是静态看图直觉里完全不存在的几何效应。

用一个只有 $D = 3$ 个二值像素 $x = (x_1, x_2, x_3) \in \{0, 1\}^3$ 的最小算例，就能看清“维度灾难”与“分布拆解”的精确账本。假设真实世界偏爱平滑连贯的色块：全黑 $(0,0,0)$ 与全白 $(1,1,1)$ 的概率各为 $0.35$；只发生一次明暗跳变的四个边缘状态 $(1,0,0), (1,1,0), (0,0,1), (0,1,1)$ 概率各为 $0.06$；黑白交替闪烁的两个棋盘格噪点状态 $(1,0,1), (0,1,0)$ 概率各为 $0.03$（八种状态概率之和为 $0.70 + 0.24 + 0.06 = 1.00$）。

如果不做任何拆解、直接背诵这张联合分布真值表，$3$ 个二值像素需要存 $2^3 - 1 = 7$ 个独立自由度；一旦换成一张 $32 \times 32$ 的普通 256 级灰度小图（$D = 1024$），真值表项数就会暴增到 $256^{1024} - 1 \approx 10^{2466}$，连全宇宙的存储介质都装不下。反过来，如果我们为了图省事，假设三个像素彼此独立，只存每个像素单独为白的边缘概率 $p(x_1=1) = 0.35 + 0.06 + 0.06 + 0.03 = 0.50$（同理 $p(x_2=1) = p(x_3=1) = 0.50$），并在生成时三个位置同时独立抛硬币：那么每一个状态——无论是平滑的全白 $(1,1,1)$ 还是刺眼的棋盘格噪点 $(1,0,1)$——被生成的概率都会变成一模一样的 $0.5^3 = 0.125$！全白大跌了近三倍，噪点暴涨了四倍，空间结构灰飞烟灭。

既不能存 $2^D$ 大小的全局巨表，又不能做一步到位的全局独立假设——所有生成模型都在用某种数学恒等式，把复杂的 $p(x_1, \dots, x_D)$ 拆成一连串“局部条件足够简单、甚至局部条件独立”的子步骤。

---

二、 全局版图：联合分布的五大拆解范式

面对同一个高维联合分布 $p(x)$，现代生成模型沿着五条截然不同的数学轴向对其进行了拆解。

拆解范式	联合分布分解公式	单步分布凭什么变简单？	核心代价与固有瓶颈	代表模型与方法
一、按数据坐标链式分解	$p(x) = \prod_{i=1}^D p_\theta(x_{\sigma(i)} \mid x_{\sigma(<i)})$ 或按尺度组 $\prod_{s=1}^S p_\theta(r_s \mid r_{<s})$	每次只预测单个词元或同一分辨率层，多维联合分布退化为一维分类分布	采样步数与维度 $D$ 强绑定；非序列数据需强加人为顺序；反向条件推断困难	自回归大模型（GPT、PixelCNN）、视觉多尺度自回归（VAR）、任意序自回归与掩码离散扩散（MDLM / MaskGIT）
二、按隐变量与噪声轨迹边际化分解	$p(x_0) = \int p(x_T) \prod_{t=1}^T p_\theta(x_{t-1} \mid x_t) \, dx_{1:T}$	当相邻两步信噪比变化极小时，逆向条件分布退化为各维度相互独立的对角高斯分布	对隐轨迹积分不可解析，只能优化变分下界（ELBO）；生成需多步去噪迭代	变分自编码器（VAE / 层次化 VDVAE）、连续扩散模型（DDPM / Score SDE）、一致性模型（Consistency Models）
三、按确定性可逆变换与雅可比分解	$\log p(x) = \log p_0(z_0) - \sum_{k=1}^K \log \left\|\det \frac{\partial f_k}{\partial z_{k-1}}\right\|$（或散度时间积分）	把复杂分布拆成无穷多步微小确定性位移的复合；无积分路径坍缩，似然精确可算	离散流受限于双射同胚与高昂行列式计算；放弃可逆性则失去显式密度评估能力	归一化流（RealNVP、Glow）、自回归流（MAF / IAF）、流匹配与矫正流（Flow Matching）、隐式推前模型（GAN）
四、按无向团势能或概率电路结构分解	$p(x) = \frac{1}{Z}\prod_{c \in \mathcal{C}} \psi_c(x_c)$ 或交替和积/低秩张量收缩	放弃人为因果顺序，直接对局部对称约束打分相乘；电路模型利用分配律交换求和与求积	无向能量模型的全局配分函数 $Z$ 不可算；可计算概率电路对结构施加了强代数限制	马尔可夫随机场（MRF）、玻尔兹曼机与能量模型（EBM）、和积概率电路（SPN）、张量网络玻恩机（MPS）
五、跨坐标与跨噪声轴的正交复合分解	外层 $\prod_i p(x_i \mid x_{<i})$ 嵌套内层扩散密度，或按独立噪声向量 $(t_1, \dots, t_D)$ 演化	离散结构走因果链式分支，连续高维信号走微小去噪分支，各取最易拟合的子因子	混合训练目标存在梯度尺度与方差不平衡；二维推理调度策略设计空间庞大	无矢量量化自回归（MAR）、原生多模态融合（Transfusion、Show-o）、扩散强制（Diffusion Forcing）

---

三、 第一条路线：拆解数据坐标——从固定顺序链式法则到“掩码扩散”

概率论中最朴素、唯一不需要任何独立性假设就能把联合分布精确拆开的恒等式，是概率链式法则（Chain Rule of Probability）：

$$p(x_1, x_2, \dots, x_D) = p(x_1) \cdot p(x_2 \mid x_1) \cdot p(x_3 \mid x_1, x_2) \cdots p(x_D \mid x_1, \dots, x_{D-1}) = \prod_{i=1}^D p(x_i \mid x_{<i})$$

回到前面的 3 像素算例核验 $(1, 1, 1)$：第一步算 $p(x_1 = 1) = 0.50$；第二步在已知 $x_1 = 1$ 的四个状态里算 $x_2 = 1$ 的条件概率，由于 $p(x_1=1, x_2=1) = 0.06 + 0.35 = 0.41$，得到 $p(x_2 = 1 \mid x_1 = 1) = \frac{0.41}{0.50} = 0.82$；第三步在已知前两个像素全为 $1$ 的前提下，算 $p(x_3 = 1 \mid x_1=1, x_2=1) = \frac{0.35}{0.41} \approx 0.8537$。三步相乘 $0.50 \times 0.82 \times \frac{0.35}{0.41} = 0.35$，分毫不差地还原了原始联合概率！

表面上看，把一张巨表拆成 $D$ 张条件表并没有减少总表项数；真正的飞跃在于参数共享的函数逼近——我们不再列举条件表，而是训练一个参数为 $\theta$ 的神经网络（如带因果掩码的 Transformer），把任意长度的历史前缀 $x_{<i}$ 映射为第 $i$ 个位置的一维分类概率分布 $p_\theta(x_i \mid x_{<i})$。高维联合空间里恐怖的多模态耦合被彻底消解：在每一步内部，网络只需要输出一个词表大小 $|\mathcal{V}|$ 的 Softmax 向量；一旦从该向量中采样出具体的 $x_i$ 并固定下来，多模态分叉就完成了坍缩，下一步在这个既定事实之上继续做简单的一维预测。这套沿着固定序列顺序逐一分解坐标的机制，就是统治当今大语言模型的自回归模型（Autoregressive Models，如 GPT 系列、图像早期的 PixelCNN 与音频 WaveNet）。训练时，由于真实前缀全部已知，因果掩码允许一次前向传播并行算出所有 $D$ 个因子的对数似然；但生成时，第 $i$ 步必须等前 $i-1$ 步采样落定，严格锁定在 $O(D)$ 次串行计算。

当人们试图把固定顺序链式分解搬到二维图像或三维分子上时，立刻撞上了两堵墙。第一堵墙是非自然的一维展开顺序：人类语言天然具有从前往后的时间因果流，但一张图像并没有“左上角是右下角的原因”这种物理顺序；强行按光栅扫描（从左到右、逐行向下）拉平图像，会让当前像素能看见上方和左方，却对紧挨着的下方和右方彻底失明。第二堵墙是并行加速引发的条件独立性灾难：为了减少串行步数，如果强行让网络一次并行吐出 $k$ 个位置的词元，在数学上等价于强行把联合条件分布近似成了乘积 $\prod_{j=1}^k p(x_{i+j} \mid x_{\le i})$——这恰恰掉进了主类比指出的失效陷阱，生成的人脸极易出现“左眼朝左看、右眼朝右看”的局部失调。

怎样在不违背链式法则的前提下实现大规模并行生成？关键洞察在于：不要按空间位置分组，而要按“空间频率与分辨率尺度”分组。先把一张图像编码成从粗到细的 $S$ 层多尺度残差特征图 $(r_1, r_2, \dots, r_S)$，其中 $r_1$ 只是 $1 \times 1$ 的全局色调与构图锚点，$r_S$ 是最高分辨率的纹理细节，然后将联合分布沿分辨率轴向做块状链式分解：

$$p(x) = p(r_1, r_2, \dots, r_S) = \prod_{s=1}^S p_\theta(r_s \mid r_1, r_2, \dots, r_{s-1})$$

注意这里的精妙之处：在还没决定全图是“白昼”还是“黑夜”之前，左上角像素和右下角像素强耦合，绝不能独立并行采样；但一旦粗尺度特征 $r_{<s}$ 已经把全局构图、光照和物体轮廓全部敲定，同一精细尺度 $r_s$ 内部不同空间位置的局部高频纹理，在给定粗轮廓的条件下就近似条件独立了！因此在第 $s$ 步内部并行采样整张特征图 $r_s$ 的所有词元，几乎不会产生拼接冲突，将上千步光栅自回归压缩到了寥寥 $10$ 步。这就是 2024 年兴起的视觉多尺度自回归模型（VAR, Visual Autoregressive Modeling）及频域自回归（FAR）的底层机制。

更进一步，如果我们连尺度顺序都不想预设（比如做任意位置填空、代码中间补全或无序分子生成），能不能把“所有可能的拆解顺序”全都兼容进来？设 $\sigma$ 是下标集合 $\{1, \dots, D\}$ 的任意一种排列（共有 $D!$ 种排列），我们可以把联合分布定义为对所有 $D!$ 种链式分解顺序的均匀混合，并利用琴生不等式（Jensen’s Inequality）写出它的训练损失上界：

$$p_\theta(x) = \frac{1}{D!} \sum_{\sigma \in S_D} \prod_{i=1}^D p_\theta\left(x_{\sigma(i)} \mid x_{\sigma(<i)}\right), \qquad -\log p_\theta(x) \le \mathbb{E}_{\sigma \sim \mathcal{U}(S_D)} \left[ \sum_{i=1}^D -\log p_\theta\left(x_{\sigma(i)} \mid x_{\sigma(<i)}\right) \right]$$

这个公式早期被称为任意序自回归模型（Any-Order Autoregressive Models，如 NADE、XLNet）。而在另一条看似毫不相干的战线上，研究者模仿连续扩散模型，提出了把词元按时间 $t \in [0, 1]$ 独立随机替换为特殊符号 [MASK]、再训练双向 Transformer 逐步把 [MASK] 还原回正常词元的离散生成方法。2024 至 2025 年间，多项理论工作（如 RADD、MDLM 与 Esoteric LMs）严格证明了一个令人振奋的数学恒等式：当正向掩码率为 $t$ 时，时间加权的交叉熵积分损失

$$\mathcal{L}_{\mathrm{MDM}} = \int_0^1 \frac{1}{t} \, \mathbb{E}_{x_t \mid x_0} \left[ \sum_{i : \, x_t^i = \text{[MASK]}} -\log p_\theta\left(x_0^i \mid x_t\right) \right] dt \equiv \mathbb{E}_{\sigma \sim \mathcal{U}(S_D)} \left[ \sum_{i=1}^D -\log p_\theta\left(x_{\sigma(i)} \mid x_{\sigma(<i)}\right) \right]$$

与任意序自回归损失在代数上恒等！这就是掩码离散扩散模型（Masked Diffusion Models，亦包括视觉中的 MaskGIT 范式）的真实身份：它并不是什么独立于链式法则之外的新概率公式，而是同时在全部 $D!$ 种坐标排列上共享权重的自回归模型。当推理时每一步只揭开 1 个 [MASK]，它就退化为精确的随机顺序自回归；当为了追求速度一步同时揭开多个 [MASK] 时，它就用微小的局部条件独立性误差换取了并行吞吐。

---

四、 第二条路线：拆解信噪比轨迹——隐变量边际化如何让全图同时浮现

沿着数据坐标拆解虽然直接，但面对高维连续实数信号（如未经离散化的原始图像像素、连续音频波形、蛋白质三维原子坐标）时却十分别扭：如果硬把连续向量切成离散词表（矢量量化 VQ），必然损失高频细节；如果不离散化，单步条件分布 $p(x_i \mid x_{<i})$ 依然是复杂的连续多峰分布，用单个高斯分布去拟合立刻又会变糊。

于是第二条路线彻底放弃了“切分数据维度 $D$”的想法：保持 $D$ 维向量 $x$ 的完整性，转而在数据之外引入一个不可观测的辅助隐变量 $z$，把目标分布写成对联合分布 $p_\theta(x, z)$ 的边际化积分：

$$p_\theta(x) = \int p(z) \, p_\theta(x \mid z) \, dz$$

为什么要绕这么大一个弯子，先升维再积分？回到我们的 3 像素算例就能一眼看穿其中的奥妙。假设我们引入一个代表“全局底色”的二值隐变量 $z \in \{0, 1\}$，先验概率为 $p(z=0) = 0.5, \, p(z=1) = 0.5$。规定在给定 $z$ 的条件下，三个像素彼此完全独立：$p(x_1, x_2, x_3 \mid z) = \prod_{i=1}^3 p(x_i \mid z)$，每个像素有 $0.9$ 的概率与底色 $z$ 一致，有 $0.1$ 的概率发生翻转。生成时，只需先抽一次 $z$，三个像素就能一步完全并行地同时采样！现在我们来算把 $z$ 求和消掉之后的边缘联合分布 $p(x_1, x_2, x_3)$：

• 全白状态 $p(1, 1, 1) = 0.5 \times 0.9^3 + 0.5 \times 0.1^3 = 0.3645 + 0.0005 = 0.365$（全黑同理为 $0.365$）；
• 棋盘格状态 $p(1, 0, 1) = 0.5 \times (0.9^2 \times 0.1) + 0.5 \times (0.1^2 \times 0.9) = 0.0405 + 0.0045 = 0.045$。

对比第一节里直接独立抛硬币得出的全部 $0.125$，奇迹发生了：明明条件分布 $p(x \mid z)$ 在所有像素上完全独立，但只要对共同的隐因变量 $z$ 做一次积分（求和），像素之间强烈的全局相关性就自动涌现了出来！因为积分 $\int p(z)p_\theta(x\mid z)dz$ 在高维连续空间无法直接算出，我们引入一个近似推断网络 $q_\phi(z \mid x)$ 去猜测“哪一个隐变量 $z$ 最可能生成当前数据 $x$”，从而推导出对数似然的变分下界（ELBO）：$\log p_\theta(x) \ge \mathbb{E}_{q_\phi(z\mid x)}[\log p_\theta(x \mid z)] - D_{\mathrm{KL}}(q_\phi(z\mid x) \,\|\, p(z))$。这就是变分自编码器（VAE）的概率本质：用无穷多个简单对角高斯分布 $p_\theta(x \mid z) = \mathcal{N}(x; \mu_\theta(z), \sigma^2 I)$ 的连续积分混合，去逼近任意复杂的真实分布。

然而，刚才的算例里其实还藏着半句坏消息：在这个单隐变量模型里，单次边缘跳变状态 $(1, 1, 0)$ 和高频闪烁状态 $(1, 0, 1)$ 算出来的概率居然都是 $0.045$，没能区分出真实分布里的 $0.06$ 与 $0.03$！原因很清楚：单靠一层低维隐变量 $z$ 只能抓大放小地决定全局基调，剩下的局部相关性如果全塞给条件独立的各像素高斯解码器，细节就会被平均成一团模糊雾气。

自然而然的改进，是把单步隐变量拉长成一条由粗到细的马尔可夫隐变量链 $x_T \to x_{T-1} \to \dots \to x_1 \to x_0$（早期体现为层次化 VAE，如 VDVAE）。2020 年前后成熟的扩散模型（Diffusion Models，如 DDPM 与连续时间 Score SDE）走出了一步极致的简化：干脆不要训练复杂的编码器网络了，直接人为固定一条往原图 $x_0$ 里逐步掺入微小高斯白噪声的前向退化链 $q(x_{1:T} \mid x_0) = \prod_{t=1}^T \mathcal{N}\left(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I\right)$，直到 $x_T$ 彻底变成毫无信息的标准高斯噪声 $\mathcal{N}(0, I)$；然后将生成过程分解为逆向马尔可夫链对所有中间噪声轨迹的边际化积分：

$$p_\theta(x_0) = \int p(x_T) \prod_{t=1}^T p_\theta(x_{t-1} \mid x_t) \, dx_1 \cdots dx_T$$

为什么扩散模型里每一步逆向条件分布 $p_\theta(x_{t-1} \mid x_t)$ 同样采用各像素条件独立的对角高斯分布 $\mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \sigma_t^2 I)$，全图百万像素同时并行去噪，却不会像单步 VAE 那样变糊、也不会像并行自回归那样左右脸打架？

答案藏在随机过程理论的费勒定理（Feller, 1949）中：无论原始数据分布 $p(x_0)$ 有多少个孤立山峰、结构多么扭曲，只要前向单步注入的噪声方差 $\beta_t$ 足够微小（在连续时间下 $\Delta t \to 0$），根据贝叶斯公式反推出来的真实逆向后验分布 $q(x_{t-1} \mid x_t)$ 在局部一阶泰勒展开下严格收敛于一个对角协方差的高斯分布，非高斯的交叉耦合高阶项会以 $O(\beta_t^2)$ 的高阶无穷小迅速归零！换句话说，自回归模型是把 $D$ 维联合分布的难度拆在了空间坐标轴上（分 $D$ 步，每步彻底敲定 1 个维度的全部信息量）；扩散模型则是把联合分布的难度拆在了信噪比（信息熵）轴上（分 $T$ 步，每步同时在全部 $D$ 个维度上只恢复 $1/T$ 比特的微量信息），靠步长无穷小换取了单步条件分布的高斯化与各维度条件独立性。后续的一致性模型（Consistency Models）和蒸馏技术，则是在这条已经铺好的平滑概率轨迹上直接学习跨步映射，将迭代步数重新压回 1 至 4 步。

---

五、 第三条路线：拆解几何形变——确定性变量替换与雅可比行列式链

隐变量边际化路线（VAE 与扩散模型）虽然解决了高维连续生成，但付出了一个沉重的数学代价：因为无数条不同的随机隐轨迹 $x_{1:T}$ 最终都可能落到同一个数据点 $x_0$ 上，要算某张图片精确的概率密度 $p_\theta(x_0)$ 就必须对整个无穷维轨迹空间求积分。积分算不出，模型就永远算不出精确似然，只能拿变分下界（ELBO）凑合。

怎样才能在保留多层逐步演化能力的同时，彻底消灭那个讨厌的轨迹积分号 $\int dx_{1:T}$？办法只有一个：把每一步随机转移都改成严格可逆的确定性双射函数！设初始隐变量 $z_0 \sim p_0(z_0)$ 服从标准高斯分布，经过 $K$ 层可逆映射 $x = z_K = f_K \circ f_{K-1} \circ \dots \circ f_1(z_0)$ 变成最终数据 $x$。因为每一步都严格一一对应，给定任意数据点 $x$，倒推回去的源头 $z_0 = f_1^{-1} \circ \dots \circ f_K^{-1}(x)$ 在全空间里只有唯一的一个点——对隐空间的积分瞬间坍缩为单点求值！

但正如第一节主类比第二个失效边界所警告的，连续空间里的确定性拉伸会改变体积元大小。比如把区间 $[0, 1]$ 上的均匀分布通过函数 $x = 2z$ 均匀拉长两倍到 $[0, 2]$，总概率质量守恒为 $1$，每一点处的概率密度就必须除以拉伸倍数 $2$，降为 $0.5$。推广到 $D$ 维空间的多步复合映射，根据微积分中的多维变量替换定理，数据的精确对数概率密度被分解为初始高斯对数密度减去每一层局部体积膨胀率（雅可比矩阵行列式绝对值）的对数之和：

$$\log p_\theta(x) = \log p_0(z_0) - \sum_{k=1}^K \log \left| \det \frac{\partial f_k(z_{k-1})}{\partial z_{k-1}} \right|$$

这就是归一化流（Normalizing Flows，如 RealNVP、Glow）的核心分解机制：不用近似、不用采样估计，一次前向/逆向计算就能拿到百分之百精确的对数似然 $\log p_\theta(x)$。

透过雅可比行列式这面镜子，我们还能意外看清自回归模型与归一化流的深层统一。在 $D$ 维空间里直接算一个普通稠密矩阵的行列式需要 $O(D^3)$ 浮点运算，对百万维像素完全不可承受；怎样让雅可比矩阵的行列式在 $O(D)$ 时间内瞬间算出？线性代数告诉我们：下三角矩阵的行列式就等于对角线元素的乘积！如果我们把可逆变换设计为第 $i$ 个坐标只做关于前 $i-1$ 个坐标的仿射缩放与平移：$x_i = \mu_\theta(x_{<i}) + \sigma_\theta(x_{<i}) \cdot z_i$，那么 $\frac{\partial x_i}{\partial z_j}$ 在 $j > i$ 时恒等于 $0$，雅可比矩阵天然就是一个严格的下三角矩阵，其对数行列式直接化简为 $\sum_{i=1}^D \log |\sigma_\theta(x_{<i})|$。这种结构被称为掩码自回归流（MAF）与逆自回归流（IAF）——它证明了连续高斯自回归模型在数学上就是一层具有下三角雅可比结构的归一化流！

不过，离散步归一化流为了强保“每层严格可逆”且“雅可比矩阵必须呈三角或分块耦合结构”，给神经网络套上了沉重的架构枷锁，表达能力远不如自由自在的 U-Net 或标准 Transformer。直到研究者把层数推向连续无穷极限 $K \to \infty$，用常微分方程 $\frac{dx_t}{dt} = v_\theta(x_t, t)$ 描述无穷小位移：在无穷小步长 $dt$ 内，恒等变换加微小速度场 $x_{t+dt} = x_t + v_\theta(x_t, t) dt$ 的雅可比行列式对数，根据雅可比公式精确退化为矩阵的迹（即速度场的散度 $\nabla \cdot v_\theta$）！离散求和随之变成时间积分：

$$\log p_1(x_1) = \log p_0(x_0) - \int_0^1 \nabla \cdot v_\theta(x_t, t) \, dt$$

这一步彻底解放了网络架构——速度场网络 $v_\theta$ 不再需要任何下三角或分块可逆设计，任意 Transformer（如 DiT）都能直接上阵。再配合流匹配（Flow Matching）与矫正流（Rectified Flow）的训练方法——无需在训练期积分常微分方程，直接用回归损失拟合连接噪声点 $x_0$ 与真实样本 $x_1$ 直线插值路径上的条件期望速度 $\mathbb{E}[x_1 - x_0 \mid x_t]$——连续流模型既摆脱了架构束缚，又把采样路径拉直，成为当今视觉与多模态生成的主力范式。

在这条几何推前路线的最极端处，如果有人认为真实高清图像只存在于百万维像素空间里一张极薄的 $d$ 维流形曲面上（$d \ll D$），任何 $D \to D$ 的可逆双射都会在流形法向挤压体积时遭遇雅可比行列式趋于零的数值病态。干脆直接令隐变量维度 $\dim(z) = d \ll D$，用一个不可逆的深度网络 $x = G_\theta(z)$ 把低维高斯噪声直接拍到高维空间上，对应的联合分解退化为狄拉克 $\delta$ 函数积分：$p_\theta(x) = \int p(z) \, \delta(x - G_\theta(z)) \, dz$。因为生成的分布集中在零测度薄片上，显式概率密度处处不存在，最大似然训练彻底失效，只能再引入一个判别器网络通过双样本博弈来衡量生成分布与真实分布的距离——这正是生成对抗网络（GAN）与其他隐式生成模型（Implicit Generative Models）在联合分布图谱上的坐标：彻底放弃显式密度估值，换取一步前向到位的极速采样。

---

六、 第四条路线：放弃因果方向——无向势函数乘积与可计算概率电路

回顾前三条路线，无论是从第 $1$ 个词到第 $D$ 个词，还是从时刻 $T$ 到时刻 $0$，本质上都在用有向无环图（DAG）规定一套“谁先决定谁”的生成次序。每一步局部因子之所以无需再做全局归一化，全仰仗方向性带来的局部自动归一生效（即 $\sum_{x_i} p(x_i \mid x_{<i}) = 1$）。

但现实中有大量结构规律天生是双向对称的硬约束，根本不存在单向因果箭头：数独盘面里同行同列数字互斥、蛋白质折叠时任意两个空间靠近的氨基酸不能发生原子体积碰撞、相邻像素的颜色平滑过渡。如果你强行给数独的 81 个格子编一条从左到右的自回归顺序，模型填前十几个格子时毫无防备地随手落子，填到第 80 个格子时才赫然发现无论填 1 到 9 都会和前面冲突，却再也无法回头修改！

为了忠实刻画全局对称约束，第四条路线拒绝挑选任何因果生成方向，直接把联合分布拆解为无向图上各个局部关联子集（称为团 Clique，记作 $c \in \mathcal{C}$）的非负兼容性打分函数 $\psi_c(x_c)$ 的连乘积（取对数后等价于局部能量之和）：

$$p_\theta(x) = \frac{1}{Z(\theta)} \prod_{c \in \mathcal{C}} \psi_{c, \theta}(x_c) = \frac{1}{Z(\theta)} \exp\left( - \sum_{c \in \mathcal{C}} E_{c, \theta}(x_c) \right), \qquad Z(\theta) = \sum_{x'} \prod_{c \in \mathcal{C}} \psi_{c, \theta}(x'_c)$$

这种无向乘积分解对应概率图模型中的马尔可夫随机场（MRF）、玻尔兹曼机与现代深度基于能量的模型（EBM）。它的自由度极高：任何局部规则或全局评分器都可以直接写成一项能量加进去，而且做条件推断时无需重训模型——无论你想固定哪几个像素去反推其余像素，只需把已知坐标代入能量函数固定住即可。代价也是众所周知的：一旦放弃了有向局部归一化，所有局部打分乘完之后总和不再等于 $1$，被迫在分母上除以遍历全空间的全局配分函数 $Z(\theta)$，导致训练和采样都深陷马尔可夫链蒙特卡洛（MCMC）慢混合的泥潭。

那么在数学上，究竟存不存在一种神奇的联合分布拆解方式，既不依赖近似变分下界、也不用跑缓慢的 MCMC，就能在多项式时间内同时精确算出任意样本的似然 $p(x)$、全局归一化常数 $Z$ 以及任意变量子集的边缘分布 $p(x_A)$？

答案是肯定的，只要利用算术中的乘法对加法的分配律！考察一个最简单的双变量式子：直接对四项求和 $a_1 b_1 + a_1 b_2 + a_2 b_1 + a_2 b_2$ 需要遍历 $2^2 = 4$ 种组合；但如果把它写成因式分解 $(a_1 + a_2)(b_1 + b_2)$，就可以先把每个变量各自求和再相乘，计算量从指数级 $2^D$ 骤降为线性级 $2D$！将这一代数原理层次化地嵌套成深度计算图，只允许交替使用两种受控节点——对相同变量作用域做混合加权的求和节点（Sum Nodes，对应隐类别混合）和对互不相交的变量子集做独立相乘的乘积节点（Product Nodes，对应条件独立分解）——就构成了可计算概率电路（Probabilistic Circuits，代表如和积网络 SPN）。与之异曲同工的是源于量子多体物理的张量网络与玻恩机（如矩阵乘积态 MPS），它把 $2^D$ 维联合概率张量做低秩链式矩阵分解：

$$p_\theta(x_1, x_2, \dots, x_D) = \frac{1}{Z} \left| A^{(1)}_{x_1} A^{(2)}_{x_2} \cdots A^{(D)}_{x_D} \right|^2$$

其中每个 $A^{(i)}_{x_i}$ 只是一个 $m \times m$ 的小矩阵（$m$ 称为键维数）。求全局配分函数 $Z$ 或求任意局部边缘分布时，原本对 $2^D$ 个状态的指数级求和，通过交换矩阵乘法与求和次序，直接化简为 $D$ 次小矩阵连乘，复杂度仅为 $O(D m^3)$，还能逐位精确自回归采样，成为离散科学计算与可验证安全推理中的独特利器。

---

七、 第五条路线：二维网格上的正交合流——2024–2026 前沿大统一

把前面四条路线摆在一起就会发现，“按坐标 $i \in \{1, \dots, D\}$ 拆解”与“按噪声/分辨率层级 $t \in [0, T]$ 拆解”根本不是非此即彼的死敌——它们其实是一张 $D \times T$ 二维信息揭示网格上的两条正交坐标轴！横轴代表空间或序列位置 $1 \dots D$，纵轴代表从纯噪声 $T$ 到完全清晰 $0$ 的不确定性消解过程：

• 标准自回归模型是在这张二维网格上一列一列横向推进：先把第 $1$ 列从噪声顶层 $T$ 一步拍到底层清晰值 $0$，再处理第 $2$ 列，直到第 $D$ 列；
• 标准扩散与流模型是在这张二维网格上一行一行纵向推进：所有 $D$ 列捆绑在同一个水平线上，整齐划一地从第 $T$ 行一步步降到第 $0$ 行。

一旦看清这张二维网格，2024 至 2026 年最具突破性的新一代生成架构，全都是在解锁网格内部的混合路径与正交嵌套：

首先是外层按坐标链式分解、内层按扩散/流分解的嵌套架构。过去做自回归图像生成（如 DALL-E 第一代、Parti、LlamaGen）为什么非要先套一个有损的离散词表（VQ-VAE）？仅仅是因为研究者习惯了用分类交叉熵（Softmax）去参数化单步条件因子 $p(x_i \mid x_{<i})$！2024 年何恺明团队提出的无矢量量化掩码自回归（MAR）戳破了这层窗户纸：概率链式法则 $p(x_1, \dots, x_D) = \prod_{i=1}^D p(x_i \mid x_{<i})$ 对连续实数向量 $x_i \in \mathbb{R}^d$ 同样百分之百精确成立！只需让外层自回归（或掩码任意序）Transformer 读取历史上下文 $x_{<i}$ 并输出一个条件特征向量 $z_i = f_\theta(x_{<i})$，然后挂载一个极轻量的多层感知机（MLP），用几步微型扩散或流匹配去建模这单个连续词元的条件概率密度 $p_\theta(x_i \mid z_i)$ 即可。紧随其后的原生多模态统一大模型（如 Transfusion 与 Show-o）更是把这种嵌套发挥到了极致：在同一个上下文序列里，遇到离散文本词元就走 Softmax 分类因子，遇到连续图像块就走扩散/流匹配因子，两种模态在同一个联合分布链式法则下无缝共生。

其次是赋予每个坐标独立噪声时间表的二维斜向推进。既然有二维网格，凭什么要求所有词元在同一时刻必须处于相同的噪声水平 $t$？扩散强制（Diffusion Forcing, Chen et al., 2024）与滚动扩散（Rolling Diffusion）将单一标量时间 $t$ 升级为与序列等长的独立噪声向量 $(t_1, t_2, \dots, t_D) \in [0, T]^D$ 进行训练。在生成超长视频或机器人连续控制轨迹时，模型可以在二维网格上沿斜对角阶梯线滑动推进：离当前时刻最近的下一帧几乎已经完全去噪清晰（$t_i \approx 0$），往后几帧处于半模糊的草稿状态（$t_i \approx T/2$），更远的未来帧则保持高噪声的宏观先验（$t_i \approx T$）。这既保留了自回归模型无限向外流式延展长序列的能力和键值缓存（KV Cache）优势，又用未来模糊草稿的全局软约束消除了传统自回归“一步错、步步错”的累积暴露偏差（Exposure Bias）。与此同时，离散语言模型前沿（如 2025–2026 年的 Esoteric LMs 与块扩散语言模型 Block Diffusion / BD3-LMs）也利用掩码扩散与任意序自回归的精确等价性，在块间保持因果自回归与精确 KV 缓存，在块内执行并行扩散去掩码，站在了生成质量与推理吞吐帕累托前沿的最顶端。

---

八、 理解的边界：拆解背后的守恒铁律、脆弱假设与省略项

没有任何一种联合分布拆解方式是万能钥匙。在选用或融合这些范式时，必须看清三条横亘在底层的数学铁律与脆弱假设：

1. “表达力—并行采样—任意条件推断”的不可能三角。计算复杂性理论早已证明，对一般高维图模型做精确边际化与后验推断属于 #P-hard 难题。你选择哪一种拆解方式，只是在把指数级计算代价藏进不同的角落：自回归模型顺着预设方向生成和算前缀似然极快，但一旦逆着分解箭头提问——比如给定一句话的结尾 $x_D$ 去精确采样开头 $x_1$，即求贝叶斯逆后验 $p(x_1 \mid x_D)$——链式法则瞬间失效，这也是大语言模型“逆转诅咒”（Reversal Curse，知道“A 的母亲是 B”却答不出“B 的孩子是谁”）的概率论病根；无向能量模型和掩码扩散天生支持任意子集条件填空，却要为之付出多步迭代或配分函数近似的算力代价；可计算概率电路虽然两头精确，但高维图像和自然语言上的表达效率至今难以匹敌深度自由架构。
2. 有限算力下，“数学等价”不等于“学习难度等价”。在无穷容量的理想函数空间里，按从左到右拆解 $p(x_1)p(x_2 \mid x_1)$ 与按从右到左拆解 $p(x_2)p(x_1 \mid x_2)$ 表示的是同一个联合分布。但在有限参数量、多项式计算时间的神经网络面前，分解顺序直接决定了单步因子到底学不学得会！最直观的反例是密码学单向函数：设 $x_1$ 是一串随机密码，$x_2 = \mathrm{SHA256}(x_1)$ 是它的哈希摘要。按 $p(x_1)p(x_2 \mid x_1)$ 拆解，$p(x_1)$ 是均匀分布，$p(x_2 \mid x_1)$ 只是正向算一次哈希算法，小型网络也能轻松逼近；可一旦反过来按 $p(x_2)p(x_1 \mid x_2)$ 拆解，学习 $p(x_1 \mid x_2)$ 就等价于逆向暴力破解哈希原像，全世界所有 GPU 加起来也学不会！人类自然语言和代码同样包含大量“先立前提、再推结论”的单向逻辑计算，这解释了为什么掩码离散扩散模型（强迫同一个网络去平均拟合全部 $D!$ 种排列，其中绝大多数是违背逻辑因果序的困难反演题）在同等参数规模下的语言建模困惑度（Perplexity）至今仍系统性地略逊于顺应因果序的自回归模型。
3. 对数似然（分解目标）与感知生成质量的错位。绝大多数显式分布分解优化的都是最大似然，等价于最小化真实分布到模型分布的前向 KL 散度 $D_{\mathrm{KL}}(p_{\text{data}} \,\|\, p_\theta)$。前向 KL 具有极强的“模式全覆盖”（Mode-covering）惩罚：哪怕模型在两个真实数据簇中间的空白地带生成了四不像的垃圾样本，只要没有漏掉任何一个真实偏僻样本，对数似然依然很高；反之，哪怕模型只漏掉了一个极罕见的离群点，似然损失就会爆炸到无穷大。这就是为什么现代扩散与自回归图像生成在实际推理时，普遍依赖无分类器引导（Classifier-Free Guidance）或低温截断采样——本质上是在推理期故意破坏训练好的真实联合分布分解，人为把概率质量挤压向高密度峰顶（Mode-seeking），用牺牲分布覆盖广度来换取单张样本的清晰度与人类审美偏好。
4. 本文省略的分支。为聚焦于联合概率分布参数化拆解的主干脉络，本文省略了非参数核密度估计、基于最优输运康托罗维奇对偶的判别度量细节（WGAN）、时�