DDIM-2026.1.22

Diffusion Models

Diffusion Models

DDIM

一种加速扩散模型采样的先驱方法:去噪扩散隐式模型(DDIM)，也是最广泛使用的基于ODE的求解器之一。虽然其名称暗示变分起源，对$\left( {\mathbf{x},\mathbf{\epsilon }}\right)$预测的演示，我们将展示其实际的更新规则也可以被理解为对方程(9.1.6)中的积分进行Euler方法的直接近似。这一ODE视角不仅为DDIM提供了原则性的重新诠释，也为设计更灵活高效的快速采样器奠定了基础。

DDIM的原始变分推导将在后续，建立了DDIM更新规则与条件流匹配的明确对应关系，表明DDIM动力学可以被解释为CFM学习的流。

将DDIM解释为ODE求解器

令$s>t$表示两个离散时间点，其中$s$为起始时间，$t$为更新的目标时间。为了近似方程(9.1.6)中的积分，一个自然的选择是将被积函数在$s$(步长起点)固定，假设

$$ {\mathbf{\epsilon }}_{{\phi }^{ \times }}\left( {{\mathbf{x}}_{\tau },\tau }\right) \approx {\mathbf{\epsilon }}_{{\phi }^{ \times }}\left( {{\mathbf{x}}_{s}, s}\right) ,\;\text{ for all }\tau \in \left\lbrack {t, s}\right\rbrack . $$

这一假设导致Euler更新近似(另见方程(9.1.7))，并产生如下的更新规则:

$$ {\widetilde{\mathbf{x}}}_{t} = \mathcal{E}\left( {s \rightarrow t}\right) {\widetilde{\mathbf{x}}}_{s} + \left( {\frac{1}{2}{\int }_{s}^{t}\frac{{g}^{2}\left( \tau \right) }{{\sigma }_{\tau }}\mathcal{E}\left( {\tau \rightarrow t}\right) \mathrm{d}\tau }\right) {\mathbf{\epsilon }}_{{\phi }^{ \times }}\left( {{\widetilde{\mathbf{x}}}_{s}, s}\right) , \tag{9.2.1} $$

对于初始点${\widetilde{\mathbf{x}}}_{s}$。此时，积分变得解析可解，从而得到以下实用且高效的DDIM更新公式:

命题9.2.1:DDIM = Euler方法(指数Euler)

方程(9.2.1)中的更新规则，通过对方程(9.1.6)中的指数积分器形式应用欧拉方法推导而得，得到以下DDIM更新:

$$ {\widetilde{\mathbf{x}}}_{t} = \frac{{\alpha }_{t}}{{\alpha }_{s}}{\widetilde{\mathbf{x}}}_{s} - {\alpha }_{t}\left( {\frac{{\sigma }_{s}}{{\alpha }_{s}} - \frac{{\sigma }_{t}}{{\alpha }_{t}}}\right) {\mathbf{\epsilon }}_{{\phi }^{ \times }}\left( {{\widetilde{\mathbf{x}}}_{s}, s}\right) . \tag{9.2.2} $$

命题的证明。

我们使用方程 (4.4.2) 即

$$ f(t) = \frac{\alpha'_t}{\alpha_t}, \ g^2(t) = \frac{\text{d}}{\text{d}t} (\sigma_t^2) - 2 \frac{\alpha'_t}{\alpha_t} \sigma_t^2 = 2\sigma_t \sigma'_t - 2 \frac{\alpha'_t}{\alpha_t} \sigma_t^2. $$

由此，我们得到

$$ \mathcal{E}(s \to t) = e^{\int_s^t f(u) \text{d}u} = e^{\log \alpha_u |_s^t} = \frac{\alpha_t}{\alpha_s}. $$

So, we have

$$ \begin{aligned} \int_s^t \frac{g^2(\tau)}{2\sigma_\tau} e^{\int_\tau^t f(u) \text{d}u} \text{d}\tau &= \int_s^t \frac{g^2(\tau)}{2\sigma_\tau} \frac{\alpha_t}{\alpha_\tau} \text{d}\tau \\ &= \alpha_t \int_s^t \frac{1}{2\sigma_\tau \alpha_\tau} \left( \frac{\text{d}\sigma_\tau^2}{\text{d}\tau} - 2 \frac{\text{d} \log \alpha_\tau}{\text{d}\tau} \sigma_\tau^2 \right) \text{d}\tau \\ &= \alpha_t \int_s^t \frac{\text{d}}{\text{d}\tau} \left( \frac{\sigma_\tau}{\alpha_\tau} \right) \text{d}\tau \\ &= -\alpha_t \left( \frac{\sigma_s}{\alpha_s} - \frac{\sigma_t}{\alpha_t} \right). \end{aligned} $$

此对应关系揭示了 DDIM 可以被解释为对指数积分变换的半线性 PF-ODE 应用的一阶欧拉方法。详细推导了扩散模型中 DDIM 与 ODE 求解器之间的联系。