文章目录
- 1 离散时间模型
- 2 连续时间模型 得到 SDE 随机微分方程
- 2.1 从离散模型到SDE的推理步骤
- 3 补充：泰勒展开近似 1 − β i \sqrt{1-\beta_i} 1−βi
CM模型非常重要
引出了LCM等一系列重要工作
CM潜在性模型的数学公式推导并不好理解
一步一步，我分几期记录学习过程
描述了一个随机过程的离散化近似及其对应的随机微分方程（SDE）
1 离散时间模型
首先第一行，它定义了一个离散时间模型，其中 X i X_i Xi 表示时间 t i t_i ti 的状态：
X i = 1 − β i X i − 1 + β i ϵ i , i = 1 , . . . , N X_i = \sqrt{1-\beta_i}X_{i-1} + \sqrt{\beta_i}\epsilon_i, \quad i=1,...,N Xi=1−βiXi−1+βiϵi,i=1,...,N
其中：
- β i = β ( t i ) Δ t \beta_i = \beta(t_i)\Delta t βi=β(ti)Δt， β ( t ) \beta(t) β(t) 是一个时间相关的函数。
- Δ t = T / N \Delta t = T/N Δt=T/N，表示时间步长。
- ϵ i \epsilon_i ϵi 是独立同分布的随机变量。
当时间步长 Δ t \Delta t Δt 趋近于 0，即 N N N 趋近于无穷时，该模型可以用来逼近一个连续时间随机
2 连续时间模型 得到 SDE 随机微分方程
通过对离散模型进行近似，我们可以得到一个描述 x ( t ) x(t) x(t) 的随机微分方程 (SDE)：
d x = − 1 2 β ( t ) x ( t ) d t + β ( t ) d W ( t ) , t ∈ [ 0 , T ] dx = -\frac{1}{2}\beta(t)x(t)dt + \sqrt{\beta(t)}dW(t), \quad t \in [0,T] dx=−21β(t)x(t)dt+β(t)dW(t),t∈[0,T]
其中:
- W ( t ) W(t) W(t) 是一个标准的 Wiener 过程 (布朗运动)。
- β ( t ) \beta(t) β(t) 与离散模型中的定义相同。
2.1 从离散模型到SDE的推理步骤
1. 展开：
首先，我们将 X i X_i Xi 用 X i − 1 X_{i-1} Xi−1 展开：
X i ≈ X i − 1 + Δ X i X_i \approx X_{i-1} + \Delta X_i Xi≈Xi−1+ΔXi
即可得到
$\Delta X_i \approx X_i - X_{i-1} $
2. 将离散模型代入：
然后，我们将离散模型的表达式代入右边 X i X_i Xi
Δ X i = X i − X i − 1 = ( 1 − β i − 1 ) X i − 1 + β i ϵ i \Delta X_i = X_i - X_{i-1} = (\sqrt{1-\beta_i}-1)X_{i-1} + \sqrt{\beta_i}\epsilon_i ΔXi=Xi−Xi−1=(1−βi−1)Xi−1+βiϵi
由于 Δ t \Delta t Δt 很小，所以$\beta_i $趋近于0，我们可以用一级泰勒展开近似 1 − β i \sqrt{1-\beta_i} 1−βi：
1 − β i ≈ 1 − 1 2 β i \sqrt{1-\beta_i} \approx 1 - \frac{1}{2}\beta_i 1−βi≈1−21βi
代入上式，得到：
Δ X i ≈ − 1 2 β i X i − 1 + β i ϵ i \Delta X_i \approx -\frac{1}{2}\beta_i X_{i-1} + \sqrt{\beta_i}\epsilon_i ΔXi≈−21βiXi−1+βiϵi
3. 替换变量并取极限：
- 将 β i \beta_i βi 替换为 β ( t i ) Δ t \beta(t_i)\Delta t β(ti)Δt。
- 将 ϵ i \epsilon_i ϵi 替换为 Δ W i = W ( t i ) − W ( t i − 1 ) \Delta W_i = W(t_i) - W(t_{i-1}) ΔWi=W(ti)−W(ti−1)，其中 W ( t ) W(t) W(t) 是标准 Wiener 过程 (布朗运动)。
- 将 Δ X i \Delta X_i ΔXi 替换为 d x dx dx，将 X i − 1 X_{i-1} Xi−1 替换为 x ( t ) x(t) x(t)。
- 取极限 Δ t → 0 \Delta t \to 0 Δt→0，得到 SDE：
d x = − 1 2 β ( t ) x ( t ) d t + β ( t ) d W ( t ) dx = -\frac{1}{2}\beta(t)x(t)dt + \sqrt{\beta(t)}dW(t) dx=−21β(t)x(t)dt+β(t)dW(t)
3 补充：泰勒展开近似 1 − β i \sqrt{1-\beta_i} 1−βi
由于 β i = β ( t i ) Δ t \beta_i = \beta(t_i)\Delta t βi=β(ti)Δt，当 Δ t \Delta t Δt 很小时， β i \beta_i βi 也会很小。因此，我们可以使用泰勒级数展开来近似 1 − β i \sqrt{1-\beta_i} 1−βi。
泰勒级数展开式：
函数 f ( x ) f(x) f(x) 在 x = a x=a x=a 处的泰勒级数展开式为：
f ( x ) = f ( a ) + f ′ ( a ) ( x − a ) + f ′ ′ ( a ) 2 ! ( x − a ) 2 + . . . + f ( n ) ( a ) n ! ( x − a ) n + R n ( x ) f(x) = f(a) + f'(a)(x-a) + \frac{f''(a)}{2!}(x-a)^2 + ... + \frac{f^{(n)}(a)}{n!}(x-a)^n + R_n(x) f(x)=f(a)+f′(a)(x−a)+2!f′′(a)(x−a)2+...+n!f(n)(a)(x−a)n+Rn(x)
其中， R n ( x ) R_n(x) Rn(x) 是余项，表示展开式的误差。
应用于 1 − β i \sqrt{1-\beta_i} 1−βi：
我们将 f ( x ) = 1 − x f(x) = \sqrt{1-x} f(x)=1−x， a = 0 a=0 a=0，代入泰勒级数展开式，得到：
f ( x ) = 1 − x = 1 − 1 2 x − 1 8 x 2 − . . . f(x) = \sqrt{1-x} = 1 - \frac{1}{2}x - \frac{1}{8}x^2 - ... f(x)=1−x=1−21x−81x2−...
由于 β i \beta_i βi 很小，我们可以忽略高阶项，得到近似式：
1 − β i ≈ 1 − 1 2 β i \sqrt{1-\beta_i} \approx 1 - \frac{1}{2}\beta_i 1−βi≈1−21βi
总结：
通过泰勒级数展开，我们将 1 − β i \sqrt{1-\beta_i} 1−βi 近似为 1 − 1 2 β i 1 - \frac{1}{2}\beta_i 1−21βi，从而简化了离散模型，并最终推导出了对应的 SDE。
后面证明了SDE对应一个ODE，可以用常微分方程来解决
潜在一致性模型LCM学习笔记 - 知乎 (zhihu.com)
潜在一致性模型LCM学习笔记 - 知乎 (zhihu.com)
