Paper: Fang J, Wang J, Zhang X, et al. Gaussianeditor: Editing 3d gaussians delicately with text instructions[J]. arXiv preprint arXiv:2311.16037, 2023.
Introduction: https://gaussianeditor.github.io/
Code: Unreleased

本篇的 GaussianEditor 和 NTU 的 GaussianEditor 是同期工作，两篇都中了 CVPR 2024。本篇的 GaussianEditor 能够根据用户指令，在 20 分钟内完成对原有 3D GS 表示的三维场景的编辑任务。

GaussianEditor 先根据用户指令在 GS 场景中提取候选区域，然后使用扩散模型对场景的渲染视图进行编辑，最后反向传播优化候选区域的 Gaussians 参数。

一. 研究思路

由于 3D-GS 显示表达的优势，可以通过调整 Gaussians 参数来实现对三维场景的编辑。GaussianEditor 分为以下三个步骤：

记原始 GS 场景为 ${\mathcal{G}}_{\text{ori}}$，用户指令为 $\mathcal{T}$，GaussianEditor 为 $\mathcal{E}$，编辑后场景为 ${\mathcal{G}}_{\text{ed}}$，因此有 ${\mathcal{G}}_{\text{ed}}=\mathcal{E}({\mathcal{G}}_{\text{ori}},\mathcal{T})$。

1. 候选编辑区域的文本描述提取

根据用户编辑指令，结合原始 GS 场景，得到需要编辑的 候选区域 (region of interest, RoI) 的文本形式：

1. 使用场景语言生成模型 $\mathcal{F}$ 获取原始场景 ${\mathcal{G}}_{\text{ori}}$ 的文本描述 ${\mathcal{T}}_{\text{dsc}}$；
2. 将文本描述 ${\mathcal{T}}_{\text{dsc}}$ 和用户指令 $\mathcal{T}$ 结合，使用模板 ${\mathcal{T}}_{\text{tmp}}$ 得到用户信息 ${\mathcal{T}}_{\text{usr }}$；
3. 使用大语言模型辅助 $\mathcal{A}$ 解析用户信息 ${\mathcal{T}}_{\text{usr }}$ 得到候选编辑区域的文本形式 ${\mathcal{T}}_{\text{RoI}}$；

2. 候选编辑区域的场景对齐

将候选编辑区域的文本形式对齐到 GS 场景中：

1. 将候选编辑区域的文本形式 ${\mathcal{T}}_{\text{RoI}}$ 转换为图像形式 ${\mathcal{I}}_{\text{RoI}}$；
2. 将图像形式的候选编辑区域 ${\mathcal{I}}_{\text{RoI}}$ 转换为 3D-GS 形式 ${\mathcal{G}}_{\text{RoI}}$；

3. 候选编辑区域的场景编辑

对 GS 的候选编辑区域进行编辑：

1. 选择任意视角的渲染图象 ${\mathcal{I}}_{rd}$，使用扩散模型编辑得到 ${\mathcal{I}}_{ed}$；
2. 计算 ${\mathcal{I}}_{rd}$ 和 ${\mathcal{I}}_{ed}$ 之间的损失；
3. 在 3D 候选编辑区域 ${\mathcal{G}}_{\text{RoI}}$ 上优化参数；

二. 候选编辑区域的文本描述提取

1. 原始场景的文本描述提取

想要提取候选编辑区域的文本描述，需要先使用场景语言生成模型 $\mathcal{F}$ 获取原始场景 ${\mathcal{G}}_{\text{ori}}$ 的文本描述 ${\mathcal{T}}_{\text{dsc}}$：
$${\mathcal{T}}_{\text{dsc }}=\mathcal{F}\left({\mathcal{G}}_{\text{ori}}\right)$$

具体流程如下：

1. 使用 splatting 技术采样并渲染一组 2D 图像： I rd = { I 1 , I 2 , … , I M } \mathcal{I}_{\text {rd}}=\{\mathcal{I}_1, \mathcal{I}_2, \dots, \mathcal{I}_\mathcal{M}\} Ird​={I1​,I2​,…,IM​}，其中 $\mathcal{M}$ 是采样的图像数量；
2. 将每张渲染图像传入多模态模型 $\mathcal{C}$（实验中使用 BLIP2）中，结合预先定义的 prompt 文本 ${\mathcal{P}}_c$（如 “What is the content of the image”）得到每张图像的文本描述 T img = { T 1 , T 2 , … , T M } \mathcal{T}_{\text {img}}=\{\mathcal{T}_1, \mathcal{T}_2, \dots, \mathcal{T}_\mathcal{M}\} Timg​={T1​,T2​,…,TM​}：
   $${\mathcal{T}}_k=\mathcal{C}\left({\mathcal{P}}_c,{\mathcal{I}}_k\right),k\in \mathcal{M}$$
3. 将每张图像的文本描述 ${\mathcal{T}}_{\text{img}}$ 传入大语言模型 $\mathcal{A}$（实验中使用 GPT-3.5 Turbo），结合预先定义的 prompt 文本 ${\mathcal{P}}_m$ 来理解场景，得到场景的文本描述 ${\mathcal{T}}_{\text{dsc}}$：
   $${\mathcal{T}}_{\text{dsc}}=\mathcal{A}\left({\mathcal{P}}_m,{\mathcal{T}}_{\text{img }}\right)$$

2. 候选编辑区域的文本描述提取

提取了原始场景的文本描述后，就可以结合用户指令得到候选编辑区域的文本描述。具体流程如下：

1. 将场景的文本描述 ${\mathcal{T}}_{\text{dsc}}$ 和用户指令 $\mathcal{T}$ 结合，使用模板 ${\mathcal{T}}_{\text{tmp}}$ 得到用户信息 ${\mathcal{T}}_{\text{usr }}$（形如 ““Text description: … Edit Instruction: … Answer: ?”）：
   $${\mathcal{T}}_{\text{usr}}={\mathcal{T}}_{\text{tmp}}({\mathcal{T}}_{\text{dsc}},\mathcal{T})$$
2. 使用大语言模型 $\mathcal{A}$，结合预先定义的 prompt 文本 ${\mathcal{P}}_e$（如 “Let me know which region should be changed”），解析用户信息 ${\mathcal{T}}_{\text{usr }}$ 得到候选编辑区域的文本形式 ${\mathcal{T}}_{\text{RoI}}$：
   $${\mathcal{T}}_{\text{RoI }}=\mathcal{A}\left({\mathcal{P}}_e,{\mathcal{T}}_{\text{usr }}\right)$$

三. 候选编辑区域的场景对齐

1. 使用分割模型 $\mathcal{S}$（实验中使用 Grounding-DINO + SAM）将候选编辑区域的文本形式 ${\mathcal{T}}_{\text{RoI}}$ 转换为图像形式 ${\mathcal{I}}_{\text{RoI}}$：
   $${\mathcal{I}}_{RoI}=\mathcal{S}\left({\mathcal{I}}_{rd},{\mathcal{T}}_{\text{RoI }}\right)$$

2. 将图像形式的候选编辑区域 ${\mathcal{I}}_{\text{RoI}}$ 转换为 3D-GS 形式 ${\mathcal{G}}_{\text{RoI}}$。具体流程如下：
   （1）为每个 Gaussian 增加属性 $\mathcal{R}$，表示该 Gaussian 是否属于 ${\mathcal{G}}_{\text{RoI}}$，$r$ 全部初始化为 0；
   （2）最小化损失函数来监督 $r$ 的训练，其中 $\mathcal{N}$ 是 Gaussians 的数量：
   $$\begin{gathered} {\mathcal{L}}_{\text{proj }}={\lambda }_1\sum \left({\mathcal{I}}_{\text{RoI}}^{rd}\cdot {\mathcal{I}}_{\text{RoI}}\right)+{\lambda }_2\sum \left(\left(1-{\mathcal{I}}_{\text{RoI}}^{rd}\right)\cdot {\mathcal{I}}_{\text{RoI}}\right) \\ \text{where }{\mathcal{I}}_{RoI}^{rd}=\sum _{i\in \mathcal{N}}{r}_i{\sigma }_i\prod _{j=1}^{i-1}\left(1-{\alpha }_j\right) \end{gathered}$$

3. 为了更加精细地控制候选编辑区域，GaussianEditor 还支持用户额外地增加或删除以及限制区域：
   $${\mathcal{G}}_{\text{RoI}}=\left({\mathcal{G}}_{\text{RoI}}^{\text{tr }}\cup {\mathcal{G}}_{\text{RoI}}^{\text{add }}-{\mathcal{G}}_{\text{RoI}}^{\text{del }}\right)\cap {\mathcal{B}}_{3D}$$

最终的候选 GS 编辑区域可以表示为：
$$\begin{gathered} {\mathcal{G}}_{\text{RoI}}=\mathcal{H}\left({\mathcal{I}}_{\text{RoI}},\mathcal{O}\right) \\ \text{where }\mathcal{O}=\left\{{\mathcal{G}}_{\text{RoI}}^{\text{add }},{\mathcal{G}}_{\text{RoI}}^{\text{del }},{\mathcal{B}}_{3D}\right\} \end{gathered}$$

四. 候选编辑区域的场景编辑

1. 选择任意视角的渲染图象 ${\mathcal{I}}_{rd}$，使用扩散模型（实验中使用 InstructPix2Pix）编辑得到 ${\mathcal{I}}_{ed}$：
   $${\mathcal{I}}_{\text{ed }}=\mathcal{D}\left({\mathcal{I}}_{rd},t;\mathcal{T},{\mathcal{I}}_{\text{ori }}\right)$$
2. 计算 ${\mathcal{I}}_{rd}$ 和 ${\mathcal{I}}_{ed}$ 之间的损失：
   $$\mathcal{L}=(1-\beta ){\mathcal{L}}_1+\beta {\mathcal{L}}_{D-SSIM}$$
3. 在 3D 候选编辑区域 ${\mathcal{G}}_{\text{RoI}}$ 上优化参数；

五. 实验

六. 总结

本篇的 GaussianEditor 对 GS 场景的编辑主要适用于风格迁移，对于增加或删除元素的编辑任务，效果相当有限。