Evaluation in Neural Style Transfer: A Review

公和众和号：EDPJ（进 Q 交流群：922230617 或加 VX：CV_EDPJ 进 V 交流群）

目录

0. 摘要

1. 简介

2. 神经风格转移方法

---

0. 摘要

神经风格转移（Neural Style Transfer，NST）领域在过去几年取得了显著的进展，各种方法能够合成具有卓越质量的艺术性和照片逼真的图像和视频。为了评估这样的结果，使用了多样的评估方法和指标，包括基于并排比较的作者意见、量化参与者主观判断的人类评估研究，以及大量客观评估算法性能各方面的定量计算指标。然而，关于最适合和有效的评估程序（能够确保结果的可靠性）目前尚无共识。在这篇综述中，我们深入分析了现有的评估技术，指出了当前评估方法的不一致性和局限性，并为标准化的评估实践提出了建议。我们认为建立一个强大的评估框架不仅能够使NST 方法之间进行更有意义和公平的比较，还将增强对该领域研究结果的理解和解释。

1. 简介

神经风格转移（NST）评估领域的概览如图 1 所示。人类评估研究和计算度量被包括在定量评估类别中。然而，为了与当前文献保持一致，我们将我们的综述结构化为三个评估领域（用蓝色突出显示）：定性评估、人类评估研究和定量评估度量。

2. 神经风格转移方法

Jing 等人 [2] 将 NST 算法分为基于图像优化的在线神经方法（在线优化生成模型）和基于模型优化的离线神经方法（离线优化生成模型，然后通过单次前向传递产生风格化结果）。在他们的分层分类法中，较低层次将方法分为非逼真和逼真两个分支，最终的节点将方法进一步分类为图像和视频。在本文中，我们采用类似的分类法（taxonomy），通过区分所研究的 NST 方法应用的媒体（图像和视频）来进行分类。

我们专注于一旦训练完成，就能够在给定输入内容图像/视频的情况下合成风格化输出的模型（根据网络的能力可能还有多个或任意风格的参考样式图像）。我们不包括文本到图像的技术，例如利用 CLIP [6] 的技术。我们对评估技术的综述基于对单一输出的分析。因此，我们不评估风格化的不同方面，比如在各种风格之间的插值。此外，尽管 NST 也应用于 3D 数据，但在这里我们主要关注应用于图像（表 I-VI）和/或视频（表 VII）的 NST 方法所使用的评估技术。