FontDiffuser: One-Shot Font Generation via Denoising Diffusion with Multi-Scale Content Aggregation and Style Contrastive Learning
存在的问题
现有的字体生成方法虽然取得了令人满意的性能,但在处理复杂字和风格变化较大的字符(尤其是中文字符)时,仍会出现严重的笔画缺失、伪影、模糊、结构布局错误和风格不一致等问题,如上图4所示。
原因分析
-
大多数方法都采用基于 GAN 的框架,由于其对抗训练的性质,可能会出现训练不稳定的问题。
-
这些方法大多只通过单一尺度的高维特征来感知内容信息,而忽略了对保留源内容(尤其是复杂字符)的细粒度细节。
-
许多方法利用先验知识来帮助字体生成,例如字符的笔画或部件组成;然而,对于复杂的字符来说,获取这些细粒度信息的成本很高;
-
在过去的方法中,目标风格通常由一个简单的分类器或判别器来进行特征表示学习,这种分类器或判别器很难学习到合适的风格,在一定程度上阻碍了在风格变化较大时的风格转换。
图1 在内容编码器中不同尺度的特征图
VadCLIP: Adapting Vision-Language Models for Weakly Supervised Video Anomaly Detection
将视觉语言模型应用于弱监督视频异常检测
「简述:」VadCLIP是利用对比语言-图像预训练(CLIP)模型进行弱监督视频异常检测的新方法。它通过直接利用冻结的CLIP模型,无需预训练和微调,简化了模型适应过程。与现有方法不同,VadCLIP充分利用CLIP在视觉和语言之间的精细关联,采用双分支结构。一个分支进行粗粒度二分类,另一个分支则充分利用语言-图像对齐进行细粒度分析。通过双分支结构,VadCLIP实现了从CLIP到WSVAD任务的迁移学习,实现了粗粒度和细粒度的视频异常检测。