FMix: Enhancing Mixed Sample Data Augmentation 论文阅读

1 Abstract

  • 近年来,混合样本数据增强(Mixed Sample Data Augmentation,MSDA)受到了越来越多的关注,出现了许多成功的变体,例如MixUp和CutMix。通过研究VAE在原始数据和增强数据上学习到的函数之间的互信息,我们展示了MixUp以一种CutMix不会的方式扭曲了学习到的函数。我们进一步通过展示MixUp作为一种对抗性训练的形式来证明这一点,它增加了对Deep Fool和Uniform Noise等攻击的鲁棒性,这些攻击产生的样本与MixUp生成的样本类似。我们认为,这种扭曲阻止了模型学习数据中的样本特定特征,有助于提高泛化性能。相比之下,我们认为CutMix更像是一种传统的增强,通过防止记忆来提高性能,而不会扭曲数据分布。然而,我们认为,一个基于CutMix构建的MSDA,包括任意形状的掩码(而不仅仅是正方形),可以在不扭曲数据分布的同时进一步防止记忆。为此,我们提出了FMix,这是一种使用通过将傅里叶空间中采样的低频图像应用阈值获得的随机二进制掩码的MSDA。这些随机掩码可以呈现出各种形状,并且可以用于一维、二维和三维数据。FMix在不增加训练时间的情况下,提高了多种模型在多个数据集和问题设置中的性能,甚至在没有外部数据的情况下,在CIFAR-10上获得了新的单模型最佳结果。我们展示了FMix在情感分类任务中可以胜过MixUp,并且在一维数据的三维点云分类中提供了基线的改进。最后,我们展示了插值MSDA(如MixUp)和掩码MSDA(如FMix)之间差异的一个后果是,两者可以结合使用以进一步提高性能。所有实验的代码可在https://github.com/ecs-vlc/FMix获取。

2 Strategy

  • 生成随机掩码: 首先,从傅里叶空间采样低频图像。这可以通过对复数 随机变量进行低通滤波来实现,其中滤波器的衰减功率由参数δ控制。这一步骤生成了一个灰度图像。

  • 转换为二进制掩码: 将上述灰度图像通过一个阈值操作转换为二进制掩码。这个阈值是根据给定的混合系数λ来设置的,以确保掩码的平均值为λ。这意味着在二进制掩码中,像素值根据其在灰度图像中的强度被设置为0或1。

  • 应用掩码: 使用生成的二进制掩码对数据集中的图像进行混合。具体来说,对于两个独立的随机变量X1和X2(代表数据集中的两个样本),使用掩码m进行元素级别的乘法操作,然后根据混合系数λ进行加权求和,得到增强后的样本。

3 Perfermance

在这里插入图片描述

4 Demo

注:这里只用了一张图像,没有叠加两张图像

mask = binarise_mask(make_low_freq_image(3, SHAPE), 0.5, SHAPE, 0.0)

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/535906.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

避免使用第三方工具完成电脑环境检测

0. 简介 在之前配置各种深度学习环境的时候经常需要先检测一下电脑的软硬件环境,其实整个过程比较重复和固定,所以我们是否有可能一键检测Python版本、PIP版本、Conda版本、CUDA版本、电脑系统、CPU核数、CPU频率、内存、硬盘等内容这是很多Deepper苦恼…

Nginx+Keepalived Kubernetes 负载均衡

部署NginxKeepalived高可用负载均衡器 kube-apiserver高可用架构图: Nginx是一个主流Web服务和反向代理服务器,这里用四层实现对apiserver实现负载均衡。Keepalived是一个主流高可用软件,基于VIP绑定实现服务器双机热备,在上述拓…

关于部署ELK和EFLKD的相关知识

文章目录 一、ELK日志分析系统1、ELK简介1.2 ElasticSearch1.3 Logstash1.4 Kibana(展示数据可视化界面)1.5 Filebeat 2、使用ELK的原因3、完整日志系统的基本特征4、ELK的工作原理 二、部署ELK日志分析系统1、服务器配置2、关闭防火墙3、ELK ElasticSea…

React + three.js 3D模型骨骼绑定

系列文章目录 React 使用 three.js 加载 gltf 3D模型 | three.js 入门React three.js 3D模型骨骼绑定React three.js 3D模型面部表情控制 项目代码(github):https://github.com/couchette/simple-react-three-skeleton-demo 项目代码(gitcode):https:…

这几个方面需要注意,减少服务器被入侵

网络时代,服务器和计算机不时地遭受入侵和攻击,给人们带来了无法预料的重大损失。诸如服务器入侵、数据盗窃和勒索软件等事件频繁发生,这令许多企业和游戏开发团队备受困扰。通过总结经验和吸取教训,我们必须汲取教益,…

Linux C应用编程:MQTT物联网

1 MQTT通信协议 MQTT(Message Queuing Telemetry Transport,消息队列遥测传 输)是一种基于客户端-服务端架构的消息传输协议,如今,MQTT 成为了最受欢迎的物联网协议,已广泛应用于车联网、智能家居、即时聊…

pycharm debug 的时候 waiting for process detach

当你使用pycharm debug或者run的时候,突然出现了点不动,然后一直显示:waiting for process detach 可能是以下问题: 1、需要设置Gevent compatible pycharm一直没显示运行步骤,只是出现waiting for process detach-C…

正则表达式---【Python版】

目录 前言 一.正则表达式概括 1.1简介 1.2使用场景 二.正则表达式语法 2.1基本匹配 2.2元字符 2.2.1点运算符. 2.2.2字符类[] 2.2.3否定字符类 2.2.4*号 2.2.5号 2.2.6?号 2.2.7{}号 2.2.8()号 2.2.9|或运算 2.2.10转码特殊字符\ 2.2.11^和$ 2.3简…

【论文阅读】Digging Into Self-Supervised Monocular Depth Estimation

论文:https://arxiv.org/pdf/1806.01260.pdf 代码:https://github.com/nianticlabs/monodepth2 Q: 这篇论文试图解决什么问题? A: 这篇论文试图解决的问题是如何提高仅使用单目图像进行深度估计的性能。具体来说,它关注的是如何…

Django开发:计划表网页全流程

Hello , 我是"小恒不会java"。考虑到django官网案例的代码对新手不太友好 那我将一个案例从思路到代码都简单完整的摆出来, 使用过django的各位可cv即可,不会django跟着走操作就能跑起来 项目展示 本案例在GitHub已经开源,可在后台…

云HIS医院管理系统源码 SaaS模式 B/S架构 基于云计算技术

一、系统概述 云HIS系统源码是一款满足基层医院各类业务需要的健康云产品。该系统能帮助基层医院完成日常各类业务,提供病患预约挂号支持、收费管理、病患问诊、电子病历、开药发药、住院检查、会员管理、财务管理、统计查询、医生工作站和护士工作站等一系列常规功…

LangChain入门:18.使用ReAct 框架进行生成推理痕迹和任务特定行动来实现更大的协同作用

简介 ReAct对话模型是LangChain框架中的一种重要模型,它可以用于构建智能对话系统。ReAct对话模型的核心思想是使用反应堆(Reactor)来处理对话中的各种情况,从而实现了对复杂对话场景的解构。 在ReAct对话模型中,反应…

【高端电流检测IC储能产品应用方案】耐压28V侧轨的电流检测芯片FP130A 应用于电脑电源,开关电源以及多口快充充电器,户外移动电源,适配器,电池充电器等

电流检测技术常用于高压短路保护、电机控制、DC/DC换流器、系统功耗管理、二次电池的电流管理、蓄电池管理等电流侦测等场景。对于大多数应用而言,都是间接测量电阻两端的跨压差来获取待测电流。 如下面的高端电流检测芯片FP130A,丝印是FC915。电路原理图…

ASP.NET Core 标识(Identity)框架系列(二):使用标识(Identity)框架生成 JWT Token

前言 JWT(JSON Web Token)是一种开放标准(RFC 7519),用于在网络上以 JSON 对象的形式安全地传输信息。 JWT 通常用于在用户和服务器之间传递身份验证信息,以便在用户进行跨域访问时进行身份验证。 JWT 由…

Docker 学习笔记(三):Centos7 中 Docker 使用,镜像、容器,以及操作等常用命令小结

一、前言 记录时间 [2024-4-7] 前置文章: Docker学习笔记(一):入门篇,Docker概述、基本组成等,对Docker有一个初步的认识 Docker学习笔记(二):在Linux中部署Docker&#…

12. Linux中进程间通信

进程间通信(interprocess communication,简称 IPC)指两个进程之间的通信。系统中的每一个进程都有各自的地址空间,并且相互独立、隔离,每个进程都处于自己的地址空间中。所以同一个进程的不同模块(譬如不同的函数)之间进行通信都是很简单的,譬如使用全局变量等。但是,…

MySQL:主键,事件,索引的基础用法(10)

主键 指定某个字段作为主键,这个字段内容无法为空,而且他的内容不能重复作为唯一的标识 主键还有自增和非自增,比如你创建了一个表,你设置了自增,他就会按编号依次自动加一 我创建了一个名为tarro的数据库&#xff…

基于GSP工具箱的NILM算法matlab仿真

目录 1.课题概述 2.系统仿真结果 3.核心程序与模型 4.系统原理简介 5.完整工程文件 1.课题概述 基于GSP工具箱的NILM算法matlab仿真。GSP是图形信号处理的缩写,GSP非常适合对未知数据进行分类,尤其是当训练数据非常短时。GSPBox的基本理论是谱图论和…

搜维尔科技:【煤矿安全仿真】煤矿事故预防处置VR系统,矿山顶板灾害,冲击地压灾害等预防演练!

产品概述 煤矿事故预防处置VR系统 系统内容: 事故预防处置VR系统的内容包括:火灾的预防措施、火灾预兆、防灭火系统、火灾案例重现、顶板事故预兆、顶板事故原因、顶板事故案例重现、瓦斯概念及性质、瓦斯的涌出形式、瓦斯预兆、瓦斯爆炸条件及预防措…

GPT中的Transformer架构以及Transformer 中的注意力机制

目录 1 GPT中的Transformer架构 2 transformer中的注意力机制 参考文献: 看了两个比较好的视频,简单做了下笔记。 1 GPT中的Transformer架构 GPT是Generative Pre-trained Transformer单词的缩写,其中transformer是一种特定的神经网络&a…