基于变量间注意机制的Transformer多元时间序列异常检测

图片

论文地址:https://www.sciencedirect.com/science/article/abs/pii/S0950705124001424

论文源码:无

期刊:Knowledge-Based Systems

图片

图片

多变量时间序列异常检测的主要目标是在不同传感器和系统同时编译的时间序列数据中发现与规则模式的偏差。这种方法可以在不同的行业中找到应用,帮助完成系统维护任务。由于多元时间序列中变量之间的相互联系和相互影响,同时捕获变量之间的时间依赖性和相关性具有挑战性。

在本文中,提出了一种独特的方法——可变时间Transformer(VTT),它利用Transformer的自关注机制来有效地理解变量之间的时间依赖性和关系。该模型通过使用时间自注意来模拟时间依赖性,使用变量自注意来模拟变量相关性来进行异常检测。在发现传统时间序列异常检测方法在使用点调整协议评估度量后,使用了最近引入的评估度量。提出的方法通过这个新指标展示了尖端的性能。此外,提出了一个异常解释模块来阐明异常数据,使用合成和实际工业数据进行验证。

图片

图片

VTT模型的架构设计基于Transformer网络,它引入了一个新颖的自注意力机制,专门用于处理多变量时间序列数据。VTT的核心思想是通过两种自注意力模块——时间自注意力(Temporal self-attention)和变量自注意力(Variable self-attention)来分别捕捉时间序列的时间依赖性和变量间的相关性。

为了有效地处理时间序列数据,VTT首先通过一个嵌入层(Embedding Layer)将时间序列数据转换成适合模型处理的格式。该嵌入层使用扩张因果卷积(Dilated Causal Convolution)技术来保留变量信息,并允许模型利用多分辨率的信息。

在进行嵌入和编码后,模型利用变量时间注意力机制来同时处理时间依赖性和变量间的关系。这一机制通过交替使用时间自注意力模块和变量自注意力模块,有效地整合了时间和变量间的信息。

模型的输出通过一个前馈网络(Feed-forward Network)进行数据的重建。通过比较输入数据和重建数据之间的差异,VTT可以计算异常评分,评分较高的数据点被认为是异常的。

VTT还引入了一个异常解释模块,该模块通过比较正常数据和异常数据的注意力图来提供对异常原因的见解。这一功能使得VTT不仅能够检测异常,还能在一定程度上解释异常发生的原因。

图片

图片

图片

本文提出了一种基于变压器模型的多变量时间序列异常检测方法,命名为变量时间变换器(Variable Temporal Transformer, VTT),特别强调了通过结合时间自注意力和变量自注意力机制来捕捉时间序列数据中的时间依赖性和变量间的相关性。VTT模型主要包括两个变体:VTT-SAT(串行注意力机制)和VTT-PAT(并行注意力机制),分别采用串行和并行的方式处理时间和变量间的关系,以适应不同的数据特征和异常检测需求。

VTT模型的核心贡献包括:引入了一种新颖的自注意力机制,有效整合了时间依赖性和变量间相关性的分析,提高了多变量时间序列异常检测的准确性和效率。通过扩张因果卷积层进行数据嵌入,保留了变量信息并利用了多分辨率信息,增强了模型对时间序列数据的处理能力。设计了异常解释模块,不仅能检测出异常,还能在一定程度上解释异常发生的原因,提高了异常检测的可解释性。

实验结果显示,VTT在多个真实世界数据集上展现出了优越的性能,尤其是在异常检测的准确性和模型解释能力方面。通过与现有的异常检测方法进行比较,VTT展现了其在处理复杂多变量时间序列数据方面的先进性和实用性。

总的来说,本文成功地提出并验证了一种创新的多变量时间序列异常检测框架,为未来的时间序列分析和异常检测研究提供了新的视角和工具。

论文下载地址:

链接:https://pan.baidu.com/s/19vw0ZoVirnGEFcDSdv1Nqw 
提取码:1msi 
--来自百度网盘超级会员V6的分享

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/538625.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

学习数通HCIE选择誉天有什么优势?

誉天数通课程亮点 课程内容详实,千万级实训环境 涵盖数通技术全场景热门技术,涉及传统园区网,虚拟化园区网,广域互联技术,数据中心网络,网络自动化运维 专业机房环境,全真机教学演示&#xf…

机器学习和深度学习-- 李宏毅(笔记与个人理解)Day 14

Day 14 Classfication (short version) 二分类的时候 用sigmoid 那不就是 logistic 回归嘛(softmax 的二分类等价) Loss 哦 今天刚学的 ,KL散度 ,看来cross-entropy 和KL散度是等价的咯~ 我感觉我的直觉没错 这里MSE离得很远的时候…

qt调试日志文件生成

系列文章目录 第一章 qt日志文件生成功能 文章目录 系列文章目录前言一、qt日志文件生成功能二、使用步骤1.代码示例2.运行截图 前言 qt有固定的调试日志接口,可以通过终端去打印,但是仅适用在本地去调试,例如想长期放到测试台去检测&#…

Linux入门(Linux介绍,安装,常用命令,防火墙的设置,注意事项)

目录 一、Linux介绍 1. Linux简介 1 什么是Linux 2 Linux的应用 3 为什么要学习Linux 2. Linux分类 1 按照市场需求分 2 按照原生程度分 3.小结 二、Linux安装 1. vmware介绍 2. 安装VMWare 3. 安装CentOS 4. 登录查看ip 5. 远程连接工具 1 使用FinalShell连接L…

算法练习第16天|101. 对称二叉树

101. 对称二叉树 力扣链接https://leetcode.cn/problems/symmetric-tree/description/ 题目描述: 给你一个二叉树的根节点 root , 检查它是否轴对称。 示例 1: 输入:root [1,2,2,3,4,4,3] 输出:true示例 2&#x…

3_2Linux中内核级加强型火墙的管理

### 一.Selinux的功能 ### 观察现象 ①当Selinux未开启时 在/mnt中建立文件被移动到/var/ftp下可以被vsftpd服务访问 匿名用户可以通过设置后上传文件 当使用ls -Z /var/ftp查看文件时显示"?" ps auxZ | grep vsftpd 时显示: - root 8546 0.0 0.0 26952 …

【spring】@Resource注解学习

Resource介绍 在Spring框架中,Resource 注解是一个JSR-250标准注解,用于自动装配(autowiring)Spring容器中的bean。Resource 注解可以用于字段、方法和方法参数上,以声明依赖注入。 Resource源码 Target({TYPE, FIE…

动态规划解决背包问题

目录 动态规划步骤: 1.01背包问题 2.完全背包问题 动态规划步骤: step1.分析问题,定义dp数组(下标含义) step2.初始化dp数组(边界) step3.写dp状态转换方程(明确dp数组遍历顺序…

【每日刷题】Day11

【每日刷题】Day11 🥕个人主页:开敲🍉 🔥所属专栏:每日刷题🍍 目录 1. 860. 柠檬水找零 - 力扣(LeetCode) 2. 976. 三角形的最大周长 - 力扣(LeetCode) 3.…

通信安全之数据加密

数据安全的需求如今越来越重要,本篇简单举例给日常的TCP/UDP通信加密,至少能让想干坏事的崽犯罪的成本更高一些(如果会一些BPF的,可能难不住这些崽),能让我们的数据更安全一点。 经典TCP socket编程 下面…

In Memoriam Fabrizio Flacco

一、背景 最近在看人机协作相关的论文,其中有一篇是Arash Ajoudani于2018发表在Autonomous Robots题为Progress and prospects of the human–robot collaboration的综述。当看到最后Acknowledgements部分,有一句话是The authors would like to thank a…

小样本计数网络FamNet(Learning To Count Everything)

小样本计数网络FamNet(Learning To Count Everything) 大多数计数方法都仅仅针对一类特定的物体,如人群计数、汽车计数、动物计数等。一些方法可以进行多类物体的计数,但是training set中的类别和test set中的类别必须是相同的。 为了增加计数方法的可拓…

基于tcmalloc的高并发内存池

内存池 池化技术: 池是在计算机技术中经常使用的一种设计模式,其内涵在于:将程序中需要经常使用的核心资源 先申请出来,放到一个池内,由程序自己管理,这样可以提高资源的使用效率,也可以保证本程…

【新版HI3559AV100开发注意事项(四)】

新版HI3559AV100开发注意事项(四) 三十、HI3559A参数中对输入分辨率限制的原因是? 答:分辨率限制有两个来源: 一个是时钟频率最高为600M,开启一拍两像素之后相当于1200M。你这个数据量太大了,6…

【IR-SDE】Image Restoration SDE项目演示运行app.py

背景: code:GitHub - Algolzw/image-restoration-sde: Image Restoration with Mean-Reverting Stochastic Differential Equations, ICML 2023. Winning solution of the NTIRE 2023 Image Shadow Removal Challenge. paper: Official PyTorch Implementations o…

Terraform 语法配置

配置语法 Terraform 的配置文件都是以 .tf 为后缀Terraform 支持两种模式 HCL、JSON Provider 插件 providers 地址:Terraform Registry Terraform 通过 provider 管理基础设施,使用 provider 与云供应商 API 进行交互,每个 Provider 都包含…

2024年DeFi的四大主导趋势:Restaking、Layer3、AI和DePin

DeFi(去中心化金融)行业在2024年将继续呈现快速增长的势头,驱动这一增长的主要因素将是四大主导趋势:Restaking、Layer3、AI和DePin。这些趋势将推动DeFi生态系统的发展,为用户提供更多的机会和创新。 趋势1&#xff…

JavaScript函数式编程

函数式编程 课程介绍 为什么要学习函数编程以及什么是函数式编程函数式编程的特性(纯函数、柯里化、函数组合等)函数式编程的应用场景函数式编程库Lodash 为什么要学习函数式编程 函数式编程是非常古老的一个概念,早于第一台计算机的诞生, 函数式编程…

有图片转成PDF文件格式的方法吗?分享图片转成PDF文件的方法

将图片转换为PDF文件是一个相对简单的过程,但也需要一定的步骤和注意事项。下面,我将详细介绍如何将图片转换为PDF文件,包括所需的工具、步骤以及可能遇到的问题和解决方案。 首先,我们需要一个能够将图片转换为PDF文件的工具。市…

SV-704XT 100W网络有源音柱 校园广播音柱

SV-704XT 100W网络有源音柱 一、描述 SV-704XT是深圳锐科达电子有限公司的一款壁挂式网络有源音柱,具有10/100M以太网接口,可将网络音源通过自带的功放和喇叭输出播放,其采用防水设计,功率100W。SV-704XT作为网络广播播放系统的终…