别卷Transformer了!时序卷积这么做,一样发顶会!

Transformer爆火之后,时间序列领域基本上算是被占领了,围绕此类相关的研究也是非常之卷。这种情况下,我们不妨了解一下时序卷积

在大规模时间序列数据处理任务中,时序卷积是一种非常重要的方法,它结合了传统CNN的特点和适应序列数据的能力,在并行处理能力、感受野配置、梯度传播稳定性、内存占用以及特征提取能力等方面都遥遥领先。

这些优势让时序卷积在Transformer卷上天的如今依旧坚挺,不过它确实还存在着许多问题等我们解决,而这部分也是我们重点关注的,可以挖掘创新点的地方。

目前研究者们专注于在时序卷积与其他技术相结合这方面做创新,且已经有了不少效果很好的成果。我从中总结了10种时序卷积最新的创新方案,有论文需求的同学可以拿来作参考,已开源的代码都贴上了,需要的同学可无偿获取。

全部方案+开源代码需要的同学看文末

+Attention

这种方法可以有效处理时间序列数据中的复杂模式和依赖关系,核心在于利用因果卷积保持时间序列的因果关系,通过膨胀卷积扩大感受野,残差连接缓解梯度消失问题,同时注意力机制帮助模型动态关注重要信息,从而提高预测准确性和效率。

比如异常检测模型DTAAD,具体创新思路是:

结合了双时间卷积网络(Dual TCN)和注意力机制,通过整合局部TCN和全局TCN来分别模拟全局和局部时间模式,然后将这些时间序列数据送入单独的编码器中以研究不同序列之间的依赖关系。模型进一步利用Transformer的编码层来捕获多变量时间序列之间的动态关联,并通过引入反馈机制和损失比例来提高检测精度和扩大异常差异,最终实现了一个在多个基准数据集上性能优异的异常检测框架,特别是DTAAD将F1分数提高了8.38%,并将训练时间减少了99%。

+PINN

将深度学习的数据处理能力与物理规律的先验知识相结合,可以提高模型对时间序列数据的预测准确性和泛化能力。这种方法核心在于:首先通过因果卷积保持时间序列的因果关系,膨胀卷积扩大感受野,残差连接缓解梯度消失问题。同时,PINNs利用物理定律作为约束条件,引导神经网络学习符合物理规律的解,从而提高模型对未知数据的泛化能力。

比如I-FENN框架,具体创新思路是:

使用PI-TCN模型来预测温度场,然后将这个模型的输出用于有限元分析中,以此来计算与温度相关的力学响应。I-FENN允许在保持传统FEM鲁棒性的同时,显著减少计算成本,并且能够处理更细的网格和/或更高阶的元素,为多物理场问题的高效数值求解提供了新的途径。

+Transformer

单独卷Transformer不如考虑考虑结合玩法,这种方法的优势和核心在于,通过因果卷积和膨胀卷积的组合,有效捕获数据中的长期依赖关系,并利用自注意力机制建模序列中不同位置之间的依赖关系,捕捉全局上下文信息,以实现高精度预测。

比如一种基于TCN和Transformer的多模态融合模型,具体创新思路是:

视觉和音频特征首先被送入各自的TCN模块进行时序编码,然后这些特征被拼接并送入Transformer编码器进行学习,最后使用多层感知机(MLP)进行预测。这种方法将视觉和音频特征统一到一个时序模型中,设计了一个高效的基于Transformer的情绪识别网络,从而提高了Valence-Arousal估计、动作单元检测和表情分类的评估准确性。

+LSTM

这种结合既能提高处理长序列数据的效率,又能增强对复杂时间序列模式的建模能力,核心在于利用TCN的因果卷积、扩张卷积和无偏移填充等技术来捕捉数据的局部特征和长期依赖,同时借助LSTM的门控机制处理序列数据中的时序信息和长期依赖关系,这样就可以实现对时间序列数据的高效预测和处理。

比如一种碳排放预测模型,具体创新思路是:

模型利用TCN的并行计算能力和LSTM的记忆能力来捕捉时间序列数据中的长期依赖关系,并通过注意力机制对历史数据中不同时间步的重要性进行加权,以提高预测的准确性。这里的方法包括数据的收集与预处理、模型架构设计、以及模型的训练与评估。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“时序卷积”获取全部方案+开源代码

码字不易,欢迎大家点赞评论收藏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/910482.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【C++】STL中的list容器详解及常用函数用法

个人主页: 起名字真南的CSDN博客 个人专栏: 【数据结构初阶】 📘 基础数据结构【C语言】 💻 C语言编程技巧【C】 🚀 进阶C【OJ题解】 📝 题解精讲 目录 📌 1 引言📌2 list容器✨2.1 list容器简介✨2.2 li…

使用kalibr_calibration标定相机(realsense)和imu(h7min)

vslam-evaluation/VINS/Installation documentation/4.IMU和相机联合标定kalibr_calibration.md at master DroidAITech/vslam-evaluation GitHub 目录 1.kalibr安装 1.1安装依赖项 1.2创建工作空间 1.3下载kalibr并编译 1.4设置环境变量 2.准备标定板 3.配置驱动和打…

论文阅读:基于语义分割的非结构化田间道路场景识别

论文地址:DOI: 10.11975/j.issn.1002-6819.2021.22.017 概要 环境信息感知是智能农业装备系统自主导航作业的关键技术之一。农业田间道路复杂多变,快速准确地识别可通行区域,辨析障碍物类别,可为农业装备系统高效安全地进行路径规…

能识别黑烟的摄像头

能识别黑烟的摄像头主要应用于监测车辆尾气排放情况,特别是针对排放黑烟的车辆进行抓拍和识别。以下是朗观视觉对这类摄像头的详细介绍: 一、主要特点 智能识别:摄像头内置视频识别功能,能够实时分析视频中的车辆尾气排放情况&am…

Docker镜像分成

1. 镜像分层原理 1.1 镜像分层的定义与结构 Docker 镜像的分层存储机制是其核心特性之一,它允许 Docker 镜像由多个只读层组成,这些层叠加在一起形成一个完整的文件系统。每个层代表 Dockerfile 中的一个指令,并且每一层都是不可变的&#…

2020年美国总统大选数据分析与模型预测

数据集取自:2020年🇺🇸🇺🇸美国大选数据集 - Heywhale.com 前言 对2020年美国总统大选数据的深入分析,提供各州和县层面的投票情况及选民行为的可视化展示。数据预处理阶段将涉及对异常值的处理&#xff0…

微服务系列五:避免雪崩问题的限流、隔离、熔断措施

目录 实验环境说明 前言 一、一片小雪花引起的雪崩! 1.1 雪崩问题(级联失败问题)示意图 1.2 雪崩问题的产生原因与解决策略 二、雪崩问题的具体解决策略 2.1 请求限流 2.2 线程隔离 2.3 服务熔断 2.4 总结——具体解决策略 三、微…

聊一聊:ChatGPT搜索引擎会取代谷歌和百度吗?

当地时间 10 月 31 日,OpenAI 正式推出了 ChatGPT 搜索功能,能实时、快速获取附带相关网页来源链接的答案。这一重大升级标志着其正式向谷歌的搜索引擎霸主地位发起挑战。 本周五我们聊一聊: 欢迎在评论区畅所欲言,分享你的观点~ …

国标GB28181公网直播EasyGBS国标GB28181软件管理解决方案

随着信息技术的飞速发展,视频监控技术已经成为维护公共安全、提升管理效率的重要手段。在这一背景下,国标GB28181软件EasyGBS作为一款自主研发的安防视频管理软件,致力于为用户提供全面、高效且可靠的视频监控管理体验。其强大的功能和灵活的…

《Practical Deep Raw Image Denoising on Mobile Devices》论文详解

简介:个人学习分享,如有错误,欢迎批评指正。 论文:Practical Deep Raw Image Denoising on Mobile Devices 引言 在数字摄影领域,噪声是影响图像质量的主要因素之一,特别是在弱光条件下拍摄时更为明显。移…

戴尔电脑 Bios 如何进入?Dell Bios 进入 Bios 快捷键是什么?

BIOS(基本输入输出系统)是计算机启动时运行的第一个程序,它负责初始化硬件并加载操作系统。对于戴尔电脑用户来说,有时可能需要进入 BIOS 进行一些特定的设置调整,比如更改启动顺序、调整性能选项或解决硬件兼容性问题…

【AD】3-2 原理图绘制格点的调整与推荐设置

1.点击工具,选择原理图优先项,如图设置 2.画原理图之前,选中原理图,也可以快捷键vgs,设置栅格为100mil,并画原理图是元器件管脚放置在格点上 3.通过改选项设置格点显示与不显示

I.MX6U 裸机开发2. 芯片简介、汇编基础及GPIO操作准备工作

I.MX6U 裸机开发2. 芯片简介、汇编基础及GPIO操作准备工作 一、I.MX6U 芯片介绍1. 基本介绍2. 架构图如下:3. I.MX6U 管脚定义规则 : 二、GPIO资源介绍1. 原理图2. 寄存器控制(1) 使能时钟,CCGR0~CCGR7(2) 设置引脚复用(3) 设置电气属性(4) 配…

DNS配置

1.搭建dns服务器能够对自定义的正向或者反向域完成数据解析查询。 2.配置从DNS服务器,对主dns服务器进行数据备份。 options {listen-on port 53 { 192.168.111.130; };directory "/var/named";allow-query { any;};zone "openlab.com&qu…

day-81 打家劫舍 II

思路 与LCR 089. 打家劫舍相比,本题所有房屋围成了一圈,那么第一间房子和最后一间房子不能同时打劫,那么就可以分为两种情况:1.选第一间房打劫;2.选最后一间房打劫 解题过程 然后依次计算出以上两种情况的最大金额&am…

什么是进销存?进销存系统都有哪些类型?

进销存管理和企业运营之间的利害关系大家应该都已经听的不少了。上次给大家说明白了进销存系统是什么,但是进销存系统到底有哪几种?把今天这篇文章耐心读完你就懂了! 随着市场竞争的加剧和消费者需求的多样化,企业亟需灵活高效的…

spark的学习-03

RDD的创建的两种方式: 方式一:并行化一个已存在的集合 方法:parallelize 并行的意思 将一个集合转换为RDD 方式二:读取外部共享存储系统 方法:textFile、wholeTextFile、newAPIHadoopRDD等 读取外部存储系统的数…

Python练习10

Python日常练习 题目: 编写程序,输出如下所示图案。 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 要求: 使用for循环的方式完成 --------------------------------------------------------- 注意: …

【云原生开发】K8S多集群资源管理平台架构设计

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,…

「iOS」——知乎日报一二周总结

知乎日报仿写 前言效果Manager封装网络请求线程冲突问题下拉刷新添加网络请求的图片通过时间戳和日期格式化获取时间 总结 前言 前两周内容的仿写,主要完成了首页的仿写,进度稍慢。 效果 Manager封装网络请求 知乎日报的仿写需要频繁的申请网络请求&am…