Facial Micro-Expression Recognition Based on DeepLocal-Holistic Network 阅读笔记

中科院王老师团队的工作,用于做微表情识别。
摘要:
Toimprove the efficiency of micro-expression feature extraction,inspired by the psychological studyof attentional resource allocation for micro-expression cognition,we propose a deep local-holisticnetwork method for micro-expression recognition.
为了提高微表情特征提取的效率,我们提出了受到微表情认知注意资源分配心理学研究启发的深度本地-整体网络方法。
The first is a Hierarchical Convolutional Recurrent Neural Network(HCRNN),whichextracts the local and abundant spatio-temporal micro-expression features.
第一个是分层卷积循环神经网络(HCRNN),用于提取局部且丰富的时空微表情特征。
The second is a Robustprincipal-component-analysis-based recurrent neural network(RPRNN),which extracts global andsparse features with micro-expression-specific representations.
第二个是基于鲁棒主成分分析的循环神经网络(RPRNN),用于提取具有微表情特定表示的全局且稀疏特征。
The extracted effective features areemployed for micro-expression recognition through the fusion of sub-networks.
通过子网络的融合,利用提取的有效特征进行微表情识别。
1.简介
In order to help people recognize micro-expression,Ek-man et al.developed the Facial Action Coding System(FACS)[11]and defined the muscleactivity of facial expressions as action units(AU).
Ekman等人开发了面部动作编码系统(FACS),将面部表情的肌肉活动定义为动作单元(AU),并开发了微表情训练工具(micro-expressionTT)
In addition,since the collection and labeling of micro-expressions aretime-consuming and laborious,the total number of published micro-expression samplesis about 1000.Therefore,micro-expression recognition is a typical small sample size(SSS)problem.
由于微表情的采集和标注耗时且繁琐,已发布的微表情样本总数约为1000,因此微表情识别是典型的小样本问题。
The architecture of the proposed method mainly includestwo sub-networks:(1)a hierarchical convolutional recurrent network(HCRNN),learninglocal and abundant features from original frames of micro-expression video clips,and(2)a robust principal component analysis recurrent network(RPRNN),extracting sparseinformation from original frames of micro-expression video clips by RPCA,and thenfeeding the sparse information to a deep learning model to extract holistic and sparsefeatures.
提出方法的架构主要包括两个子网络:(1)分层卷积循环网络(HCRNN),从微表情视频片段的原始帧中学习局部丰富的特征;(2)鲁棒主成分分析循环网络(RPRNN),通过RPCA从微表情视频片段的原始帧中提取稀疏信息,然后将稀疏信息输入到深度学习模型中提取整体和稀疏特征。
2.相关工作
2.1微表情识别
In the early stages of the study,most methods adopt handcrafted features to iden-tify micro-expressions.
这些方法包括将面部划分为特定区域,并利用3D梯度方向直方图描述符识别每个区域中的运动,使用LBP-TOP提取微表情的动态和外观特征,以及采用鲁棒主成分分析(RPCA)提取稀疏微表情信息和局部时空方向特征等。
However,the small sample size of micro-expression samplesand the subtle and brief nature of micro-expression limit the combination of deep learningwith micro-expression recognition methods.Thus,how to learn the micro-expressionfeatures effectively is necessary research for further performance improvement.
然而,微表情样本数量少且微表情的微妙短暂特性限制了深度学习与微表情识别方法的结合,因此,如何有效学习微表情特征对于进一步提高性能至关重要。
2.2深度卷积网络
It is a classic and widely usedstructure with three prominent characteristics:local receptive fields shared weights andspatial or temporal subsampling.
它是一种经典且广泛使用的结构,具有三个显著特点:局部感受野、共享权重和空间或时间下采样。
2.3循环神经网络
Recurrent neural network(RNN)can be used to process sequential data throughmapping an input sequence to a corresponding output sequence,using the hidden states.
循环神经网络(RNN)可以通过使用隐藏状态将输入序列映射到相应的输出序列,用于处理序列数据。
Since micro-expressions are very subtle,it is not easy to distinguish them from neutralfaces just by a single frame.The movement pattern in the temporal sequence is an essentialfeature for micro-expressions.Therefore,we extract the temporal features from micro-expression sequence based on BRNN and BLSTM to enhance the classification performance.
由于微表情非常微妙,单帧图像不易与中性表情区分开来。因此,基于BRNN和BLSTM,我们从微表情序列中提取时间特征,以增强分类性能。
2.4 RPCA
According to the characteristic of micro-expression with short duration and low inten-sity,micro-expression data are sparse in both the spatial and temporal domains.In 2014,Wang et.al.[24]proposed E as the deserved subtle motion information of micro-expressionand A as noise for micro-expression recognition.Inspired by this idea,we adopt RPCAto obtain sparse information from micro-expression frames,and then feed the extractedinformation to RPRNN,which learns sparse and holistic micro-expression features.
针对微表情短暂且强度低的特点,微表情数据在空间和时间域中都是稀疏的。因此,借鉴Wang等人的思想,将微表情中的细微动作信息视为所需的E,将噪声视为A,采用RPCA从微表情帧中提取稀疏信息,然后将提取的信息馈送到RPRNN,学习微表情的稀疏和整体特征。
3.提出的模型
模型的整体情况
3.1HCRNN用于提取局部特征
the HCRNN Model is constructed by theCNN Module and the BRNN Module.
HCRNN模型由CNN模块和BRNN模块构成。
3.1.1CNN模型
According to the facial physical structure,only four facial regions of interest(ROIs),i.e.,eyebrows,eyes,nose,and mouth,are used for the local micro-expression featureextraction(Figure 4a).
根据面部的物理结构,仅使用了四个面部感兴趣区域(ROI),即眉毛、眼睛、鼻子和嘴巴,用于提取局部微表情特征。
As shown in the HCRNN block of Figure 3,the structure of CNN module consists offour HCNNs.For each branch,the input is the ROI gray-scale images,and the networkcontains four convolutional layers.All four HCNNs have the same structure,as listedin Table 2.
在图3中的HCRNN模块中显示了CNN模块的结构,它由四个HCNNs组成。每个分支的输入是ROI灰度图像,网络包含四个卷积层。所有四个HCNN具有相同的结构。
3.1.2BRNN模型
In a micro-expression sequence,the past context and future context usually are usefulfor prediction.Thus,a BRNN module[46]is adopted to process temporal variation inmicro-expressions.
微表情序列中的过去和未来上下文通常对预测有用,因此采用了BRNN模块来处理微表情的时间变化。
We classify micro-expressions by an FC layer in L12 ofHCRNN and obtain probabilistic outputs by the softmax layer in L13 of HCRNN
在HCRNN的L12层通过FC层对微表情进行分类,并通过L13层的softmax层获得概率输出。
3.2RPRNN用于提取整体特征
3.2.1用RPCA提取稀疏微表情
Due to the short duration and low intensity of micro-expression movement,micro-expressions could be considered as sparse data.
由于微表情运动持续时间短,强度低,可被视为稀疏数据,因此采用RPCA来获取稀疏微表情信息。
Wright et al.adopted the 1-norm as a convex surrogate for thehighly nonconvex 0-norm and the nuclear norm(or sum of singular values)to replacenon-convex low-rank matrix,
为了解决非凸问题,采用了凸代替函数,其中1-范数代替了0-范数,核范数代替了非凸低秩矩阵。
3.2.2RPRNN的模型结构
The obtained sparse micro-expression images are fed into RPRNN to extract holisticfeatures.
稀疏的微表情图像被送入RPRNN以提取整体特征
in order to learn high-level micro-expression representations,a deep BLSTM network iscreated by multiple LSTM hidden layers.
为了学习高级微表情表示,通过多个LSTM隐藏层创建了一个深层BLSTM网络。
to avoid the overfitting problem,wecombine the cross-entropy loss function with L2 Regularization
为了避免过拟合问题,将交叉熵损失函数与L2正则化结合使用,其中θindex是权重值。
3.3模型混合
就是将两个子模型的结果融合到一起,方法如下
4.实验
做了对比实验和消融实验,没啥好说的,肯定是提出的方法最好。
5.结论与展望
DeepLocal-Holistic Network,which fused by HCRNN and RPRNN,captures the local-holistic,sparse-abundant micro-expression information,and boosts the performance of micro-expression recognition.
深度本地-整体网络通过HCRNN和RPRNN的融合,捕获了局部-整体、稀疏-丰富的微表情信息,并提高了微表情识别的性能。
In future work,wewill further investigate unsupervised learning as well as data augmentation methods toimprove the performance of micro-expression recognition.
在未来的工作中,我们将进一步研究无监督学习以及数据增强方法,以提高微表情识别的性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/532820.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

HTTP与HTTPS:深度解析两种网络协议的工作原理、安全机制、性能影响与现代Web应用中的重要角色

HTTP (HyperText Transfer Protocol) 和 HTTPS (Hypertext Transfer Protocol Secure) 是互联网通信中不可或缺的两种协议,它们共同支撑了全球范围内的Web内容传输与交互。本文将深度解析HTTP与HTTPS的工作原理、安全机制、性能影响,并探讨它们在现代Web…

[leetcode]remove-duplicates-from-sorted-list-ii

. - 力扣(LeetCode) 给定一个已排序的链表的头 head , 删除原始链表中所有重复数字的节点,只留下不同的数字 。返回 已排序的链表 。 示例 1: 输入:head [1,2,3,3,4,4,5] 输出:[1,2,5]示例 2&…

百度OCR身份证识别C++离线SDKV3.0 C#对接

百度OCR身份证识别C离线SDKV3.0 C#对接 目录 说明 效果 问题 项目 代码 下载 说明 自己根据SDK封装了动态库,然后C#调用。 SDK 简介 本 SDK 适应于于 Windows 平台下的⾝份证识别系统,⽀持 C接⼜开发的 SDK,开发者可在VS2015 下⾯进⾏开发(推荐…

爬虫+RPC+js逆向---直接获取加密值

免责声明:本文仅做技术交流与学习,请勿用于其它违法行为;如果造成不便,请及时联系... 目录 爬虫RPCjs逆向---直接获取加密值 target网址: 抓包 下断点 找到加密函数 分析参数 RPC流程 一坨: 二坨: 运行py,拿到加密值 爬虫RPCjs逆向---直接获取加密值 target网址: 优志…

Django+Celery框架自动化定时任务开发

本章介绍使用DjCelery即DjangoCelery框架开发定时任务功能,在Autotestplat平台上实现单一接口自动化测试脚本、业务场景接口自动化测试脚本、App自动化测试脚本、Web自动化测试脚本等任务的定时执行、调度、管理等,从而取代Jenkins上的定时执行脚本和发送…

R语言复现:轨迹增长模型发表二区文章 | 潜变量模型系列(2)

培训通知 Nhanes数据库数据挖掘,快速发表发文的利器,你来试试吧!欢迎报名郑老师团队统计课程,4.20直播。 案例分享 2022年9月,中国四川大学学者在《Journal of Psychosomatic Research》(二区,I…

南京航空航天大学-考研科目-513测试技术综合 高分整理内容资料-01-单片机原理及应用分层教程-单片机有关常识部分

系列文章目录 高分整理内容资料-01-单片机原理及应用分层教程-单片机有关常识部分 文章目录 系列文章目录前言总结 前言 单片机的基础内容繁杂,有很多同学基础不是很好,对一些细节也没有很好的把握。非常推荐大家去学习一下b站上的哈工大 单片机原理及…

AI大模型引领未来智慧科研暨ChatGPT自然科学高级应用

以ChatGPT、LLaMA、Gemini、DALLE、Midjourney、Stable Diffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮,可以面向科研选题、思维导图、数据清洗、统计分析、高级编程、代码调试、算法学习、论文检索、写作、翻译、润色、文献辅助…

大数据基础学习

目录 一.什么是大数据二.数据处理技术分类(OLAP vs OLTP)OLAP(Online Analytical Processing)OLTP(Online Transaction Processing)区别联系 三.储存的方式(列式 vs 行式)行式存储列…

【Vue】webpack polyfilling 报错

1. 出现问题描述 npm run serve 项目时报错 ERROR Failed to compile with 1 error 10:33:22 ├F10: AM┤ error in ./src/router/routes.js Module not found: Error: Cant resolve path in /U…

Harmony鸿蒙南向驱动开发-SDIO

SDIO(Secure Digital Input and Output)由SD卡发展而来,与SD卡统称为MMC(MultiMediaCard),二者使用相同的通信协议。SDIO接口兼容以前的SD卡,并且可以连接支持SDIO接口的其他设备。 运作机制 …

Vue的学习之旅-part6-循环的集中写法与ES6增强语法

Vue的学习之旅-循环的集中写法与ES6增强语法 vue中的几种循环写法for循环for in 循环 for(let i in data){}for of 循环 for(let item of data){}reduce() 遍历 reduce( function( preValue, item){} , 0 ) ES6增强写法 类似语法糖简写对象简写函数简写 动态组件中使用 <kee…

MySQL 主从复制部署(8.0)

什么是主从数据库 主从数据库是一种数据库架构模式&#xff0c;通常用于提高数据库的性能、可用性和可伸缩性。 它包括两种类型的数据库服务器&#xff1a; 1&#xff09;主数据库&#xff08;Master&#xff09;&#xff1a;主数据库是读写数据的主要数据库服务器。所有写操…

【数据结构】单链表(一)

上一篇【数据结构】顺序表-CSDN博客 我们了解了顺序表&#xff0c;但是呢顺序表涉及到了一些问题&#xff0c;比如&#xff0c;中间/头部的插入/删除&#xff0c;时间复杂度为O(N);增容申请空间、拷贝、释放旧空间会有不小的消耗&#xff1b;增容所浪费的空间... 我们如何去解…

IOS虚拟键盘弹出后,弹窗的按钮点击不起作用,不会触发click事件

背景 讨论区项目的回复框&#xff0c;使用的是Popup和TextArea做&#xff0c;布局如下图&#xff0c;希望键盘弹出时候&#xff0c;回复框可以紧贴键盘&#xff0c;这点实现起来比较简单&#xff0c;监听resize事件&#xff0c;动态修改popup的这题内容的top值即可&#xff0c…

ONERugged车载平板电脑厂家丨工业车载电脑优势体现丨3年质保

作为现代社会中必不可少的出行工具&#xff0c;汽车不仅仅是代步工具&#xff0c;更是我们生活中的重要一部分。而在如此多功能的汽车内&#xff0c;一款高可靠性、适应不同行业应用的车载平板电脑成为了当下的热门选择。ONERugged车载平板电脑以其卓越的品质和强大的功能而备受…

自动化 单元测试Test

XCTest测试框架(单元测试XCTests、性能测试XCPPerformanceTests、用户界面测试XCUItests) 单元测试XCTests&#xff1a;测试应用中事件或逻辑是否预期工作。 用户界面测试XCUItests&#xff1a;测试用户与应用的UI交互(如点击按钮、滑动屏幕)。 性能测试XCPPerformanceTests&am…

电池电量监测系统设计 单片机+LabVIEW+Matlab+Protues+Keil程序

目录 前言 提供 软件 系统展示 1.放电试验及其处理 2.硬件系统原理图 3.下位机程序 4.显示 5.上位机界面 6.上位机程序 7.文档 资料下载地址&#xff1a;电池电量监测系统设计 单片机LabVIEWMatlabProtuesKeil程序 前言 这套系统首先使用Matlab分析获得了电压…

【opencv】示例-essential_mat_reconstr.cpp 从两幅图像中恢复3D场景的几何信息

导入OpenCV的calib3d, highgui, imgproc模块以及C的vector, iostream, fstream库。定义了getError2EpipLines函数&#xff0c;这个函数用来计算两组点相对于F矩阵&#xff08;基础矩阵&#xff09;的投影误差。定义了sgn函数&#xff0c;用于返回一个双精度浮点数的符号。定义了…

系统架构设计图

首先明确应用架构的定义&#xff0c;从百度百科上即可了解到何为应用架构&#xff1a; 应用架构&#xff08;Application Architecture&#xff09;是描述了IT系统功能和技术实现的内容。应用架构分为以下两个不同的层次&#xff1a; 企业级的应用架构&#xff1a;企业层面的应…