人体姿态估计技术的理解(Human Pose Estimination)

本人毕设题目是人体姿态估计技术的相关课题,本人按照自己对人体姿态估计技术的学习和理解进行论述,如有不足,请大家指正!!!

首先讨论一个问题:什么是姿态估计?

“姿势估计?……姿势这个词对不同的人可能有不同的含义,但我们不是在讨论阿诺德的经典作品、奥林匹亚或选美表演。那么,姿势估计到底是什么呢?那么,让我们深入探讨一下这个话题。

姿态估计在计算机视觉领域引起了极大的关注。人们越来越感兴趣的是能够使用计算机视觉技术实时识别和跟踪人或物体的运动,这在各行各业提供了很多有用性。在不断发展的先进技术时代,姿态估计可以成为体育生物力学、动画、游戏、机器人、医疗康复和监控领域的
有效工具。
本质上,姿势估计是根据一个人在图像或视频中的身体部位和关节位置来预测不同的姿势。例如,我们可以在做深蹲的时候自动检测关节、手臂、臀部和脊柱的位置。现在,我们中的一些人可能想知道它是如何有用的?然而,考虑一个运动员受伤后恢复或进行力量训练的例子;姿势估计可以帮助运动分析人员分析深蹲从起始位置到结束位置的关键点。因此,这些分析人员可以纠正姿势,帮助预防训练损伤。
图 1:下蹲时的人体姿势估计
在与人类合作时,姿态分析是通过确定各种身体关节来进行的。例如,它可以通过某人肘关节的位置或膝关节的位置来确定。这种形式的姿态检测属于人体姿态估计的范畴。姿态估计模型以处理良好的图像或视频的形式提供输入。该模型根据输入图像中的信息提供关于不同关键点的输出。一般来说,关键点被提供了一个 ID 和一个置信度分数,决定了一个关键点存在于给定输入的特定位置的概率。现在,如果我们回忆一下之前运动员做深蹲的图像,我们可以分配各种 id,例如:
在这里插入图片描述
相反,与人类受试者不同的是,对于主要是刚性的物体,可以进行姿态估计;因此,它们属于刚性姿态估计的范畴。

2D 和 3D 方面的姿态估计

姿态估计可以通过两种方式进行,即 2D 和 3D。也许,我们中的一些人将 2D 和 3D 的这些概念与动画领域联系起来。然而,2D 方面的姿态估计与基于像素值从图像中预测关键点有关。因此,大多数 2D 人体姿态估计技术都实现了特征提取方法,以提供人体的适当关键点。类似地,3D 姿态估计与从图像和视频中预测特定的人或物体的空间位置有关。随着深度学习的出现,这些模型的性能有了显著的提高,但它们的使用更加复杂,因为数据集需要与适当的人体 3D 结构信息(包括背景和照明条件)进行整理。此外,还有新的方法用于与检测一个人或物体或跟踪多个人和物体相关的单姿态和多姿态估计。

姿态估计模型

各种研究人员提出了不同的姿态、估计模型。在深入探讨之前,有必要了解一下,人体姿态估计模型基本上有三种类型:

  1. 运动的
  2. 平面的
  3. 体积的
  4. 运动学模型可用于 2D 和 3D 姿态估计。本质上,这个模型侧重于不同的关节和肢体位置,以提供人体的结构信息。因此,这样的模型有效地识别了人体各部位之间的各种关系。然而,运动学模型在表示基于纹理或形状的信息时几乎没有限制。接下来,我们讨论强调 2D 姿态估计的平面模型。理想情况下,人体部位用矩形表示,以提供近似人
    体轮廓。最后,体姿态估计模型专注于 3D 姿态估计。这些是端到端的深度学习模型,使用包含全身扫描高分辨率数据的复杂数据集进行训练,以导出各种形状和姿态的人体网格。
    在这里插入图片描述
    虽然不可能涵盖广泛的模型,但我们将讨论近年来用不同的方法提出的一些最可靠和鲁棒的模型。

让我们来看看 2022 年正在使用的一些流行的姿态估计。

  1. 开放姿态
    开放姿势是卡内基梅隆大学开发的第一个实时后估计模型。该模型主要专注于在实时场景中检测多人的手、脸、脚等人体关键点。一般来说,图像是在卷积神经网络(CNN)的帮助下处理的,以生成特定输入的特征映射。进一步,通过 CNN 管道的不同阶段对特征图进行处理,得到置信度图和亲和场。
    ![2](https://img-blog.csdnimg.cn/1bd1f87419be49ada6b42154ef00c859.png)

  2. 移动网络
    移动网络是由谷歌研究使用 TensorFlow.js 开发的。研究人员声称,该模型具有超快、高精度的特点,能够检测人体的 17 个关键关键点。然而,该模型有两个版本,即“闪电”,针对的是对延迟要求低的应用。另一方面,Thunder 版本是为专注于实现更高精度的应用而设计的。此外,这两个模型都能够进行实时检测,并已被证明可以有效地检测实时健身、体育或基于医疗保健的应用。
    **

  3. PoseNet
    PoseNet 是另一个流行的姿势检测模型。该模型可以实时检测姿态,并高效地用于人体的单姿态和多姿态检测。PoseNet 是一个深度学习模型,它使用 TensorFlow 来检测不同的身体部位,并通过连接其他关键点提供全面的骨骼信息。此外,PoseNet 还为人体从眼睛到脚踝的各个部位提供了 17 个关键点。生成一个置信度分数,以确定模型从图像中识别特定关键点的精准程度,从而识别模型的准确性。所有关于测试和配置的信息都可以通过 GitHub 访问。
    在这里插入图片描述

  4. DCpose
    DCPose 代表深度双连续网络,开发用于从多帧检测人体姿势。该框架利用深度学习技术来克服多帧人体姿态估计中的关键挑战,如运动模糊、散焦视频,以及由于对每个视频帧的依赖而发生的遮挡。此外,这些视频帧之间提供了各种时间参考,以促进准确的关键点检测。进一步,时间合并充当编码器,以实现更广泛的搜索范围,而残差融合模块负责计算不同方向的残差。
    在这里插入图片描述

  5. Densepose
    DensePose 是一个人体姿态估计器,旨在从关于人体 3D 表面的 RGB 图像中映射各种基于人体的像素。该模型可以实现单姿态和多姿态估计的必要性。DensePose 以包含图像到表面注释信息的大规模数据集的形式使用地面真相。此外,提出了一种循环神经网络(RCNN),能够以每秒多帧的速度回归每个人体受试者之间不同身体部位相关的 UV 坐标。
    在这里插入图片描述

  6. HigherHRnet
    HigherHRNet 是一种流行的自下而上的姿势估计模型,旨在解决由于比例差异而在预测矮个子的正确姿势时遇到的一些挑战。特征金字塔是必不可少的组成部分,它允许所提出的方法从尺度感知表示中学习,帮助估计精确的关键点,以确定矮个子的姿态估计变化。特征金字塔主要包括由 HRNet 模型生成的特征图输出,包括由转置卷积产生的高分辨率输出。此外,作者还发现,对于中等规模的人来说,该模型比现有的一些自下而上的方法的AP高出2.5%。此外,该模型在从拥挤的场景中估计姿态时也能有效地表现。
    在这里插入图片描述

结论

姿态检测是计算机视觉领域中一个不断发展的研究领域。从提供现实生活中的应用程序到在云端服务器上运行的应用程序,姿态估计在业界获得了极大的吸引力。事实上,先进的姿态估计模型更快、更小,才能在移动设备上发挥作用,这提供了充足的机会。这些模型可以实时有效地为体育分析师服务,甚至在医疗康复、私人教练和逼真的游戏中都是可靠的。虽然已经开发了各种应用,但每一种新模型都旨在改善之前模型的一些局限性。
然而,随着深度学习和多种开源技术的使用,各种产品都符合要求,可以改变未来人体姿态估计的执行方式。因此,令人兴奋的前景已经打开,使有效跨行业实现最先进的姿态检测应用成为可能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/32063.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

opencv如何使用GPU的三种方法

我在工作实验涉及到图像和视频处理时,通常使用opencv提供的库来做处理,虽然OpenCV是一个广泛使用的库,它提供了丰富的功能和工具。然而,有时候在处理大量图片或视频时,我们可能会面临速度受限的问题。 opencv执行图像…

【C/C++】之内存管理(超详细练气篇)

个人主页:平行线也会相交💪 欢迎 点赞👍 收藏✨ 留言✉ 加关注💓本文由 平行线也会相交 原创 收录于专栏【C之路】💌 本专栏旨在记录C的学习路线,望对大家有所帮助🙇‍ 希望我们一起努力、成长&…

基本 SQL 命令 、重要的 SQL命令、SQL 约束 及 SQL语句 的 执行顺序

学习目标: 学习目标如下: SQL语句执行顺序 学习内容: 基本 SQL 命令: FROMONJOINWHEREGROUP BYAGG_FUNCWITHHAVINGSELECT 从数据库中提取数据UNIONDISTINCTORDER BY 排序LIMIT 重要的sql命令: 1、SELECT - 从数据…

Finalshell安全吗?Xshell怎么样?

文章目录 一、我的常用ssh连接工具二、Xshell2.1 下载:认准官网2.2 Xshell 配置2.3 Xftp和WinSCP 一、我的常用ssh连接工具 之前讲过: 【服务器】远程连接选SSH(PUTTY、Finalshell、WinSCP) 还是 远程桌面(RDP、VNC、…

解决 CentOS/Alma 安装 libpcap-devel 报错:No match for argument: libpcap-devel

环境:Alma 8.5、Centos 7.x 解决方案 Linux 安装软件的时候,需要 libpcap-devel 这个组件,执行命令:yum install libpcap-devel ,然后报错如下: Last metadata expiration check: 0:05:24 ago on Mon 12…

【算法】数学相关知识总结

文章目录 gcd 和 lcm取模运算 %求一个点和一片矩形区域之间的最短距离 本文用于记录一些关于算法题中偶尔被使用到的数学相关知识。 gcd 和 lcm gcd 和 lcm 分别是 最大公约数(Greatest common divisor) 和 最小公因数(Least Common Multip…

机器学习——决策树算法

一、实验目的 掌握如何实现决策树算法,用并决策树算法完成预测。 二、实验内容 本次实验任务我们使用贷款申请样本数据表,该数据表中每列数据分别代表ID、年龄、高薪、有房、信贷情况、类别,我们根据如下数据生成决策树,使用代…

二值化的mask生成yolov5-7.0的实例分割训练标签

背景:要用yolov5-7.0训练分割,这里使用自己的数据,mask是二值化的数据,要先转换成COCO格式,这里用imantics实现。 详见:https://zhuanlan.zhihu.com/p/427096258 截取部分代码如下图,读取image图…

ninja的简单使用

文章目录 Ninja安装windows环境Linux环境 入门使用与CMake一起使用 Ninja安装 windows环境 问题的解决通常有多种方法。按照结果的好坏程度,可以将解决方法简单的划分为,上中下三个层次,见:为什么谋士总喜欢提上中下三策? 在w…

C++静态和动态链接库导出和使用

1、简介 代码开发过程中会遇到很多已有的函数库,这些函数库是现有的,成熟的,可以复用的代码。现实中每个程序都要依赖很多基础的底层库,不可能每个人的代码都从零开始,因此库的存在意义非同寻常。 本质上来说库是一种…

在 K8S 中部署一个应用 上

本身在 K8S 中部署一个应用是需要写 yaml 文件的,我们这次简单部署,通过拉取网络上的镜像来部署应用,会用图解的方式来分享一下,过程中都发生了什么 简单部署一个程序 我们可以通过 kubectl run 的方式来简单部署一个应用&#…

测试技术体系

目录: 软件测试分类分层测试体系 1.软件测试分类 软件测试的分类_安全性测试属于功能测试吗_阿瞒有我良计15的博客-CSDN博客 1.单元测试(Unit Testing):单元测试是指对软件的最小可测试单元进行测试,例如一个函数、一…

ES+Redis+MySQL,这个高可用架构设计

一、背景 会员系统是一种基础系统,跟公司所有业务线的下单主流程密切相关。如果会员系统出故障,会导致用户无法下单,影响范围是全公司所有业务线。所以,会员系统必须保证高性能、高可用,提供稳定、高效的基础服务。 …

macOS Ventura 13.4.1 (22F82) Boot ISO 原版可引导镜像下载

macOS Ventura 13.4.1 (22F82|22F2083) Boot ISO 原版可引导镜像下载 本站下载的 macOS 软件包,既可以拖拽到 Applications(应用程序)下直接安装,也可以制作启动 U 盘安装,或者在虚拟机中启动安装。另外也支持在 Wind…

TSception:从EEG中捕获时间动态和空间不对称性用于情绪识别

TSception:从EEG中捕获时间动态和空间不对称性用于情绪识别(论文复现) 摘要模型结构代码实现写在最后 **这是一篇代码复现,原文通过Pytorch实现,本文中使用Keras对该结构进行复现。**该论文发表在IEEE Transactions on…

Spark10-11

10. 广播变量 10.1 广播变量的使用场景 在很多计算场景,经常会遇到两个RDD进行JOIN,如果一个RDD对应的数据比较大,一个RDD对应的数据比较小,如果使用JOIN,那么会shuffle,导致效率变低。广播变量就是将相对…

Spring Boot 如何使用 @ExceptionHandler 注解处理异常消息

Spring Boot 如何使用 ExceptionHandler 注解处理异常消息 在 Spring Boot 应用程序中,异常处理是非常重要的一部分。当应用程序出现异常时,我们需要能够捕获和处理这些异常,并向用户提供有用的错误消息。在 Spring Boot 中,可以…

二叉平衡树之红黑树

目录 1.概念 2.性质 3.节点的定义 4.插入 1.按照二叉搜索树规则插入结点 2.调整颜色 1.uncle存在且为红色 2.uncle不存在或者为黑 cur为 3.根节点改为黑色 5.验证 6.比较 7.应用 1.概念 红黑树,是一种二叉搜索树,但在每个结点上增加一个存…

2023年5月青少年机器人技术等级考试理论综合试卷(五级)

青少年机器人技术等级考试理论综合试卷(五级) 分数: 100 题数: 30 一、 单选题(共 20 题, 每题 4 分, 共 80 分) 1.ESP32 for Arduino, 下列程序的运行结果是? ( &#x…

浅谈无线测温系统在高压开关柜中的应用

关注acrelzxz,了解更多详情 摘要:高压开关柜是配电系统中重要的组成部分,其主要作用是控制电荷、分配电能和开断电流等,对维持系统的稳定性有一定的保障作用。将无线测温技术应用于高压开关柜,可以实现对其进行实时的…