计算机设计大赛 行人重识别(person reid) - 机器视觉 深度学习 opencv python

文章目录

  • 0 前言
  • 1 技术背景
  • 2 技术介绍
  • 3 重识别技术实现
    • 3.1 数据集
    • 3.2 Person REID
      • 3.2.1 算法原理
      • 3.2.2 算法流程图
  • 4 实现效果
  • 5 部分代码
  • 6 最后

0 前言

🔥 优质竞赛项目系列,今天要分享的是

🚩 深度学习行人重识别(person reid)系统

该项目较为新颖,适合作为竞赛课题方向,学长非常推荐!

🥇学长这里给一个题目综合评分(每项满分5分)

  • 难度系数:3分
  • 工作量:3分
  • 创新点:5分

🧿 更多资料, 项目分享:

https://gitee.com/dancheng-senior/postgraduate

1 技术背景

行人重识别技术,是智能视频监控系统的关键技术之一,其研宄是针对特定目标行人的视频检索识别问题。行人再识别是一种自动的目标判定识别技术,它综合地运用了计算机视觉技术、机器学习、视频处理、图像分析、模式识别等多种相关技术于监控系统中,其主要描述的是在多个无重叠视域的摄像头监控环境之下,通过相关算法判断在某个镜头下出现过的感兴趣的目标人物是否在其他摄像头下再次出现。

2 技术介绍

在视频监控系统中,行人再识别任务的整体框架如下图所示:
—个监控系统由多个视域不相交的监控摄像头组成,摄像机的位置可以随时更改,同时也可以随时增加或减少摄像机。不两监控摄像头所摄取的画面、视角等各不相同。在这样的监控系统中,对行人的动向监测是,至关重要的。

对行人的监控主要基于以下三个基本的模块:

在这里插入图片描述

  • 行人检测:
    行人检测的目标是在图片中定位到行人的具体位置。这一步骤仅涉及到对于静止的单张图片的处理,而没有动态的处理,没有时间序列上的相关分析。

  • 行人轨迹跟踪:
    行人轨迹跟踪的主要任务是在一段时间内提供目标任务的位置移动信息。与行人检测不同,轨迹跟踪与时间序列紧密相关。行人轨迹跟踪是在行人检测的基础上进行的。

  • 行人再识别:
    行人再识别任务的目标是在没有相重合视域的摄像头或摄像机网络内的不同背景下的许多行人中中识别某个特定行人。行人再识别的


在此基础上,用训练出的模型进行学习从而判断得出某个摄像头下的行人与另一摄像头下的目标人物为同一个人。在智能视频监控系统中的行人再识别任务具有非常广阔的应用前景。行人再识别的应用与行人检测、目标跟踪、行人行为分析、敏感事件检测等等都有着紧密的联系,这些分析处理技术对于公安部门的刑侦工作和城市安防建设工作有着重要的意义。

3 重识别技术实现

3.1 数据集

目前行人再识别的研究需要大量的行人数据集。行人再识别的数据集主要是通过在不同区域假设无重叠视域的多个摄像头来采集拍摄有行人图像的视频,然后对视频提取帧,对于视频帧图像采用人工标注或算法识别的方式进行人体检测及标注来完成的。行人再识别数据集中包含了跨背景、跨时间、不同拍摄角度下、各种不同姿势的行人图片,如下图所示。

在这里插入图片描述

3.2 Person REID

3.2.1 算法原理

给定N个不同的行人从不同的拍摄视角的无重叠视域摄像机捕获的图像集合,行人再识别的任务是学习一个模型,该模型可以尽可能减小行人姿势和背景、光照等因素带来的影响,从而更好地对行人进行整体上的描述,更准确地对不同行人图像之间的相似度进行衡量。

我这里使用注意力相关的特征的卷积神经网络。该基础卷积神经网络架构可以由任何卷积神经网络模型代替,例如,VGG-19,ResNet-101。

该算法的核心模块在于注意力学习模型。

3.2.2 算法流程图

在这里插入图片描述

4 实现效果

在多行人场景下,对特定行人进行寻找
在这里插入图片描述

5 部分代码



    import argparse
    import time
    from sys import platform
    
    from models import *
    from utils.datasets import *
    from utils.utils import *
    
    from reid.data import make_data_loader
    from reid.data.transforms import build_transforms
    from reid.modeling import build_model
    from reid.config import cfg as reidCfg

    def detect(cfg,
               data,
               weights,
               images='data/samples',  # input folder
               output='output',  # output folder
               fourcc='mp4v',  # video codec
               img_size=416,
               conf_thres=0.5,
               nms_thres=0.5,
               dist_thres=1.0,
               save_txt=False,
               save_images=True):
    
        # Initialize
        device = torch_utils.select_device(force_cpu=False)
        torch.backends.cudnn.benchmark = False  # set False for reproducible results
        if os.path.exists(output):
            shutil.rmtree(output)  # delete output folder
        os.makedirs(output)  # make new output folder
    
        ############# 行人重识别模型初始化 #############
        query_loader, num_query = make_data_loader(reidCfg)
        reidModel = build_model(reidCfg, num_classes=10126)
        reidModel.load_param(reidCfg.TEST.WEIGHT)
        reidModel.to(device).eval()
    
        query_feats = []
        query_pids  = []
    
        for i, batch in enumerate(query_loader):
            with torch.no_grad():
                img, pid, camid = batch
                img = img.to(device)
                feat = reidModel(img)         # 一共2张待查询图片,每张图片特征向量2048 torch.Size([2, 2048])
                query_feats.append(feat)
                query_pids.extend(np.asarray(pid))  # extend() 函数用于在列表末尾一次性追加另一个序列中的多个值(用新列表扩展原来的列表)。
    
        query_feats = torch.cat(query_feats, dim=0)  # torch.Size([2, 2048])
        print("The query feature is normalized")
        query_feats = torch.nn.functional.normalize(query_feats, dim=1, p=2) # 计算出查询图片的特征向量
    
        ############# 行人检测模型初始化 #############
        model = Darknet(cfg, img_size)
    
        # Load weights
        if weights.endswith('.pt'):  # pytorch format
            model.load_state_dict(torch.load(weights, map_location=device)['model'])
        else:  # darknet format
            _ = load_darknet_weights(model, weights)
    
        # Eval mode
        model.to(device).eval()
        # Half precision
        opt.half = opt.half and device.type != 'cpu'  # half precision only supported on CUDA
        if opt.half:
            model.half()
    
        # Set Dataloader
        vid_path, vid_writer = None, None
        if opt.webcam:
            save_images = False
            dataloader = LoadWebcam(img_size=img_size, half=opt.half)
        else:
            dataloader = LoadImages(images, img_size=img_size, half=opt.half)
    
        # Get classes and colors
        # parse_data_cfg(data)['names']:得到类别名称文件路径 names=data/coco.names
        classes = load_classes(parse_data_cfg(data)['names']) # 得到类别名列表: ['person', 'bicycle'...]
        colors = [[random.randint(0, 255) for _ in range(3)] for _ in range(len(classes))] # 对于每种类别随机使用一种颜色画框
    
        # Run inference
        t0 = time.time()
        for i, (path, img, im0, vid_cap) in enumerate(dataloader):
            t = time.time()
            # if i < 500 or i % 5 == 0:
            #     continue
            save_path = str(Path(output) / Path(path).name) # 保存的路径
    
            # Get detections shape: (3, 416, 320)
            img = torch.from_numpy(img).unsqueeze(0).to(device) # torch.Size([1, 3, 416, 320])
            pred, _ = model(img) # 经过处理的网络预测,和原始的
            det = non_max_suppression(pred.float(), conf_thres, nms_thres)[0] # torch.Size([5, 7])
    
            if det is not None and len(det) > 0:
                # Rescale boxes from 416 to true image size 映射到原图
                det[:, :4] = scale_coords(img.shape[2:], det[:, :4], im0.shape).round()
    
                # Print results to screen image 1/3 data\samples\000493.jpg: 288x416 5 persons, Done. (0.869s)
                print('%gx%g ' % img.shape[2:], end='')  # print image size '288x416'
                for c in det[:, -1].unique():   # 对图片的所有类进行遍历循环
                    n = (det[:, -1] == c).sum() # 得到了当前类别的个数,也可以用来统计数目
                    if classes[int(c)] == 'person':
                        print('%g %ss' % (n, classes[int(c)]), end=', ') # 打印个数和类别'5 persons'
    
                # Draw bounding boxes and labels of detections
                # (x1y1x2y2, obj_conf, class_conf, class_pred)
                count = 0
                gallery_img = []
                gallery_loc = []
                for *xyxy, conf, cls_conf, cls in det: # 对于最后的预测框进行遍历
                    # *xyxy: 对于原图来说的左上角右下角坐标: [tensor(349.), tensor(26.), tensor(468.), tensor(341.)]
                    if save_txt:  # Write to file
                        with open(save_path + '.txt', 'a') as file:
                            file.write(('%g ' * 6 + '\n') % (*xyxy, cls, conf))
    
                    # Add bbox to the image
                    label = '%s %.2f' % (classes[int(cls)], conf) # 'person 1.00'
                    if classes[int(cls)] == 'person':
                        #plot_one_bo x(xyxy, im0, label=label, color=colors[int(cls)])
                        xmin = int(xyxy[0])
                        ymin = int(xyxy[1])
                        xmax = int(xyxy[2])
                        ymax = int(xyxy[3])
                        w = xmax - xmin # 233
                        h = ymax - ymin # 602
                        # 如果检测到的行人太小了,感觉意义也不大
                        # 这里需要根据实际情况稍微设置下
                        if w*h > 500:
                            gallery_loc.append((xmin, ymin, xmax, ymax))
                            crop_img = im0[ymin:ymax, xmin:xmax] # HWC (602, 233, 3)
                            crop_img = Image.fromarray(cv2.cvtColor(crop_img, cv2.COLOR_BGR2RGB))  # PIL: (233, 602)
                            crop_img = build_transforms(reidCfg)(crop_img).unsqueeze(0)  # torch.Size([1, 3, 256, 128])
                            gallery_img.append(crop_img)
    
                if gallery_img:
                    gallery_img = torch.cat(gallery_img, dim=0)  # torch.Size([7, 3, 256, 128])
                    gallery_img = gallery_img.to(device)
                    gallery_feats = reidModel(gallery_img) # torch.Size([7, 2048])
                    print("The gallery feature is normalized")
                    gallery_feats = torch.nn.functional.normalize(gallery_feats, dim=1, p=2)  # 计算出查询图片的特征向量
    
                    # m: 2
                    # n: 7
                    m, n = query_feats.shape[0], gallery_feats.shape[0]
                    distmat = torch.pow(query_feats, 2).sum(dim=1, keepdim=True).expand(m, n) + \
                              torch.pow(gallery_feats, 2).sum(dim=1, keepdim=True).expand(n, m).t()
                    # out=(beta∗M)+(alpha∗mat1@mat2)
                    # qf^2 + gf^2 - 2 * qf@gf.t()
                    # distmat - 2 * qf@gf.t()
                    # distmat: qf^2 + gf^2
                    # qf: torch.Size([2, 2048])
                    # gf: torch.Size([7, 2048])
                    distmat.addmm_(1, -2, query_feats, gallery_feats.t())
                    # distmat = (qf - gf)^2
                    # distmat = np.array([[1.79536, 2.00926, 0.52790, 1.98851, 2.15138, 1.75929, 1.99410],
                    #                     [1.78843, 1.96036, 0.53674, 1.98929, 1.99490, 1.84878, 1.98575]])
                    distmat = distmat.cpu().numpy()  # : (3, 12)
                    distmat = distmat.sum(axis=0) / len(query_feats) # 平均一下query中同一行人的多个结果
                    index = distmat.argmin()
                    if distmat[index] < dist_thres:
                        print('距离:%s'%distmat[index])
                        plot_one_box(gallery_loc[index], im0, label='find!', color=colors[int(cls)])
                        # cv2.imshow('person search', im0)
                        # cv2.waitKey()
    
            print('Done. (%.3fs)' % (time.time() - t))
    
            if opt.webcam:  # Show live webcam
                cv2.imshow(weights, im0)
    
            if save_images:  # Save image with detections
                if dataloader.mode == 'images':
                    cv2.imwrite(save_path, im0)
                else:
                    if vid_path != save_path:  # new video
                        vid_path = save_path
                        if isinstance(vid_writer, cv2.VideoWriter):
                            vid_writer.release()  # release previous video writer
    
                        fps = vid_cap.get(cv2.CAP_PROP_FPS)
                        width = int(vid_cap.get(cv2.CAP_PROP_FRAME_WIDTH))
                        height = int(vid_cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
                        vid_writer = cv2.VideoWriter(save_path, cv2.VideoWriter_fourcc(*fourcc), fps, (width, height))
                    vid_writer.write(im0)
    
        if save_images:
            print('Results saved to %s' % os.getcwd() + os.sep + output)
            if platform == 'darwin':  # macos
                os.system('open ' + output + ' ' + save_path)
    
        print('Done. (%.3fs)' % (time.time() - t0))


    if __name__ == '__main__':
        parser = argparse.ArgumentParser()
        parser.add_argument('--cfg', type=str, default='cfg/yolov3.cfg', help="模型配置文件路径")
        parser.add_argument('--data', type=str, default='data/coco.data', help="数据集配置文件所在路径")
        parser.add_argument('--weights', type=str, default='weights/yolov3.weights', help='模型权重文件路径')
        parser.add_argument('--images', type=str, default='data/samples', help='需要进行检测的图片文件夹')
        parser.add_argument('-q', '--query', default=r'query', help='查询图片的读取路径.')
        parser.add_argument('--img-size', type=int, default=416, help='输入分辨率大小')
        parser.add_argument('--conf-thres', type=float, default=0.1, help='物体置信度阈值')
        parser.add_argument('--nms-thres', type=float, default=0.4, help='NMS阈值')
        parser.add_argument('--dist_thres', type=float, default=1.0, help='行人图片距离阈值,小于这个距离,就认为是该行人')
        parser.add_argument('--fourcc', type=str, default='mp4v', help='fourcc output video codec (verify ffmpeg support)')
        parser.add_argument('--output', type=str, default='output', help='检测后的图片或视频保存的路径')
        parser.add_argument('--half', default=False, help='是否采用半精度FP16进行推理')
        parser.add_argument('--webcam', default=False, help='是否使用摄像头进行检测')
        opt = parser.parse_args()
        print(opt)
    
        with torch.no_grad():
            detect(opt.cfg,
                   opt.data,
                   opt.weights,
                   images=opt.images,
                   img_size=opt.img_size,
                   conf_thres=opt.conf_thres,
                   nms_thres=opt.nms_thres,
                   dist_thres=opt.dist_thres,
                   fourcc=opt.fourcc,
                   output=opt.output)

6 最后

🧿 更多资料, 项目分享:

https://gitee.com/dancheng-senior/postgraduate

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/446893.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【C语言基础】:深入理解指针(终篇)

文章目录 深入理解指针一、函数指针变量4.1 函数指针变量的创建4.2 函数指针变量的使用4.3 typedef关键字 二、函数指针数组三、转移表四、回调函数4.1 什么是回调函数4.2 qsort使用举例4.2.1 使用qsort函数排序整形数据4.2.2 使用qsort排序结构数据4.2.3 qsort函数的模拟实现 …

WPF(1)的MVVM的数据驱动学习示例

MVVM Model:数据模型、View 界面、ViewModel 业务逻辑处理 项目结构 界面数据绑定 <Window x:Class"WpfApp1.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/x…

Timus#1005

C【动态规划】 #include<iostream> #include<vector> using namespace std; int main() {int n;cin >> n;vector<int> dp(100000 * 20);vector<int> a(n);int ans 0, cur 0;for (int i 0; i < n; i){cin >> a[i];ans a[i];}int sum…

虚拟主播视频制作,低成本的数字人播报方案

传统的视频制作方式往往面临着成本高、周期长、人力投入大等挑战。为了满足企业对于高效、低成本视频制作的需求&#xff0c;美摄科技凭借其强大的技术研发实力&#xff0c;推出了面向企业的虚拟主播视频解决方案&#xff0c;为企业带来了全新的数字人播报视频制作体验。 美摄…

备考2025年AMC8数学竞赛:吃透2000-2024年600道AMC8真题就够

我们继续来随机看五道AMC8的真题和解析&#xff0c;根据实践经验&#xff0c;对于想了解或者加AMC8美国数学竞赛的孩子来说&#xff0c;吃透AMC8历年真题是备考最科学、最有效的方法之一。 即使不参加AMC8竞赛&#xff0c;吃透了历年真题600道和背后的知识体系&#xff0c;那么…

Linux学习——锁

目录 ​编辑 一&#xff0c;锁的概念 二&#xff0c;锁的操作 1&#xff0c;锁类型 pthread_mutex_t 2&#xff0c;初始化锁 3&#xff0c;上锁 4&#xff0c;解锁 5&#xff0c;销毁锁 三&#xff0c;线程安全问题演示 四&#xff0c;锁的原理 五&#xff0c;死锁 …

《IAB视频广告标准:综合指南(2022)》之概述篇 - 我为什么要翻译介绍美国人工智能科技公司IAB 系列(2)

IAB平台&#xff0c;使命和功能 IAB成立于1996年&#xff0c;总部位于纽约市。 作为美国的人工智能科技巨头社会媒体和营销专业平台公司&#xff0c;互动广告局&#xff08;IAB- the Interactive Advertising Bureau&#xff09;自1996年成立以来&#xff0c;先后为700多家媒体…

每日一练:LeeCode-56、合并区间【数组+滑动窗口】

4.合并区间 LeeCode-56、合并区间 以数组 intervals 表示若干个区间的集合&#xff0c;其中单个区间为 intervals[i] [starti, endi] 。请你合并所有重叠的区间&#xff0c;并返回 一个不重叠的区间数组&#xff0c;该数组需恰好覆盖输入中的所有区间 。 1 < intervals.le…

React-嵌套路由

1.概念 说明&#xff1a;在一级路由中又内嵌了其他路由&#xff0c;这种关系就叫做嵌套路由&#xff0c;嵌套至一级路由内的路由又称作二级路由。 2.实现步骤 说明&#xff1a;使用childen属性配置路由嵌套关系&#xff0c;使用<Outlet/>组件配置二级路由渲染的位置。…

重读 Java 设计模式: 解析单例模式,保证唯一实例的创建与应用

本周工作太忙了&#xff0c;变成了加班狗&#xff0c;下班回来也没时间写&#xff0c;只能利用周末时间写了&#x1f62d;。 好了&#xff0c;言归正传&#xff0c;本次我们先来介绍下设计模式中创建型模式-单例模式。 一、引言 单例模式是设计模式中最简单但又最常用的一种模…

OpenCV 绘制文字的介绍

1、前言 OpenCV 提供了用于绘制文字的putText()方法 使用这个方法不仅能够设置字体的样式、大小和颜色&#xff0c;而且能够使字体呈现斜体的效果&#xff0c;还能够控制文字的方向&#xff0c;进而使文字呈现垂直像的效果。putText()方法的语法格式如下 需要注意的是&#x…

新版ui周易测算网站H5源码/在线起名网站源码/运势测算网站系统源码,附带系统搭建教程

支持对接第三方支付 安装方法以linux为例 1、建议在服务器上面安装宝塔面板&#xff0c;以便操作&#xff0c;高逼格技术员可以忽略这步操作。 2、把安装包文件解压到根目录&#xff0c;同时建立数据库&#xff0c;把数据文件导入数据库 3、修改核心文件config/inc_config.…

java通过poi-tl生成word

我看公司之前做电子合同&#xff0c;使用TIBCO jaspersoft做的报表模板&#xff0c;如果是给自己公司开发或者给客户做项目&#xff0c;这个也没有什么&#xff0c;因为反正模板是固定的&#xff0c;一次性开发&#xff0c;不用担心后续的问题。即使后期有调整&#xff0c;改一…

023—pandas 扩展逗号爆炸分隔字符串数据

需求&#xff1a; 将 c1 按逗号拆分&#xff0c;爆炸为一行一行数据&#xff0c;然后将 c1 后边的有逗号的扩展成行&#xff0c;没逗号的只写在第一行。 思路&#xff1a; 先将 DataFrame 中有逗号的值分拆转为列表&#xff0c;接下来我们对 c1 进行爆炸&#xff0c;就得到了…

排序算法全景:从基础到高级的Java实现

&#x1f31f; 前言 欢迎来到我的技术小宇宙&#xff01;&#x1f30c; 这里不仅是我记录技术点滴的后花园&#xff0c;也是我分享学习心得和项目经验的乐园。&#x1f4da; 无论你是技术小白还是资深大牛&#xff0c;这里总有一些内容能触动你的好奇心。&#x1f50d; &#x…

(黑马出品_06)SpringCloud+RabbitMQ+Docker+Redis+搜索+分布式

&#xff08;黑马出品_06&#xff09;SpringCloudRabbitMQDockerRedis搜索分布式 微服务技术ES搜索和数据分析 今日目标1. 查询文档1.1.DSL查询分类1.2.全文检索查询1.2.1.使用场景1.2.2.基本语法1.2.3.示例 1.3.精准查询1.3.1.term查询1.3.2.ran…

【机器学习】包裹式特征选择之基于模型的特征选择法

&#x1f388;个人主页&#xff1a;豌豆射手^ &#x1f389;欢迎 &#x1f44d;点赞✍评论⭐收藏 &#x1f917;收录专栏&#xff1a;机器学习 &#x1f91d;希望本文对您有所裨益&#xff0c;如有不足之处&#xff0c;欢迎在评论区提出指正&#xff0c;让我们共同学习、交流进…

解决Ubuntu 16.04/18.04 图形化界面异常、鼠标光标消失、鼠标变成叉叉等问题

bug场景&#xff1a; 一切从一次换源说起…叭叭叭 这篇文章解决的问题&#xff1a; 1.换源&#xff0c;默认源太慢&#xff0c;换成可用的阿里云的源 2.apt-get failed to …问题 3.图形化异常问题 4.get unmet dependence 问题 5. 鼠标光标消失和鼠标变成叉叉问题。 解决方…

指针篇章(3)-(指针之间的区别)

学习目录 ————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————…

Windows和Linux(Ubuntu)双系统下,完全删除Ubuntu系统

彻底删除Windows和Linux&#xff08;Ubuntu&#xff09;双系统下的Ubuntu系统及其开机引导项 &#xff08;一&#xff09;删除Ubuntu系统占用的磁盘分区&#xff08;在Windows下操作&#xff09; 1.右键单击“此电脑”&#xff0c;点击“管理”&#xff1b; 2.点击左侧的“…