边缘计算+WEB端应用融合：AI行为识别智能监控系统搭建指南 -- 边缘设备图像识别及部署（二）

专栏目录
边缘计算+WEB端应用融合：AI行为识别智能监控系统搭建指南 – 整体介绍（一）

边缘计算+WEB端应用融合：AI行为识别智能监控系统搭建指南 -- 边缘图像识别及部署（二）

  • 前言
  • 边缘图像识别与推流
    • 整体思路
    • 原始视频信号
    • 部分核心代码
    • 配置文件清单
  • 程序包部署
    • 模式1:TF卡烧录部署
    • 模式2:程序包部署
      • 打包

前言

欢迎来到我们的专栏《边缘计算+WEB端应用融合：AI行为识别智能监控系统搭建指南》！在这个专栏中，我们将带您深入探索如何将边缘计算和WEB端应用相结合，打造智能监控系统，实现对各种行为的实时识别和监测。无论您是想在家庭、办公场所还是公共区域建立智能监控系统，本专栏都将为您提供全面的指导和实用的技巧。让我们一起探索边缘计算技术的无限可能，构建出更加智能、高效的监控系统吧！

本专栏系统完整搭建将用到C++（边缘设备程序）、Python（模型训练、网络通信）、JAVA（系统后端）、VUE3（系统前端）、SQL（数据库）等开发语言。在搭建之前我自己也只会JAVA和SQL，所以完全不用担心语言不会导致无法搭建。所有的算力都由边缘设备提供，所以不需要高性能服务器，成本上也可以得到控制。

项目特点：低成本搭建视频智能识别、边缘计算终端和网页端完全打通自由控制、除常规标注检测外增加了预警和区域检测功能。

申明：本系统完全由博主自己一人搭建，其中使用到的都是开源项目，如：若依、RKNN、zlmediakit等。
PS：国人的开源项目越来越牛了。
在这里插入图片描述

边缘图像识别与推流

整体思路

在上一篇文章中有介绍道，我这个项目所采用的边缘计算设备是基于国产芯片RK3588。目前开发出来的是一代产品的程序包，命名为YunYan_V1.0（云眼1.0）。
YunYan_V1.0采用C++编写，核心采用的是yolov5的图像识别能力，支持多线程的图像识别，充分调用RK3588的三个NPU进行图像识别。并且利用zlmediakit将对视频图像的读推流进行了高度集成。以下是代码的大致思路：

Created with Raphaël 2.3.0 开始 读取配置文件 初始化模型、视频解码器、视频编码器、线程池 解码帧画面推送至识别线程池 从识别线程池中获取识别结果 绘制检测框、识别预警并保留视频、帧画面推流 运行不正常？ 结束 yes no

原始视频信号

其中有一个问题就是怎么获取原始的视频流信息？我个人在开发中主要是获取三种流方式：
方式1:模拟视频流
模拟是通过mediamtx和ffmpeg实现的，通过一台局域网内的设备进行模拟信号的输送就可以实现获取rtsp流的目的，我自己用的就是闲置的树莓派。
mediamtx下载地址：https://github.com/bluenviron/mediamtx/releases
ffmpeg官网：https://ffmpeg.org/ffmpeg.html，ffmpeg网上有很多安装教程可以根据自身系统版本搜索。

nohup ./mediamtx mediamtx.yml > mediamtx.log 2>&1 &
nohup ffmpeg -re -stream_loop -1 -i /home/medias/test.mp4 -vcodec copy -acodec copy -b:v 5M -f rtsp -rtsp_transport tcp rtsp://localhost:8554/live.sdp > testffmpeg.log 2>&1 &

rtsp://192.168.124.31:8554/live.sdp

方式2:网络摄像头原始视频流【海康设备】

rtsp://admin:XXXXXX@192.168.124.38:554/h265/ch1/main/av_stream

方式3:网络录像机原始视频流【海康设备】

rtsp://admin:XXXXXXX@192.168.124.29:554/Streaming/Channels/101

部分核心代码

以下是部分 核心代码片：

  1. 创建线程池
// 创建线程池
yolo_thread_pool = new Yolov5ThreadPool(); 
// 初始化线程池
// 参数1：模型文件地址
// 参数2：线程数量
// 参数3：非极大值抑制
// 参数4：置信度
// 参数5：模型标签文件路径
// 参数6：标签数量                                                                          
yolo_thread_pool->setUp(model_path, num_threads, NMS_threshold, box_threshold, model_label_file_path, obj_class_num);
  1. 定义解码器
MppDecoder *decoder = new MppDecoder();  // 创建解码器
decoder->Init(video_type, app_ctx.source_frame_rate, &app_ctx); // 初始化解码器
// mpp在每次解析后都会回调mpp_decoder_frame_callback方法
decoder->SetCallback(mpp_decoder_frame_callback); // 设置回调函数，用来处理解码后的数据
app_ctx.decoder = decoder;
  1. 解码后处理
// 这里利用了rk3588自带的rga进行颜色通道的转换：YUV420SP -> RGB888
// 也可以使用opencv
origin = wrapbuffer_fd(fd, width, height, RK_FORMAT_YCbCr_420_SP, width_stride, height_stride);
src = wrapbuffer_fd(mpp_frame_fd, width, height, RK_FORMAT_YCbCr_420_SP, width_stride, height_stride);
cv::Mat origin_mat = cv::Mat::zeros(height, width, CV_8UC3);
rga_buffer_t rgb_img = wrapbuffer_virtualaddr((void *)origin_mat.data, width, height, RK_FORMAT_RGB_888);
imcopy(origin, rgb_img);
// 提交推理任务给线程池
yolo_thread_pool->submitTask(origin_mat, job_cnt++);
  1. 获取处理结果并绘制预警
std::vector<Detection> objects;
// 获取推理结果
auto ret_code = yolov5_thread_pool->getTargetResultNonBlock(objects, result_cnt);
// 遍历检测结果并且进行判断
for (const auto &object : objects)
{
    auto iter = ctx->labels_map.find(object.className);
    // 设置参数判断是否全图警戒，1为全图
    bool temp_ret = true;
    if (ctx->enable_region == 1 && ctx->g_ploygon.size() > 0)
    {
        Point p = {
            object.box.x + object.box.width / 2,
            object.box.y + object.box.height / 2};
        // 判断是否在预警区域中
        temp_ret = isInside(ctx->g_ploygon, p);
    }
    double value = iter->second;
    // 判断识别对象是否在识别要素中，同时判断要素是否在警戒区域中,执行度大于设定值
    if (iter != ctx->labels_map.end() && temp_ret && object.confidence >= value)
    {
        cv::rectangle(img, object.box, cv::Scalar(255, 0, 0), 2);
        // class name with confidence
        std::string draw_string = object.className + " " + std::to_string(object.confidence);
        cv::putText(img, draw_string, cv::Point(object.box.x, object.box.y - 5), cv::FONT_HERSHEY_SIMPLEX, 1,
                    cv::Scalar(255, 0, 0), 2);
        // 在迭代中发现了存在异常的标记，进行临时变量标记，此变量可能会在过程中重复赋值。
        if_warning_hold = true;
    }
    else
    {
        cv::rectangle(img, object.box, object.color, 2);
        // class name with confidence
        std::string draw_string = object.className + " " + std::to_string(object.confidence);
        cv::putText(img, draw_string, cv::Point(object.box.x, object.box.y - 5), cv::FONT_HERSHEY_SIMPLEX, 1,
                    cv::Scalar(255, 0, 255), 2);
    }
}
  1. 检测结果推流
 // mk的参数初始化
char *ini_path = mk_util_get_exe_dir(ctx->mk_file_path.c_str());
mk_config config = {
        .thread_num = 10,
        .log_level = 0,
        .log_mask = LOG_CONSOLE,
        .log_file_path = NULL,
        .log_file_days = 0,
        .ini_is_path = 1,
        .ini = ini_path,
        .ssl_is_path = 1,
        .ssl = NULL,
        .ssl_pwd = NULL
};

// memset(&config, 0, sizeof(mk_config));
// config.log_mask = LOG_CONSOLE;
// 初始化环境，调用该库前需要先调用此函数
mk_env_init(&config);
mk_free(ini_path);
// 在端口80上启动HTTP服务器
if (ctx->enable_http == 1)
    mk_http_server_start(ctx->push_http_port, 0);
// 在端口554上启动RTSP服务器
if (ctx->enable_rtsp == 1)
    mk_rtsp_server_start(ctx->push_rtsp_port, 0);
// 在端口1935上启动RTMP服务器
if (ctx->enable_rtmp == 1)
    mk_rtmp_server_start(ctx->push_rtmp_port, 0);
if (ctx->enable_rtc == 1)
    mk_rtc_server_start(ctx->push_rtc_port);
// 创建一个新的Codeium播放器
ctx->player = mk_player_create();
ctx->stream_url = url;
// 设置处理播放事件的回调函数
mk_player_set_on_result(ctx->player, on_mk_play_event_func, ctx);
// 设置播放被异常中断的回调
mk_player_set_on_shutdown(ctx->player, on_mk_shutdown_func, ctx);
// 播放来自提供的RTSP URL的视频流
mk_player_play(ctx->player, ctx->stream_url);
// 推流
ret = mk_media_input_h264(ctx->media, enc_data, enc_data_size, millis, millis);

根据以上代码无法完整完成编码工作，由于本专栏主要方向是关于边缘计算设备和WEB端应用的融合，实现AI行为识别的智能监控系统。所以不会对终端设备的实际使用技术及代码原理进行特别详细的描述。如果读者有需要可以留言，我可以出一个关于RK3588的独立专栏。
其实本质上边缘计算设备无论是选择RK3588，还是带有GPU的主机都可以，本项目是为了减少项目的搭建预算所以找的更便宜的解决方案，同时也能符合国产化、信创需要。

配置文件清单

以下是YunYan_V1.0提供的参数清单：

[YUNYAN]
# 进程的唯一编号，这是一个uid
CEProcessId = b6cf4e7e-b952-4bf5-be29-0225f71d7f57
# 模型路径,必须是完整路径yolo5s_cx_200
ModelPath = /home/YunYan-V1/weights/yolov5s.rknn
# IOU
NMSThreshold = 0.65
# 置信度
BoxThreshold = 0.4
# 模型的labels文件路径
ModelLabelsFilePath = /home/YunYan-V1/coco_80_labels_list.txt
# 推理类型数量 yolov5 80
ObjClassNum = 80
# 流地址
StreamUrl = rtsp://192.168.124.31:8554/live3.sdp
# 视频流类型264/265，default 264，265格式目前不支持
VideoType = 264
# 原始视频帧率
SourceFrameRate = 25
# 启动监测的线程数，default 12
NumThreads = 20
# 是否开启hls播放功能,default 0,需要和EnableHttp同时开启
EnableHls = 0
# 是否开启hls播放功能,default 0
EnableHttp = 0
# http推流端口,default 80
PushHttpPort = 80
# 是否开启rtsp推流
EnableRtsp = 1
# rstp推流端口，default 554
PushRtspPort = 554
# 是否开启rtsp推流
EnableRtmp = 0
# rtmp推流端口,default 1935
PushRtmpPort = 1935
# 是否开启rtc
EnableRtc = 0
# rtc推流端口，default 8000
PushRtcPort = 8001
# 推流地址设定1
PushPathFirst = yunyan-live
# 推流地址设定2
PushPathSecond = test
# 工作时间设置{8,30,13,30}${14,0,17,30}
WorkTimeRanges = {11,00,17,10}
# 识别的labels，用英文$分割
# {clock,0.8}${chair,0.8}
LabelsAndConfidence = {person,0.5}
#一场追踪到多少秒才触发预警视频的录制
WarningHoldUpTime = 3
# 预警间隔时间秒，如果设置数值过小会导致视频文件未完成存储就连续存储问题
WarningIntervalTime = 60
# 预警视频长度秒
WarningShowTime = 5
# 预警视频帧率，这个帧率设置的是视频输出，但是实际帧率会和原始帧率有关。
# 如果原始帧率25，预警帧率是5，将会每5帧记录一次可以帧除。
# 如果原始帧率25，预警帧率10，将会每2帧记录一次，视频感觉感觉会变慢。
WarningShowFrameRate = 10
# 预警视频保存路径
WarningFilePath = /home/yunyan_warning/
# 预警视频的信息字段
WarningFileInfo = _bad_
# 是否启动区域检测，default 0
EnableRegion = 1
# 区域检测点位文件地址 
RegionFilePath = /home/YunYan-V1/region.txt
# MK配置文件地址
MkFilePath = mk_config.ini

程序包部署

由于边缘计算设备都是采用相同的系统版本，所以整体上有2种部署模式。

模式1:TF卡烧录部署

如果玩过小机器的基本对这种都不陌生，但是在这个项目中并不推荐。TF烧录是对系统内容原模原样的复制，可能会导致设备的IP冲突。路由器在给设备分配IP的时候是通过系统的特征mac进行分配的，但是烧录的系统mac地址都是相同的。如果局域网内只有一台设备不会有问题，如果存在多台设备需要通过一些补丁方式来修复，反正我不是很喜欢。
如果用这种方式可以参考：https://blog.csdn.net/Altitude_/article/details/131593735

模式2:程序包部署

打包

YunYan_V1.0的打包编译管理使用的是cmake，通过cmake打包成yunyan-1.0.0-Linux.deb。边缘计算设备只需要安装上默认的ubuntu系统后使用dpkg -i yunyan-1.0.0-Linux.deb 就可以安装。
如果是第一次安装需要根据readme中的要求对两个py脚本进行定时器配置，之后就可以全自动运行了。

##需要python安装requests
sudo apt-get python3-pip
pip install requests

#设定激活函数定时任务
#默认yunyan-cv.py每5分钟执行一次并记录执行日志
crontab -e
*/5 * * * * /usr/bin/python3 /usr/local/yunyancv/yunyan-cv.py >> /usr/local/yunyancv/yunyan-cv-py.log 2>&1

#设定预警函数定时任务
#默认yunyan-warning.py每5分钟执行一次并记录执行日志
crontab -e
*/5 * * * * /usr/bin/python3 /usr/local/yunyancv/yunyan-warning.py >> /usr/local/yunyancv/yunyan-warning-py.log 2>&1

yunyan-cv.py主要负责和云端系统进行通讯，告知平台设备的存活状态，并且会从云端系统获取最新的配置信息，如果需要配置会主动驱动进程进行在线更新。同时这也是一个进程保护程序，如果发现进程死亡会自动重启进程。
yunyan-warning.py主要是负责将预警视频和预警信息推送给云端，并保证本地存储的健康，定期删除无用文件。

如果你喜欢这篇博客请点赞留言，后续会更新在部署完成后怎么打破网络限制在公网进行通信。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/468861.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【人工智能】Gitee AI 天数智芯有奖体验开源AI模型，一定能有所收货，快来体验吧

【人工智能】Gitee AI 天数智芯有奖体验开源AI模型，一定能有所收货，快来体验吧

大家好&#xff0c;我是全栈小5&#xff0c;欢迎阅读小5的系列文章。 这是《人工智能》系列文章&#xff0c;每篇文章将以博主理解的角度展开讲解。 目录 前言两大赛道天数智芯1.模型地址2.天数智芯专区3.选择模型4.模型详情页5.部署模型6.成功部署7.执行例子8.移除模型 千模盲…
阅读更多...
Nginx安装和平滑升级

Nginx安装和平滑升级

一、YUM安装
阅读更多...
Flutter-仿淘宝京东录音识别图标效果

Flutter-仿淘宝京东录音识别图标效果

效果 需求 弹起键盘&#xff0c;录制按钮紧挨着输入框收起键盘&#xff0c;录制按钮回到初始位置 实现 第一步&#xff1a;监听键盘弹起并获取键盘高度第二步&#xff1a;根据键盘高度&#xff0c;录制按钮高度计算偏移高度&#xff0c;并动画移动第三步&#xff1a;键盘收起…
阅读更多...
Unbuntu20.04 git push和pull相关问题

Unbuntu20.04 git push和pull相关问题

文章目录 Unbuntu20.04 git push和pull使用&#xff11;&#xff0e;下载[Git工具包](https://git-scm.com/downloads)&#xff12;&#xff0e;建立本地仓库&#xff13;&#xff0e;将本地仓库与github远程仓库关联&#xff14;&#xff0e;将本地仓库文件上传到github远程仓…
阅读更多...
nuxt3项目总结

nuxt3项目总结

nuxt3项目总结 仓库 前言 大半年的时间&#xff0c;项目从秋天到春天&#xff0c;从管理后台到APP再到数据大屏&#xff0c;技术栈从vue3到uniApp再到nuxt3&#xff0c;需求不停的改&#xff0c;注释掉代码都快到项目总体的三分之一。 一、准备-搭建项目架子 1.1 创建一个…
阅读更多...
图片怎么转jpg格式？一键完成图片格式转换

图片怎么转jpg格式？一键完成图片格式转换

jpg图片格式作为最常用的图片类型之一&#xff0c;经常出现在不同的使用场景中&#xff0c;如果遇到手上的图片不是jpg格式的话&#xff0c;就需要图片转jpg之后再操作&#xff0c;那么该如何进行图片转换格式呢&#xff1f;试试本文分享的这个图片转格式的方法吧&#xff0c;利…
阅读更多...
【经验分享】Wubuntu------体验Windows和Ubuntu的结合体

【经验分享】Wubuntu------体验Windows和Ubuntu的结合体

【经验分享】Wubuntu------体验Windows和Ubuntu的结合体 最近看到有一款Wubuntu的文章&#xff0c;对于习惯使用windows操作系统&#xff0c;又不熟悉ubuntu系统的程序员小白来说&#xff0c;可以说是福音了。目前的Wubuntu兼容性可能还有一点问题&#xff0c;如果再迭代几次的…
阅读更多...
YOLOV5 改进：增加注意力机制模块（SE）

YOLOV5 改进：增加注意力机制模块（SE）

1、前言 本章将介绍yolov5的改进项目，为v5增加新的模块---注意力机制、SE模块 大部分更改的代码是重复的，只有少部分需要更改，下面会详细讲解 yolov5的yaml文件介绍：YOLOV5 模型：利用tensorboard查看网络结构和yaml文件介绍-CSDN博客 yolov5的模块更改，C3更改为C2f模块…
阅读更多...
18个惊艳的可视化大屏（第27辑）：安防与安全预警

18个惊艳的可视化大屏（第27辑）：安防与安全预警

可视化大屏在安防和安全预警领域具有以下几个重要作用&#xff1a; 实时监控和预警 可视化大屏可以将各种安防设备&#xff08;如摄像头、传感器等&#xff09;的监控画面和数据集中显示在一个屏幕上&#xff0c;实现对安全状况的实时监控。同时&#xff0c;通过设置预警规则…
阅读更多...
【保姆级教程】YOLOv8_Pose多目标+关键点检测：训练自己的数据集

【保姆级教程】YOLOv8_Pose多目标+关键点检测：训练自己的数据集

Yolov8官方给出的是单类别的人体姿态关键点检测&#xff0c;本文将记录如果实现训练自己的多类别的关键点检测。 一、YOLOV8环境准备 1.1 下载安装最新的YOLOv8代码 仓库地址&#xff1a; https://github.com/ultralytics/ultralytics1.2 配置环境 pip install -r requiremen…
阅读更多...
JNDI+LDAP攻击手法

JNDI+LDAP攻击手法

服务端&#xff1a; package com.naihe3; import java.net.InetAddress; import java.net.MalformedURLException; import java.net.URL;import javax.net.ServerSocketFactory; import javax.net.SocketFactory; import javax.net.ssl.SSLSocketFactory;import com.unboundid.…
阅读更多...
27-4 文件上传漏洞 - 黑名单绕过

27-4 文件上传漏洞 - 黑名单绕过

环境准备：构建完善的安全渗透测试环境：推荐工具、资源和下载链接_渗透测试靶机下载-CSDN博客 一、黑名单绕过和黑白名单机制： 黑名单：黑名单中的文件不允许通过。白名单：白名单中的文件允许通过。二、黑白名单判断： 当输入一串后缀如"sfahkfhakj"时，黑名单不…
阅读更多...
docker安装配置dnsmasq

docker安装配置dnsmasq

docker下载安装 参考&#xff1a;docker安装、卸载、配置、镜像 如果是低版本的额ubuntu&#xff0c;比如ubuntu16.04.7 LTS&#xff0c;为了加快下载速度&#xff0c;参考&#xff1a;Ubuntu16.04LTS安装Docker。 docker安装dnsmasq 下载dnsmasq镜像 首先镜像我们可以选择…
阅读更多...
Solidity Uniswap V2 Output amount calculation

Solidity Uniswap V2 Output amount calculation

现在&#xff0c;我们即将实现高级交换&#xff0c;包括链式交换&#xff08;例如&#xff0c;通过token B 将token A 交换为token C&#xff09;。在实现之前&#xff0c;我们需要了解 Uniswap 如何计算输出量。让我们先弄清楚金额与价格的关系。 什么是价格&#xff1f;就是你…
阅读更多...
KVM安装-kvm彻底卸载-docker安装Webvirtmgr

KVM安装-kvm彻底卸载-docker安装Webvirtmgr

KVM安装和使用 一、安装 检测硬件是否支持KVM需要硬件的支持，使用命令查看硬件是否支持KVM。如果结果中有vmx（Intel）或svm(AMD)字样，就说明CPU的支持的 egrep ‘(vmx|svm)’ /proc/cpuinfo关闭selinux将 /etc/sysconfig/selinux 中的 SELinux=enforcing 修改为 SELinux=d…
阅读更多...
工业智能网关的功能特点、应用及其对企业产生的价值-天拓四方

工业智能网关的功能特点、应用及其对企业产生的价值-天拓四方

一、工业智能网关的功能特点 工业智能网关是一种具备数据采集、传输、处理能力的智能设备&#xff0c;它能够将工业现场的各种传感器、执行器、控制器等设备连接起来&#xff0c;实现设备间的信息互通与协同工作。同时&#xff0c;工业智能网关还具备强大的数据处理能力&#…
阅读更多...
超火短剧分销推广项目cps，现在做还不晚（完整教程）

超火短剧分销推广项目cps，现在做还不晚（完整教程）

短剧是一种介于短视频和长视频之间的中视频模式&#xff0c;以爽点和反转为特点&#xff0c;讲究引人入胜&#xff0c;刺激消费。更白话一点表达&#xff0c;短剧就是压缩版的电视剧&#xff0c;易上头上瘾&#xff0c;易冲动消费。 所以&#xff0c;使用“蜂小推”进行短剧分…
阅读更多...
xss.pwnfunction(DOM型XSS)靶场

xss.pwnfunction(DOM型XSS)靶场

环境进入该网站 Challenges (pwnfunction.com) 第一关&#xff1a;Ma Spaghet! 源码&#xff1a; <!-- Challenge --> <h2 id"spaghet"></h2> <script>spaghet.innerHTML (new URL(location).searchParams.get(somebody) || "Somebo…
阅读更多...
实地研究降本增效的杀伤力，LSTM算法实现全国失业率分析预测

实地研究降本增效的杀伤力，LSTM算法实现全国失业率分析预测

前言 ​ 降本增效降本增笑&#xff1f;增不增效暂且不清楚&#xff0c;但是这段时间大厂的产品频繁出现服务器宕机和产品BUG确实是十分增笑。目前来看降本增效这一理念还会不断渗透到各行各业&#xff0c;不单单只是互联网这块了&#xff0c;那么对于目前就业最为严峻的一段时…
阅读更多...
五款软件让效率飞跃

五款软件让效率飞跃

幸运的是&#xff0c;随着信息技术的不断演进&#xff0c;一系列高效的软件工具应运而生&#xff0c;它们旨在简化我们的日常工作&#xff0c;帮助我们以更少的时间完成更多的任务。下面&#xff0c;将介绍五款能够有效提升您工作效率的软件神器。 1、亿可达 他是一款自动化工…
阅读更多...
最新文章

Copyright @ 2022~2023