1.1 现状分析
传统的人流量统计方法往往依赖于人工计数或简单的视频监控系统,这些方法不仅效率低下,而且容易出错,无法满足现代仓库管理的需求。因此,我厂区决定引入先进的智能监控系统,通过集成高清摄像头、GPU服务器和人流量统计算法,实现对厂房区域人员进出数量的实时监测和精准统计。
1.2 建设目标
1.确保系统能够实时、准确地监测和统计厂房区域内内各区域的人流量,减少数据处理延迟,提高监测效率。
2.采用先进的人流量统计算法,结合深度学习技术,提高对人体目标的识别能力和轨迹跟踪精度。同时,定期校准摄像头和算法,确保数据准确性。
3.采用模块化设计,使系统各组件之间具有良好的互操作性和可替换性。支持远程配置和升级,降低后期维护成本。
4.集成数据分析模块,提供多种统计报表和图表展示形式,支持按日、月等时间维度进行数据分析。
5. ai视频监控平台:
现在有一套ai视频监控平台,支持摄像头的统一接入纳管,不限摄像头品牌接入,极大降低硬件施工改造成本;AI算法模型统一部署接入调度,针对摄像头前端可视化按照点位需求自由分配算法及检测时间频率,自动完成违规抓拍。
在纪念馆项目中,这意味着所有设备可以方便地接入平台,无需额外的硬件施工和改造成本。这大大简化了项目的实施流程,节省了时间和资源。平台能够统一部署和调度AI算法模型,在纪念馆项目中,这意味着可以根据实际需求,将人脸识别比对算法应用于绿色通道入口处的摄像头,以检测是否有重复进入的情况。这种灵活性使得解决方案更具适应性,能够更精准地满足项目需求。
平台能够自动完成违规抓拍,即在检测到重复进入纪念馆的情况下,自动拍摄照片作为证据。当发生重复进入等违规情况时,能够实时发出告警提醒。这对于安保人员能够更迅速地响应问题,及时采取行动,保障参观秩序至关重要。
平台提供BI可视化功能,能够将数据以图表、报告等形式呈现,使纪念馆管理层能够更清晰地了解参观情况和问题发生频率。这有助于进行更好的资源分配和决策制定,提高纪念馆运营效率。
综上,将这套AI视频监控平台应用于厂房区域内进出人员数量统计项目中具有重要的必要性。平台的统一接入管理、灵活的算法部署、自动化违规抓拍、告警设置和管理以及BI可视化等特点,能够有效地支持解决“计数难”问题,优化资源利用,加强安保管理等方面的工作,使项目能够更高效、更智能地运行。
打通“图像样本-算法模型-算法应用-识别样本”生态闭环。实现样本集存储,通过对样本集进行标注,辅助算法训练,识别结果人工审核,通过增量训练不断迭代模型以提升精准度与识别率;实现对现场智能识别的大数据与信息互通的管理模式,利用设备、人机交互,互联互通和信息融合,构建数据库积累,为监控全过程综合数字化管理平台提供有效信息支撑,技术选型如下表所示:
表1 技术选型
分类 | 技术选型 |
前端界面技术 | 使用vue,Element UI框架 |
服务端技术 | 使用Linux环境,基于Java开发 |
数据访问及存储技术 | 使用MySQL做数据存储,Redis做缓存 |
开发平台选型 | Unity、Eclipse |
图1 系统架构图
2.1功能介绍
- 摄像头管理
摄像头管理摄像头管理模块用于多种终端设备、智能设备的接入及管理。平台支持包括摄像头、智能报警器、音柱、电子显示屏终端感知设备接入,为整个平台提供数据接入底座。各类老旧摄像头,不限制品牌可通过GB28181,RTSP协议接入AI视频监管平台,无需更换摄像头,无需施工改造,降低企业智能化升级成本。
图2 摄像头管理
- 视频流管理
针对场景部署的摄像头装置,可以按照需求调取场景视频流。支持一屏、四屏、六屏同时预览,降低人工巡逻时间成本,有效提升作业监管效率。
图3 视频流管理
- 告警管理
关联相应AI技能的设备会根据配置的AI技能运行时间进行实时监测,当发生违规情况,设备异常、环境异常等事件时,会产生相应的风险告警。告警会生成预警事件图片及事件视频用于回看。告警管理中可查看整体预警事件的数量,告警详情。对每一个预警事件进行全流程的处理跟踪,以及预警的全生命周期管理。
图4 告警管理
- 统计管理
针对告警数量、告警位置、告警类型等参数进行统计,并做可视化处理,便于管理员对场景内的作业及异常情况作统计。
图5 告警管理
- 推送管理
针对出现的告警情况,通过多种方式发送信息到管理员端,将告警位置、告警类型等进行发送,提示管理员及时查看进行核对。
图6 短信推送
图7 办公推送
图8 接口推送
图9 语音推送
- 系统管理
针对系统进行配置,可以查看已经配置好的系统名称、系统标识以及相对应的配置值。根据需要对配置进行新建、修改、删除等操作。
图10 系统管理
- 账号管理
该模块可以查看系统内所有账号对应的姓名、登录账号、帐号状态、创建日期等信息,根据用户不同权限进行配置,可以对账号进行新建、修改、删除等操作。
图11 账号管理
下面是系统总体功能图和用例图:
图12 系统总体功能图
2.2算法训练图像数据库
对人数统计场景的监测和预警的及时性准确性,最大限度保障解决“计数难”的迫切需求,要求告警及时准确。现实场景的复杂性,使得深度学习方法需要基于丰富的图片数据,充分利用其中的数据,面向作业场景的算法训练图像样本库。
现阶段构建人脸识别监测场景下的智慧视频识别深度学习算法模型依赖于海量标注样本,有限的标记样本可能会降低算法的训练精度,特别是复杂环境、高危环境等应用场景.因此,借助现场实际场景的图像数据,对某一场景建立更精细化模型的能够实现针对场景的更精准的算法效果。
采集任务管理的目的是对该摄像头场景下的图片收集及归类,支持信息的添加、删除、修改、查询、列表信息导出等操作。
任务创建:按照摄像头场景名称进行创建
采集方式:分为手动上传和视频采集,手动上传在“图片资产管理”进行手动上传,视频采集则需要选择视频流需成功对接应用平台的摄像头。
以分页列表展示各场景下的图片资产数据、支持图片数据的添加、删除、修改、查询等操作并支持组合条件搜索图片信息以及大批量图片上传功能。
对不同场景标签下的图片进行列表统计包含:总数量、审核可用数量、审核不可用数量、待审核数量、通过率。
支持同一场景标签原始图片批量审核功能,以图表的形式展示各图片资产数量占比情况,月入库情况等。
通过对质量不高的图片进行去雾、降噪、增强、平滑、锐化、旋转等操作,提高图像的清晰度及样本的可用性。支持测试效果、批量处理操作。
本模块对标注文件进行格子化操作页面管理,实现图片在线可视化样本标注功能,支持多个目标进行标注,标注标签命名按照“场景标签管理”配置标准规则进行选择,支持2D拉框标注,支持多边形标注;
在同一场景标签下选择训练好的模型版本,支持批量选择图片一键自动标注,并展示标注图片可视化情况,用户可筛选正确的标注文件进行保存,同时支持模型预标注文件的修改审核,提升数据质量。
对样本标注完成后生成标注文件进行统一管理,本模块支持对标注样本列表信息的增加、修改、删除、查询等操作以及标注文件是否可用进行审核。对外部已标注的xml格式样本集,具备导入功能,并根据场景标签进行归一化或兼容化标注文件的处理,保证标注命名的统一性。
对不同场景标签下的图片进行列表统计包括:标注总数量、审核通过数量、审核不通数量、待审核数量、通过率。支持同一场景标签的标注样本批量审核功能,以图表的形式展示各标注样本数量占比情况,月入库情况等。
2.3算法模型列表
通过定制兼容性的算法训练依赖环境规范标准,对上传的算法包进行管理维护。
以分页列表展示各场景标签下的算法包管理情况、支持算法包数据的添加、删除、修改、查询等操作搜索算法包信息。
以分页列表的形式对算法生成的模型进行统一管理维护,支持模型前端摄像头一键配置。
2.4算法智能应用
- 摄像头算法配置
摄像头管理分为摄像头参数信息管理及摄像头应用信息管理两大部分,并实现在本界面所有信息的可视化。
图13 摄像头算法配置
- 摄像头参数信息管理
支持对当前人数统计监测场景摄像头参数等基本信息进行增、删、改、查等管理操作。
(1)摄像头调用。
支持摄像头对接企业各大视频平台,并进行同步调用。
(2)摄像头更新。
支持对场景信息节点进行整合管理,可在当前界面同步实时节点、全部节点、可对节点进行导入、在线一键拉取视频地址。
1 同步实时节点
支持同步当前界面实时传输的节点。
2 同步所有节点
支持同步当前界面全部历史节点。
3 同步当前子节点
支持同步当前界面当前全部节点的子节点。
4 在线拉取视频地址
支持一键拉取当前界面的视频地址。
(3)摄像头同步。
支持同步更新到摄像头应用信息管理模块。
(4)新增摄像头。
支持新增摄像头设备。
(5)删除摄像头。
支持删除当前界面的摄像头设备。
支持对当前场景配置好的摄像头应用等高级信息进行增、删、改、查等管理功能,支持时段设置、状态设置、置信度设置、类型设置、识别区域设置等高级操作。
(1)时段设置:支持对摄像头运行时段进行配置。
(2)状态设置:支持对摄像头运行状态进行配置。
(3)置信度设置:支持对摄像头置信度阈值进行查看、优化、输出报告等配置。
(4)类型设置:支持对当前摄像头类型进行查看、编辑等管理操作。
(5)识别区域配置:支持对摄像头识别区域进行查看、修改等需求配置。
可在此界面对作业场景已配置算法的摄像头在线调配,该功能分为算法应用管理与内置模型管理两部分,据此实现已有摄像头及部署算法相关信息在线查看管理,支持手动调整每路摄像头的算法识别能力。
支持对于已部署在摄像头中的算法进行在线调配,支持增、删、改、查摄像头已部署算法等基本功能。
图14 新增摄像头
图15 算法配置
(1)新增算法
支持在线新增当前摄像头接入的算法。
(2)编辑算法
支持在线编辑当前摄像头接入算法的参数。
1 视频流管理
支持对摄像头工作区域命名,手动接入摄像头RTSP视频流。
2 告警间隔管理
支持手动设置摄像头识别告警间隔。
3 置信度管理
支持手动调整摄像头算法识别置信度。
4 敏感度管理
支持手动调节摄像头算法识别敏感度。
(3)删除算法
支持在线删除当前摄像头接入的算法。
支持对于已配置在平台中的算法在线调配,支持在不同场景下的算法调整置信度。
算法置信度:支持在线调整当前摄像头接入算法的置信度阈值参数。
可在线查看作业场景的视频流接入状态,进行分屏监控数量切换及调配。
图16 视频流管理
在本模块中可对实时及历史告警信息进行追溯查询。可依此按摄像头分布、算法模型名称、告警类型三大模块进行精确查询。并在告警列表中查看违规情况捕捉详情,以便通知工作人员现场第一时间应对管控。
图17 告警管理
图18 告警详情
2.5算法及功能
进出人数统计的技术实现流程:
1. 摄像头设置: 在厂房入口上方架设1路摄像头,确保能够捕捉到进入厂房内人员的完整身体。
2. 绘制识别区域:在摄像头拍摄的区域内,绘制一个矩形框作为检测人员的区域,再绘制一条穿越矩形框的线,作为人员进入厂房或离开厂房的判断依据。
3. 阈值设定: 设定一个算法识别阈值,如果算法识别置信度大于设定的阈值,那么系统判定增加一人。
4.告警提醒:当厂房内进入人数-离开人数大于设定的人数阈值时,通过音柱播报超员情况,由管理人员控制厂房外面人员不得进入厂房内;
4. 可视化平台: 可视化平台可以展示历史记录、单路摄像头识别信息以及相关数据的统计情况。通过图表、报表和LED显示屏显示方式,管理层可以更好地了解当前厂房内的剩余人数,便于人员进出厂房精准管控。
图19 算法流程图
2.6关键技术参数相应
- 平台架构及接入要求
- 平台架构要求
采用架构设计,微服务架构与平台、开发语言进行松耦合,使用vue和element ui作为前端技术,需具备较好的兼容性和灵活性。Vue.js致力于构建数据驱动的web应用开发框架,具有简洁化,轻量级,数据驱动,模块友好等优点。是构建用户界面的渐进式框架,便于与第三方库或既有项目整合。
使用Element UI技术,这 是一套采用 Vue 2.0 作为基础框架实现的组件库,一套为开发者、设计师和产品经理准备的基于 Vue 2.0 的组件库,提供了配套设计资源,帮助网站快速成型。
使用unity平台与eclipse进行接入,适用于Windows、iOS、Android等多平台的开发。支持高质量的图形和特效实现真正的物理模拟,快速开发创建内容。给用户提供更好的服务体验。
使用mysql作为数据存储器,满足对数据存储的可靠性、可扩展性、数据安全性等要求,同时使用redis做缓存服务,支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用,提供list,set,zset,hash等数据结构的存储,支持数据备份,具有速度快,性能高、灵活便捷的特点。
使用Linux环境,基于Java语言进行开发,能处理有大量机器的应用程序和容器的自动部署,支持多个版本的应用程序容器,并且还支持跨越大量集群机器的滚动升级。
- 系统功能
基于人数统计+人行追踪算法模型搭建AI视觉分析识别平台,需基于平台深度融合,作为智能识别工具系统可被其他应用系统调取并将结果返回第三方系统。
- 系统性能指标要求
- 识别参数
识别内容:各场景下识别精度
识别精确率:95%以上;
最小检测尺寸:100 x 100 像素;
分析区域:支持画面中自定义分析区域;
色彩要求:彩色画面;
报警方式:报警信息可推送多平台;
响应时间:延时3-5s左右(读取视频即时分析,延时长短取决于前端视频流)。
- 流媒体数据的接入
采集器支持流媒体数据的接入能力,可实现海康、大华等厂家的视频数据接入,包括常见的摄像头、流媒体等设备。
- GPU服务器
接入能力
单台服务器支持每秒1帧可支持不少于100路视频流识别。
视频实时处理性能
支持在实时视频监控画面中对检测、跟踪到的目标进行叠框显示。
2.7交付实施
依据项目建设要求,对平台进行整体规划设计开发维护,对系统运行的安全性、可靠性、易用性以及稳健性进行全新设计,并将所有的应用系统进行部署实施和软件使用培训以及技术支持。项目组承诺项目独立完成,不转包外包。
项目开发维护的实施中,严格按照1SO9001国际质量体系进行控制,保证为用户提供优质的产品、严密的工程实施、高效的服务支持。
- 组织架构
为保障本项目的顺利实施,我们对项目组织架构进行了精心策划,项目组织架构包括团队管理方面要有项目领导小组和项目工作小组,项目工作小组需要有项目经理,系统分析师,软件工程师,测试工程师,实施工程师。并且所有人员职责清晰。
- 人员配置
我公司充分利用公司资源优势,在本项目建设中,成立一个由多名拥有类似项目经验的技术、管理人员组成的项目组。项目组配备具有丰富的类似项目经验的项目管理人员、技术人员项目组主要成员也都具有相关项目经验。
2.8售后维护
为防止公司开发、生产、管理活动在开发服务器出现重大故障或灾难的情况下受到影响或中止,实现业务可持续发展,对开发服务器在出现故障、灾难情况下,对本公司的业务影响做出分析。
- 软件更新
如产品有新版本或新增功能模块发布,我司将在新版本或新增功能模块发布后的 20 个工作日内为用户进行升级(大小版本),并负责与升级相关的移植、调试、相关客户化程序和接口程序的重新测试、提供安装介质、为提供介质安装指导与帮助直至用户熟练操作。
- 问题处理
我司提供及时、专业级的多种形式问题处理服务并按规定的时限来解决用户提出的有关产品使用的各种问题。我司指定特定工程师为用户提供问题处理服务,更换工程师会事先得到用户的书面认可。
- 问题处理服务
(1)协助用户维护与产品相关的系统的正常运行,包括移机安装,并进行迁移后的性能调优工作。
(2)解决用户提出与产品、产品使用相关的其他问题。
- 服务等级与响应时间
如用户提出问题处理服务需求,将根据下表中的优先级给予响应并提供服务:
级别 | 现象 | 响应 |
0级 | 产品系统崩溃,导致用户无法使用产品进行正常工作,并对相关公司业务的正常运行造成重大影响。 | 7×24 电话联系,接到电话后立即响应, 12小时内给出解决方案。 |
1级 | 产品主要功能不能正常工作,并对相关公司业务的正常运行造成较大影响,存在周期性的中断。 | 7×8 电话联系,接到电话后立即响应, 24小时内给出解决方案。 |
2级 | 产品部分功能存在故障,但仍可运行,对相关公司业务的正常运行有一定的或轻微的影响。 | 5×8 电话联系,接到电话后立即响应,三天内给出解决方案。 |
3级 | 产品功能应用问题,产品功能、安装或配置方面需要支持,对相公司的业务运作几乎无影响。 | 5×8 电话联系,接到电话后立即响应,一周内给出解决方案。 |
- 硬件实施方案
图20 硬件架构图
该项目的硬件实施方案包括GPU服务器、摄像头、交换机、LED显示屏、音柱等硬件部署,架构如上图所示。服务器、LED显示屏、音柱、摄像头分别连到路由器保持在同一网络,服务器部署ai视频监控平台,摄像头对进入厂房人员采集视频数据,LED显示屏用于展示厂房内进入人数、出来人数以及剩余人数展示,音柱用于对超过限定人做语音告警播报。。下面是详细的硬件实施方案:
3.1摄像头:
1. 选择合适的摄像头:首先,选择一款适用于安装在厂房入口处的高质量摄像头。摄像头应该具备高分辨率、良好的低光性能和广角视野,以确保捕捉到清晰的脸部图像。
2. 确定架设位置:在入口处进行现场勘测,确定最佳的摄像头安装位置。考虑到人员进入厂房的流程,选择一个能够覆盖大部分进入通道的区域的位置。
3. 准备安装工具和材料:准备所需的工具,例如螺丝刀、电钻、螺丝、支架固定件等。
4. 固定摄像头:将摄像头固定到摄像头架杆上。根据摄像头的安装方式,可能需要使用螺丝、螺母或其他连接件。确保摄像头固定稳固,防止摇晃或松动。
5. 调整摄像头角度:在安装后,仔细调整摄像头的角度,确保其正确定位。摄像头应该被定位到一个适当的角度,以捕捉到进入厂房人员身体图像,而不会过于偏离或受到阻碍。
7. 连接电源和网络:将摄像头连接到适当的电源和网络设备。确保摄像头能够正常工作并传输图像数据。
8. 测试摄像头功能: 在完成安装后,进行摄像头功能测试。确认摄像头是否能够捕捉到清晰的图像,图像传输是否稳定,以及摄像头的其他功能是否正常运作。
摄像头的位置如下图红框所示:
图21 摄像头安装位置
3.2线路规划:
将服务器、LED显示屏、音柱、摄像头以及路由器连接在同一个网络中,需要合理规划布线和线路,以确保稳定的数据传输和系统运行。以下是实施方案:
1.布线规划:
在布线规划中,需要考虑设备的位置、所需网络连接类型、数据传输要求以及可能的干扰因素。
- 设备位置选择: 确定服务器、LED显示屏、音柱、摄像头和路由器的安装位置。服务器通常会放置在安全且通风良好的机柜中,LED显示屏放置在可供进场人员看到的位置,摄像头安装在厂房入口,路由器位于一个相对中心的位置。
- 布线类型: 考虑使用以太网(Ethernet)布线,因为它可以提供稳定的数据传输速度和连接质量。对于服务器和一体机显示器,使用Cat6或Cat6a网线,对于摄像头,可以根据需要选择适当的线缆类型。
2. 线路规划和实施:
- 连接服务器和路由器: 使用适当的网线将服务器和路由器连接在一起。服务器通常会有多个以太网端口,你可以使用其中一个来连接到路由器。确保网线的长度适当,不要过长,以避免信号损失。
- 连接LED显示屏和路由器: 同样,使用适当的网线将一体机显示器和路由器连接在一起。这将允许一体机通过网络连接到服务器,以显示进出人数和厂房内剩余人数展示。
- 连接摄像头和路由器: 将摄像头通过适当的网线连接到路由器。这样摄像头就可以将捕捉到的视频图像传输到服务器进行人数统计和人行追踪。
-连接IP音柱和路由器:将IP音柱通过网线连接到路由器。这样就可以将平台发送的告警信息,通过音柱播放出来。
3. 数据传输和配置:
- 配置设备网络设置: 为每个设备分配静态IP地址,确保设备之间可以稳定地相互通信。
- 服务器部署: 在服务器上部署AI视频监控平台,配置人流量统计算法和告警设置。
- LED显示屏配置: 配置LED显示屏以显示进出人数统计和当前厂房内剩余人数界面,确保其能够连接到服务器并正确显示信息。
- 摄像头设置: 摄像头配置人流量统计算法,确保摄像头能够捕捉到清晰的图像并将数据传输到服务器。
4. 告警提醒设置:
设置告警条件: 在服务器上设置告警条件,当检测厂房内人数大于等于设定数量阈值情况时,触发告警机制,由IP音柱播报。
3.3服务器:
用于部署AI视频监控平台。服务器需要具备足够的计算资源和存储空间,以支持人流量统计算法的运行和大量的视频数据存储。
3.4 LED显示屏:
LED显示屏,在这个项目中具有多重作用,旨在为现场安保人员提供实时监控和信息展示的功能。显示屏的展示效果如下:
图22 LED显示屏
LED显示屏连接到摄像头和服务器,能够实时显示厂房入口监控画面。现场人员可以通过这个显示屏,直观地观察进出厂房的人员数量情况,实时掌握参观者的人流动态。
3.5 IP音柱:
当系统检测当检测厂房内人数大于等于设定数量阈值情况时,触发告警机制。由音柱进行语音播报,不得有人再进入厂房内。IP音柱如下图:
图23 IP音柱
3.6网络环境
为了满足物理隔离的要求,需要搭建独立的网络环境。
在厂房入口处设置一个独立的网络区域,与现有网络环境做物理隔离。这可以通过独立的网络交换机、路由器等设备来实现,确保外部网络与该区域的连接被隔离开来。在独立网络区域内,设置一个网络交换机,用于连接摄像头、服务器和LED显示屏、IP音柱。每个设备都通过网线连接到交换机。
为每个设备分配独立的IP地址,以便进行通信。服务器需要有固定的IP地址,摄像头和LED显示屏、IP音柱也需要分别分配IP地址。
设置网络防火墙,限制对独立网络区域的访问。只允许经过授权的设备连接到该区域,以保障系统的安全性。在独立网络区域内设置网络监控设备,监测网络流量、连接状态等情况,确保网络的正常运行和安全。考虑到可能需要远程管理和维护系统,可以设置远程访问机制,但要确保安全性。可以使用VPN等技术来实现安全的远程访问。网络拓扑如下图所示:
通过以上硬件实施方案和网络搭建设计,能够在厂房入口处实现一个独立的视频监控系统,通过服务器上的AI视频监控平台,实现人流量统计算法的部署和管理,实现现场人数实时展示,实现预警实时播报,实现对厂区人员进出情况的监控和管理,同时确保系统的安全性和稳定性。
3.7硬件配置规格:
1) 服务器,推荐如下清单:
2) 网络类型要求:企业网络。 带宽最低要求:500M。
- 项目施工计划
根据项目目标、范围和实施方案,本项目将分成【11】阶段,共【2】个月。各阶段的工作内容与时间如下方项目计划所示。
序号 | 主要工作内容 | 完工时间 |
1 | 硬件施工(布线、网络隔离、摄像头架设、IP音柱、LED显示屏、服务器安装调试) | 【T+1周】 |
2 | 数据采集 | 【T+1周】 |
3 | 数据标注 | 【T+1周】 |
4 | 模型训练 | 【T+1周】 |
5 | 模型测试 | 【T+1周】 |
6 | 模型优化 | 【T+1周】 |
7 | 接口对接 | 【T+1周】 |
8 | 模型部署 | 【T+3天】 |
9 | 测试联调 | 【T+3天】 |
10 | 场地试运行 | 【T+3天】 |
11 | 正式上线 | 【T+2天】 |
*T表示协议签订日;
注:项目计划表的时间是按以往项目周期评估,需要场地方的对应配合,如遇到其他情况,导致施工无法正常进行,周期有可能相应延长。