一步一步学OAK之三:实现RGB相机场景切换

目录

  • Setup 1: 创建文件
  • Setup 2: 安装依赖
  • Setup 3: 导入需要的包
  • Setup 4: 遍历所有场景模式和特效模式
  • Setup 5: 创建pipeline
  • Setup 6: 创建节点
  • Setup 7: 连接设备并启动管道
  • Setup 8: 创建与DepthAI设备通信的输入队列和输出队列
  • Setup 9: 定义putText函数
  • Setup 10: 主循环
    • 获取视频帧
    • 等待用户按键输入
  • Setup 11:运行程序

Setup 1: 创建文件

  • 创建新建3-rgb-scene文件夹
  • 用vscode打开该文件夹
  • 新建一个main.py 文件

Setup 2: 安装依赖

安装依赖前需要先创建和激活虚拟环境,我这里已经创建了虚拟环境OAKenv,在终端中输入cd…退回到OAKenv的根目录,输入 OAKenv\Scripts\activate激活虚拟环境

安装pip依赖项:

pip install numpy opencv-python depthai blobconverter --user

Setup 3: 导入需要的包

在main.py中导入项目需要的包

import cv2
import depthai as dai
from itertools import cycle

Setup 4: 遍历所有场景模式和特效模式

scenes = cycle([item for name,item in vars(dai.RawCameraControl.SceneMode).items() if name !="UNSUPPORTED" and name.isupper()])
effects = cycle([item for name,item in vars(dai.RawCameraControl.EffectMode).items() if name.isupper()])

curr_scene = "OFF"
curr_effect = "OFF"

这段代码创建了两个无限循环的迭代器sceneseffects,用于循环遍历dai.RawCameraControl.SceneModedai.RawCameraControl.EffectMode中的所有场景模式和特效模式。

scenes迭代器通过从dai.RawCameraControl.SceneMode中选择大写名称的项,并排除UNSUPPORTED和非大写字母的项来创建。这样可以获取到所有合法的场景模式。

effects迭代器通过从dai.RawCameraControl.EffectMode中选择大写名称的项来创建,也排除了非大写字母的项。

curr_scenecurr_effect是当前选择的场景和特效模式,默认为"OFF"。

这段代码的作用是创建了用于循环遍历场景模式和特效模式的迭代器,并初始化当前选择的场景和特效模式为"OFF"。

Setup 5: 创建pipeline

pipeline = dai.Pipeline()

Setup 6: 创建节点

camRgb = pipeline.create(dai.node.ColorCamera)
camRgb.setIspScale(1,3)

xoutRgb = pipeline.create(dai.node.XLinkOut)
xoutRgb.setStreamName("video")
camRgb.video.link(xoutRgb.input)

camRgb.setIspScale(1,3)将ISP(图像信号处理)的缩放比例设置为1:3。这意味着从摄像头读取到的图像将会在宽度上保持原始大小,而高度会缩小为原来的1/3。

创建了一个xoutRgb节点,并设置了该节点对应的输出流名称为"video"。xoutRgb节点将会作为管道的输出节点,用于将视频流传输到其他设备或模块。

通过camRgb.video.link(xoutRgb.input)将颜色摄像头节点的视频输出链接到xoutRgb节点的输入。这样就建立了颜色摄像头节点到xoutRgb节点的数据流连接。

camControlIn = pipeline.create(dai.node.XLinkIn)
camControlIn.setStreamName("camControl")
camControlIn.out.link(camRgb.inputControl)

创建一个camControlIn节点,它代表了XLinkIn节点,用于接收来自其他设备或模块的相机控制指令。

使用camControlIn.setStreamName("camControl")设置了它的流名称为"camControl"。

通过camControlIn.out.link(camRgb.inputControl)camControlIn节点的输出连接到camRgb节点的输入控制引脚(inputControl)上。这样,通过XLinkIn节点可以接收来自其他设备或模块的相机控制指令,并将其传递给颜色摄像头节点。

Setup 7: 连接设备并启动管道

with dai.Device(pipeline) as device:

Setup 8: 创建与DepthAI设备通信的输入队列和输出队列

    videoQ = device.getOutputQueue(name="video", maxSize=4, blocking=False)
    ctrlQ = device.getInputQueue(name="camControl")

创建了两个队列对象:videoQctrlQ。这些队列用于在设备上接收和发送数据。

videoQ是一个输出队列,通过调用device.getOutputQueue(name="video", maxSize=4, blocking=False)来创建。它将从设备上的"video"流接收数据,并最多存储4个数据帧。blocking=False表示在队列为空时,从队列获取数据时不会阻塞。

ctrlQ是一个输入队列,通过调用device.getInputQueue(name="camControl")来创建。它用于发送相机控制指令到设备上的相机控制节点。这里的"name"参数与之前设置的相机控制流名称"camControl"对应。

Setup 9: 定义putText函数

    def putText(frame, text, coords):
        cv2.putText(frame, text, coords, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 0), 4)
        cv2.putText(frame, text, coords, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1)

定义了一个putText函数,它将在图像帧上绘制文本。

函数接受三个参数:

  • frame:要绘制文本的图像帧。
  • text:要绘制的文本内容。
  • coords:文本的起始坐标。

在函数内部,使用cv2.putText函数两次进行文本绘制:

  • 第一次调用用于绘制黑色的文本,具有较大的轮廓(thickness=4),用于创建阴影效果。使用cv2.FONT_HERSHEY_SIMPLEX指定字体,0.5指定字体比例因子,(0, 0, 0)指定文本颜色(黑色)以及thickness=4指定较大的轮廓宽度。
  • 第二次调用用于绘制白色的文本,具有较小的轮廓(thickness=1),用于绘制文本内容。使用相同的参数,但将文本颜色设置为(255, 255, 255)(白色)以及thickness=1指定较小的轮廓宽度。

这样,函数将在图像帧的指定坐标上绘制带有阴影效果的文本。

Setup 10: 主循环

    while True:

获取视频帧

 		videoIn = videoQ.tryGet()
        if videoIn is not None:
            frame = videoIn.getCvFrame()
            putText(frame, f"[E] Effect: {curr_effect}", (10, 20))
            putText(frame, f"[S] Scene: {curr_scene}", (10, 40))
            cv2.imshow("video", frame)

这段代码从输出队列videoQ中获取一个视频帧。

首先,使用videoQ.tryGet()方法尝试获取一个视频帧。如果成功获取到视频帧,则将其赋值给videoIn变量。

然后,使用getCvFrame()方法从视频帧对象videoIn中获取OpenCV格式的图像帧,并将其赋值给frame变量。

接下来,使用putText()函数在图像帧上绘制文本。其中,使用f-string将当前特效(curr_effect)和场景(curr_scene)的值转换为字符串,并绘制在图像上。

最后,使用cv2.imshow("video", frame)显示图像帧,窗口标题为"video"。

这段代码的作用是从输出队列中获取视频帧,并在图像帧上绘制当前特效和场景的文本,最后在窗口中显示图像。

f-string是Python中格式化字符串的一种方式。它允许在字符串中插入变量或表达式的值。

一个f-string的格式为:在字符串前加上字母"f",然后用花括号{}括起需要插入的变量或表达式。

例如,f"[E] Effect: {curr_effect}"中的花括号内的curr_effect表示要插入的变量,而整个字符串中的"[E] Effect: "是固定的文本部分。

当这个f-string被执行时,curr_effect的值会被插入到相应位置来替代花括号内的部分。

这样可以方便地将变量的值插入到字符串中,以构建带有动态内容的文本。在给图像帧添加文本时,可以使用f-string将变量的值插入到文本中来实现动态文本。

等待用户按键输入

		key = cv2.waitKey(1)
        if key == ord('e') or key == ord('E'):
            effect = next(effects)
            print("Switching colorCamera effect:", str(effect))
            curr_effect = str(effect).lstrip("EffectMode.")
            cfg = dai.CameraControl()
            cfg.setEffectMode(effect)
            ctrlQ.send(cfg)
        # Scene currently doesn't work
        elif key == ord('s') or key == ord('S'):
            scene = next(scenes)
            print("Currently doesn't work! Switching colorCamera Scene:", str(scene))
            curr_scene = str(scene).lstrip("SceneMode.")
            cfg = dai.CameraControl()
            cfg.setSceneMode(scene)
            ctrlQ.send(cfg)
        elif key == ord('q'):
            break

这段代码中,cv2.waitKey(1)用于等待用户按键输入,并返回按下键的ASCII码。

使用if语句判断用户按下的键。如果按下键是字母 ‘e’ 或 ‘E’,则执行以下代码块:

  1. 调用next(effects)effects迭代器中获取下一个特效。
  2. 打印信息以指示切换特效,并将特效转换为字符串并去除前缀"EffectMode."。
  3. 创建一个dai.CameraControl()对象,并使用setEffectMode()方法设置特效模式为获取到的特效。
  4. 将配置对象cfg通过控制队列ctrlQ发送出去。

如果按下的键是字母 ‘s’ 或 ‘S’,则执行以下代码块:

  1. 调用next(scenes)scenes迭代器中获取下一个场景。
  2. 打印信息以指示切换场景,并将场景转换为字符串并去除前缀"SceneMode."。
  3. 创建一个dai.CameraControl()对象,并使用setSceneMode()方法设置场景模式为获取到的场景。
  4. 将配置对象cfg通过控制队列ctrlQ发送出去。

如果按下的键是字母 ‘q’,则跳出循环,结束程序的运行。

这段代码的作用是根据用户按键的不同来切换特效、场景,或者结束程序的运行。

Setup 11:运行程序

在终端中输入如下指令运行程序


python main.py

效果如下
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/33748.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

uni-app

uni-app 一、准备工作1.新建项目2.配置浏览器3.兼容4.新建页面 二、上手1.pages.json文件的页面配置与全局配置2.rpx尺寸单位3.内置组件4.vue写法 一、准备工作 uni-app文档 HBuilderX,H是HTML的首字母,Builder是构造者,X是HBuilder的下一代版…

实例005 可以拉伸的菜单界面

实例说明 如果管理程序功能菜单非常多,而用户只使用一些常用菜单,这时,可以将主菜单项下的不常用菜单隐藏起来。此种显示方式类似于对菜单进行拉伸。使用时,只需单击展开菜单,即可显示相应菜单功能。运行本例&#xf…

使用Python批量进行数据分析

案例01 批量升序排序一个工作簿中的所有工作表——产品销售统计表.xlsx import xlwings as xw import pandas as pd app xw.App(visible False, add_book False) workbook app.books.open(产品销售统计表.xlsx) worksheet workbook.sheets # 列出工作簿中的所有工作表 fo…

VVIC搜款网API接口:获取商品详情数据API

VVIC电商平台汇集了数千家优质品牌和供应商,包括服装、家居用品、电子产品、美妆产品、食品和饮料等各种商品。消费者可以在VVIC上找到各类品牌和产品,满足他们的购物需求。VVIC还提供了多种付款方式和物流配送服务,确保消费者的购物过程顺利…

第27章 uView 内置路由使用注意事项

1 uView 内置路由不支持通过“localhost”域名直接获取数据。 在前后分离开发中“axios” 路由支持使用“localhost”域名或IP地址获取后端的数据,所以不管是IIS部署还是后端调试通过“axios” 路由都能获取数据,对于.NetCore的前后端分离开发来说“axio…

NLP学习笔记(二)

文章目录 (一)负采样(二)GloVe1.带全局语料库的跳元模型2.GloVe模型3.问题4.跳元模型与GloVe模型的比较 (三)问题1.参数初始化2.梯度下降3.下游任务4.句法信息5.似然估计6.词向量表示 (一&#…

2023 中兴捧月算法挑战赛-自智网络-参赛总结

“中兴捧月”是由中兴通讯面向在校大学生举办的全球性系列赛事活动,致力于培养学生建模编程、创新、方案策划和团队合作能力。今年是在学校的宣传下了解到比赛,最初抱着学习的态度报名了比赛,最终进入了决赛,完成了封闭的开发与赛…

Jenkins+Gitlab+Springboot项目部署Jar和image两种方式

Springboot环境准备 利用spring官网快速创建springboot项目。 添加一个controller package com.example.demo;import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RestController;RestController public class…

【结构型设计模式】桥接模式

一、写在前面 桥接模式(Bridge):桥接模式是一种结构型设计模式,其目的是将抽象部分和实现部分分离,允许它们可以独立地变化。该模式通过创建一个桥接类,连接抽象和实现,使得它们可以独立地进行…

网络安全(黑客)自学笔记

建议一:黑客七个等级 黑客,对很多人来说充满诱惑力。很多人可以发现这门领域如同任何一门领域,越深入越敬畏,知识如海洋,黑客也存在一些等级,参考知道创宇 CEO ic(世界顶级黑客团队 0x557 成员…

C语言:数据的存储

往期文章 C语言:初识C语言C语言:分支语句和循环语句C语言:函数C语言:数组C语言:操作符详解C语言:指针详解C语言:结构体 目录 往期文章前言1. 数据的类型2. 整型在内存中的存储2.1 原码、反码、…

Qt/C++编写onvif工具(搜索/云台/预置位/OSD/录像存储)

一、前言 从最初编写这个工具开始的时间算起来,至少5年多,一直持续完善到今天,这个工具看起来小也不小大也不大,但是也是经历过无数个现场的洗礼,毫不夸张的说,市面上能够遇到的主流的厂商的设备&#xff…

网络基础一

网络发展 独立模式:计算机之间相互独立。 网络互联:多台计算机连接在一起,完成数据共享。 局域网LAN:计算机数量更多了,通过交换机和路由器连接在一起; 广域网WAN:将远隔千里的计算机都连在…

2023年6月Web3行业月度发展报告区块链篇 | 陀螺科技会员专享

6月,合规与监管成为本月加密领域的主旋律,在海外,SEC接连起诉币安与Coinbase两大交易平台,并将除BTC、ETH、USD系等的几乎所有加密货币列为证券,引发市场哗然,行情也与之紧密关联,随着做市商缓慢…

基于Echarts2.X的地图数据可视化指南

目录 前言 一、关于Echarts版本 1、为什么用Echarts2.2.7 2、文件目录说明 二、地图数据可视化 1、新建map.html 2、Echarts图表初始化 3、参数设置 三、源码展示分析 1、初始化阶段 2、timelineOption.js模拟数据 总结 前言 在前面的博文(数据会说话-从我国…

C国演义 [第七章]

第七章 最长重复子数组题目理解步骤dp含义递推公式初始化为啥dp数组如此奇怪 遍历顺序 代码 最长公共子序列题目理解步骤dp含义递推公式初始化遍历顺序 代码 总结 最长重复子数组 力扣链接 给两个整数数组 nums1 和 nums2 ,返回 两个数组中 公共的 、长度最长的子…

初识express/路由/中间件

路由的概念 模块化路由 中间件(要有输入输出) 简化版本 全局生效中间件 局部生效中间件 注意事项 中间件分类 内置中间件,解析请求体/url-encoded 自定义中间件 使用querystring模块解析请求体数据 编写接口 ​​​​​​​

希尔排序(C语言)

希尔排序 一、希尔排序的原理二、动图演示三、代码实现四、实现从小到大排序五、希尔排序的优缺点 一、希尔排序的原理 希尔排序是插入排序的一种更高效的改进版本。 1.将原始待排数据按照设定的增量gap分成多组,每组有n / gap个元素。 2.对这些分组进行插入排序&a…

单表-DQL

注意:这张图还包含了对于的顺序,先分组再排序,再分页,顺序不能乱 基本查询 # 1.基本查询 # 查询全部行 select * from tb_emp; select id, user_name, password, name, gender, image, job, entry_date, create_time, update_ti…

yarn与npm的区别(yarn的安装报错问题)

一、yarn 是什么,yarn 与 npm 的区别是什么? yarn 是一个软件包管理系统,Yarn 和 npm 都是包管理工具,用于管理用 JavaScript 编写的软件包,yarn的出现是为了弥补 npm的一些缺陷。yarn 与 npm 的区别 : 性能…