目录
- Setup 1: 创建文件
- Setup 2: 安装依赖
- Setup 3: 导入需要的包
- Setup 4: 遍历所有场景模式和特效模式
- Setup 5: 创建pipeline
- Setup 6: 创建节点
- Setup 7: 连接设备并启动管道
- Setup 8: 创建与DepthAI设备通信的输入队列和输出队列
- Setup 9: 定义putText函数
- Setup 10: 主循环
- 获取视频帧
- 等待用户按键输入
- Setup 11:运行程序
Setup 1: 创建文件
- 创建新建3-rgb-scene文件夹
- 用vscode打开该文件夹
- 新建一个main.py 文件
Setup 2: 安装依赖
安装依赖前需要先创建和激活虚拟环境,我这里已经创建了虚拟环境OAKenv,在终端中输入cd…退回到OAKenv的根目录,输入 OAKenv\Scripts\activate
激活虚拟环境
安装pip依赖项:
pip install numpy opencv-python depthai blobconverter --user
Setup 3: 导入需要的包
在main.py中导入项目需要的包
import cv2
import depthai as dai
from itertools import cycle
Setup 4: 遍历所有场景模式和特效模式
scenes = cycle([item for name,item in vars(dai.RawCameraControl.SceneMode).items() if name !="UNSUPPORTED" and name.isupper()])
effects = cycle([item for name,item in vars(dai.RawCameraControl.EffectMode).items() if name.isupper()])
curr_scene = "OFF"
curr_effect = "OFF"
这段代码创建了两个无限循环的迭代器scenes
和effects
,用于循环遍历dai.RawCameraControl.SceneMode
和dai.RawCameraControl.EffectMode
中的所有场景模式和特效模式。
scenes
迭代器通过从dai.RawCameraControl.SceneMode
中选择大写名称的项,并排除UNSUPPORTED
和非大写字母的项来创建。这样可以获取到所有合法的场景模式。
effects
迭代器通过从dai.RawCameraControl.EffectMode
中选择大写名称的项来创建,也排除了非大写字母的项。
curr_scene
和curr_effect
是当前选择的场景和特效模式,默认为"OFF"。
这段代码的作用是创建了用于循环遍历场景模式和特效模式的迭代器,并初始化当前选择的场景和特效模式为"OFF"。
Setup 5: 创建pipeline
pipeline = dai.Pipeline()
Setup 6: 创建节点
camRgb = pipeline.create(dai.node.ColorCamera)
camRgb.setIspScale(1,3)
xoutRgb = pipeline.create(dai.node.XLinkOut)
xoutRgb.setStreamName("video")
camRgb.video.link(xoutRgb.input)
camRgb.setIspScale(1,3)
将ISP(图像信号处理)的缩放比例设置为1:3。这意味着从摄像头读取到的图像将会在宽度上保持原始大小,而高度会缩小为原来的1/3。
创建了一个xoutRgb
节点,并设置了该节点对应的输出流名称为"video"。xoutRgb
节点将会作为管道的输出节点,用于将视频流传输到其他设备或模块。
通过camRgb.video.link(xoutRgb.input)
将颜色摄像头节点的视频输出链接到xoutRgb
节点的输入。这样就建立了颜色摄像头节点到xoutRgb节点的数据流连接。
camControlIn = pipeline.create(dai.node.XLinkIn)
camControlIn.setStreamName("camControl")
camControlIn.out.link(camRgb.inputControl)
创建一个camControlIn
节点,它代表了XLinkIn节点,用于接收来自其他设备或模块的相机控制指令。
使用camControlIn.setStreamName("camControl")
设置了它的流名称为"camControl"。
通过camControlIn.out.link(camRgb.inputControl)
将camControlIn
节点的输出连接到camRgb
节点的输入控制引脚(inputControl
)上。这样,通过XLinkIn节点可以接收来自其他设备或模块的相机控制指令,并将其传递给颜色摄像头节点。
Setup 7: 连接设备并启动管道
with dai.Device(pipeline) as device:
Setup 8: 创建与DepthAI设备通信的输入队列和输出队列
videoQ = device.getOutputQueue(name="video", maxSize=4, blocking=False)
ctrlQ = device.getInputQueue(name="camControl")
创建了两个队列对象:videoQ
和ctrlQ
。这些队列用于在设备上接收和发送数据。
videoQ
是一个输出队列,通过调用device.getOutputQueue(name="video", maxSize=4, blocking=False)
来创建。它将从设备上的"video"流接收数据,并最多存储4个数据帧。blocking=False
表示在队列为空时,从队列获取数据时不会阻塞。
ctrlQ
是一个输入队列,通过调用device.getInputQueue(name="camControl")
来创建。它用于发送相机控制指令到设备上的相机控制节点。这里的"name"参数与之前设置的相机控制流名称"camControl"对应。
Setup 9: 定义putText函数
def putText(frame, text, coords):
cv2.putText(frame, text, coords, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 0), 4)
cv2.putText(frame, text, coords, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1)
定义了一个putText
函数,它将在图像帧上绘制文本。
函数接受三个参数:
frame
:要绘制文本的图像帧。text
:要绘制的文本内容。coords
:文本的起始坐标。
在函数内部,使用cv2.putText
函数两次进行文本绘制:
- 第一次调用用于绘制黑色的文本,具有较大的轮廓(thickness=4),用于创建阴影效果。使用
cv2.FONT_HERSHEY_SIMPLEX
指定字体,0.5指定字体比例因子,(0, 0, 0)指定文本颜色(黑色)以及thickness=4指定较大的轮廓宽度。 - 第二次调用用于绘制白色的文本,具有较小的轮廓(thickness=1),用于绘制文本内容。使用相同的参数,但将文本颜色设置为(255, 255, 255)(白色)以及thickness=1指定较小的轮廓宽度。
这样,函数将在图像帧的指定坐标上绘制带有阴影效果的文本。
Setup 10: 主循环
while True:
获取视频帧
videoIn = videoQ.tryGet()
if videoIn is not None:
frame = videoIn.getCvFrame()
putText(frame, f"[E] Effect: {curr_effect}", (10, 20))
putText(frame, f"[S] Scene: {curr_scene}", (10, 40))
cv2.imshow("video", frame)
这段代码从输出队列videoQ
中获取一个视频帧。
首先,使用videoQ.tryGet()
方法尝试获取一个视频帧。如果成功获取到视频帧,则将其赋值给videoIn
变量。
然后,使用getCvFrame()
方法从视频帧对象videoIn
中获取OpenCV格式的图像帧,并将其赋值给frame
变量。
接下来,使用putText()
函数在图像帧上绘制文本。其中,使用f-string
将当前特效(curr_effect
)和场景(curr_scene
)的值转换为字符串,并绘制在图像上。
最后,使用cv2.imshow("video", frame)
显示图像帧,窗口标题为"video"。
这段代码的作用是从输出队列中获取视频帧,并在图像帧上绘制当前特效和场景的文本,最后在窗口中显示图像。
f-string
是Python中格式化字符串的一种方式。它允许在字符串中插入变量或表达式的值。
一个f-string
的格式为:在字符串前加上字母"f",然后用花括号{}
括起需要插入的变量或表达式。
例如,f"[E] Effect: {curr_effect}"
中的花括号内的curr_effect
表示要插入的变量,而整个字符串中的"[E] Effect: "是固定的文本部分。
当这个f-string
被执行时,curr_effect
的值会被插入到相应位置来替代花括号内的部分。
这样可以方便地将变量的值插入到字符串中,以构建带有动态内容的文本。在给图像帧添加文本时,可以使用f-string
将变量的值插入到文本中来实现动态文本。
等待用户按键输入
key = cv2.waitKey(1)
if key == ord('e') or key == ord('E'):
effect = next(effects)
print("Switching colorCamera effect:", str(effect))
curr_effect = str(effect).lstrip("EffectMode.")
cfg = dai.CameraControl()
cfg.setEffectMode(effect)
ctrlQ.send(cfg)
# Scene currently doesn't work
elif key == ord('s') or key == ord('S'):
scene = next(scenes)
print("Currently doesn't work! Switching colorCamera Scene:", str(scene))
curr_scene = str(scene).lstrip("SceneMode.")
cfg = dai.CameraControl()
cfg.setSceneMode(scene)
ctrlQ.send(cfg)
elif key == ord('q'):
break
这段代码中,cv2.waitKey(1)
用于等待用户按键输入,并返回按下键的ASCII码。
使用if
语句判断用户按下的键。如果按下键是字母 ‘e’ 或 ‘E’,则执行以下代码块:
- 调用
next(effects)
从effects
迭代器中获取下一个特效。 - 打印信息以指示切换特效,并将特效转换为字符串并去除前缀"EffectMode."。
- 创建一个
dai.CameraControl()
对象,并使用setEffectMode()
方法设置特效模式为获取到的特效。 - 将配置对象
cfg
通过控制队列ctrlQ
发送出去。
如果按下的键是字母 ‘s’ 或 ‘S’,则执行以下代码块:
- 调用
next(scenes)
从scenes
迭代器中获取下一个场景。 - 打印信息以指示切换场景,并将场景转换为字符串并去除前缀"SceneMode."。
- 创建一个
dai.CameraControl()
对象,并使用setSceneMode()
方法设置场景模式为获取到的场景。 - 将配置对象
cfg
通过控制队列ctrlQ
发送出去。
如果按下的键是字母 ‘q’,则跳出循环,结束程序的运行。
这段代码的作用是根据用户按键的不同来切换特效、场景,或者结束程序的运行。
Setup 11:运行程序
在终端中输入如下指令运行程序
python main.py
效果如下