本文介绍如何利用python控制办公摄像头、工业相机和科研相机。将数据采集和处理统一到python代码中。
主要围绕解决采用什么库、掌握这个库的控制相机方法(参数配置、读取数据等等)、结合自己的算法进行处理、保存显示结果。
基本流程：导入相关的库 -> 读取图片的方法 -> 处理数据 -> 结果保存、显示等等。
目录
- 1. python控制办公摄像头
- 2. python控制工业相机的例子
- 2.1 环境配置
- 2.2 控制pointgray相机
- 3. python控制科研相机
- 4. 实时监测系统的实现
预备内容：
● 掌握python语言以及安装加载包的方法（cv2）
● pointgray官网SDK及Python库：https://meta.box.lenovo.com/v/link/view/a1995795ffba47dbbe45771477319cc3
● PCO相机介绍python控制方法：https://www.pco.cn/software/third-party-software/python/
1. python控制办公摄像头
使用cv2库可以直接控制家用摄像头(usb连接主机后，可以直接用电脑自带相机软件打开)，读取的图像是numpy数组。具体实现方法如下：
# 实时在线测试家用摄像头
# 流程：读取图像 -> 预处理 -> 实时显示
import cv2
import time
import numpy as np
# 初始化
cv2.destroyAllWindows(), time.sleep(0.003) # 清空cv2显示的窗口
# gap = (np.ones([448, 20], dtype=np.float32)*65535).astype(np.uint16)
cap = cv2.VideoCapture(0) # 指定相机
one = np.ones([480, 640, 3], dtype=np.uint8)*255 # 本demo的需求，用于计算1-img的结果，实现图像色彩负片
while True:
start = time.time() # 记录开始时间
# 读取图像
ret, frame = cap.read() # 读取为numpy数组
# 预处理
frame_1 = one - frame
# 显示图像
cv2.imshow('frame', np.concatenate([frame, frame_1], axis=1)) # 并排显示原图和处理后的图像
if cv2.waitKey(1) == 27: # 按下ESC键退出
break
# 打印帧率
print('帧率：{:.4f} fps'.format(1.0/(time.time()-start)))
# 释放资源
cap.release()
cv2.destroyAllWindows()
运行结果：
图1 家用相机的python控制运行结果
2. python控制工业相机的例子
这一节以工业相机pointgray为例，介绍python如何控制pointgray相机。
控制工业相机笔者测试了很多办法(cv2.VideoCapture(0)，pyflycap2，PyCapture2)，很多方法都不行，最后成功运行的是用官网提供的相关资料，pointgray官网SDK及Python库：https://meta.box.lenovo.com/v/link/view/a1995795ffba47dbbe45771477319cc3，下面下载的压缩包中有readme文件，它也详细讲述了安装步骤。
2.1 环境配置
装包流程：下载应用程序和python库 -> 进行安装 -> 运行demo程序 -> 进行自己的开发。
1）从官网中下载对应的SpinnakerSDK应用程序(笔者是64位电脑，就安装了x64的包)，下载完之后进行安装(默认形式安装即可)，装完之后打开应用程序，应用程序在安装路径的bin文件夹下，如何可以用软件打开相机，说明连接上没有问题，准备下一步；
软件成功打开相机，并能够控制相机；
2)下载python版本的压缩包，如下图，进入到python文件夹中，下载对应电脑系统和python版本的压缩包；
3）随便解压到一个文件夹，打开文件夹，复制.whl文件到cmd的默认路径(一般是C:\user\xxx)，使用pip install xxx.whl进行安装。
安装完之后，可以在命令行中输入pip list来检查pyspin包是否安装好了：
安装成功之后就可以使用这个库对相机进行控制了。
2.2 控制pointgray相机
因为安装好的库是小写的，官网给的代码示例都是大写的，直接导入PySpin会出错，因此这里需要到入库名称为pyspin。
# 使用PySpin控制pointgray相机
import cv2
import numpy as np
import pyspin as PySpin
# 初始化
system = PySpin.System.GetInstance() # 创建系统对象
cam_list = system.GetCameras() # 获取相机列表
cam = cam_list.GetByIndex(0) # 选择要使用的相机
cam.Init()
cam.AcquisitionMode.SetValue(PySpin.AcquisitionMode_Continuous) # 采集模式为连续采集
cam.BeginAcquisition() # 开始采集
# 循环
while True:
# 读取图像
image_result = cam.GetNextImage(1000)
img = image_result.GetNDArray() # 转为numpy数组
# 显示图像
n, m = (int(img.shape[0]/3), int(img.shape[1]/3)) # 缩小尺寸
img_resize = cv2.resize(img, (m, n)) # 缩小后的图像
cv2.imshow('frame', np.concatenate([img_resize, 255-img_resize], axis=1)) # 并排显示原图和处理后的图像
# 按下 'q' 键退出循环
if cv2.waitKey(1) == ord('q'):
break
# 停止采集
cam.EndAcquisition()
# 关闭相机
cam.DeInit()
# 释放系统资源
del cam
del cam_list
system.ReleaseInstance()
cv2.destroyAllWindows()
结果：
3. python控制科研相机
以PCO相机为例，1) 使用pip install pco安装控制PCO相机所需要的库；2）使用库初始化相机参数和读取数据；3）进行后续自己的数据处理；
PCO官网提供的说明文档也有非常具体的操作指南，读者可以下载下来进一步学习。
PCO相机介绍python控制方法：https://www.pco.cn/software/third-party-software/python/
import cv2
import pco
# 清空cv2显示的窗口
cv2.destroyAllWindows(), time.sleep(0.003)
# 初始化相机
cam = pco.Camera() # 指定相机
exp_time = 0.01
cam.set_exposure_time(exp_time)
cam.record(4, mode='ring buffer') # 启动相机
cam.wait_for_first_image()
while True:
img, meta = cam.image(image_number=0xFFFFFFFF) # 读取为numpy数组
# 执行数据处理
# xxx
# 显示图像
cv2.imshow('frame', img) # 并排显示原图和处理后的图像
# 按下 'q' 键退出循环
if cv2.waitKey(1) == ord('q'):
break
# 释放资源
cv2.waitKey(-1)
cam.close()
cv2.destroyAllWindows()
如图是笔者实时运行一个去散射的结果：
如果有自动调节曝光时间的需求，可以在上面循环语句中的xxx位置放置下面这段代码：
if np.max(img[543:1438:2, 560:1455:2]) == 65535: # 过曝了，缩小曝光时间
exp_time = exp_time*55000/65535
cam.set_exposure_time(exp_time)
print('exp_time: ', exp_time)
elif np.max(img[543:1438:2, 560:1455:2]) > 50000: # 最大像素值>50000, 无需调节
pass
else: # 最大像素值<50000, 增加曝光时间
exp_time = exp_time*55000/np.max(img[543:1438:2, 560:1455:2])
cam.set_exposure_time(exp_time)
print('exp_time: ', exp_time)
自适应曝光的实现过程：利用图像的最大值分布在50000~65535之间的约束来调节曝光时间，首先计算采集图像的最大值I_max，执行判断：1）如果最大值等于65535(说明过曝)，增益系数α=55000/65535，用exp_time = αexp_time来缩小曝光时间；2）如果最大值大于50000，略过；3）如果最大值小于50000，增益系数α=55000/I_max，用exp_time = αexp_time来增大曝光时间。说明：考虑到不同帧之间最大值会波动，所以用55000这个中间值来计算增益α，这样即使有波动，只要最大值大于50000，我们就不用更新曝光时间，从而在程序上只执行一行判断语句，对整体运行效率几乎没有影响。
4. 实时监测系统的实现
采集完图片和处理之后，只要外部增加一个循环语句，就可以实现实时监测，实时看到自己算法的效果。
while True:
img = cam.capture() # 这行命名是示例，要根据具体的读取命令进行编写
cv2.imshow('windows', img)
# 按下 'q' 键退出循环
if cv2.waitKey(1) == ord('q'):
break
其他相关资料:
● matlab控制pointgray工业相机：https://www.flir.cn/support-center/iis/machine-vision/application-note/getting-started-with-matlab/
● matlab控制pco相机：https://blog.csdn.net/qq_34917728/article/details/121527862
