Opencv基本操作

导入并使用opencv进行图像与视频的基本处理 opencv读取的格式是BGR

import cv2 #opencv读取的格式是BGR
import numpy
import matplotlib.pyplot as plt
%matplotlib  inline

图像读取

通过cv2.imread()来加载指定位置的图像信息。

img = cv2.imread('./res/car.png')
img

从而得到三通道位置的彩色图像

读入图像的shape img.shape来进行查看

其中：cv2.IMREAD_COLOR：彩色图像 cv2.IMREAD_GRAYSCALE：灰度图像

图像的读取，彩色图像与灰度图像的转换

#图像的显示,也可以创建多个窗口
cv2.imshow('image',img) 
# 等待时间，毫秒级，0表示任意键终止
cv2.waitKey(0)
cv2.destroyAllWindows()

将代码块定义为函数的形式方便之后图片文件的读取：

# name:图片名称  img 图片路径
def showimg(name,img):
    cv2.imshow(name,img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

showimg('image',img)

从而将图片在窗口中进行读取操作

将彩色的图像转换为灰度图像并进行读取

img=cv2.imread('./res/car.png',cv2.IMREAD_GRAYSCALE)
img
showimg('car',img)

img.shape
img.size
type(img)

图像的保存操作

保存
cv2.imwrite(‘./mycar.png’,img)

视频操作

对于视频的处理我们可以理解为多个动态图像的处理，对于视频的每一帧我们当作是一个图像来进行处理。

cv2.VideoCapture：可以捕获摄像头，用数字来控制不同的设备，例如0,1。
如果是视频文件，直接指定好路径即可。

首先读取一帧的彩色图片通过.read()来读取下一帧的图像。通过循环操作即可以达到视频读取的效果。、

vc = cv2.VideoCapture('./res/test.mp4')
# 检查是否打开正确
if vc.isOpened(): 
    oepn, frame = vc.read()
else:
    open = False
showimg("frame",frame)

视频转换为灰度视频并进行读取操作。

while open:
    ret, frame = vc.read()
    if frame is None:
        break
    if ret == True:
        gray = cv2.cvtColor(frame,  cv2.COLOR_BGR2GRAY)
        cv2.imshow('result', gray)
        if cv2.waitKey(100) & 0xFF == 27: #27代表的是退出键
            break
vc.release()
cv2.destroyAllWindows()

类比之下可以写出读取彩色的图像并进行动态的显示

while oepn:
    result,frame = vc.read()
    if frame is None:
        break
    if result == True:
        cv2.imshow('video',frame)
        if cv2.waitKey(50) & 0xFF == 27: #27代表的是退出键
            break
vc.release()
cv2.destroyAllWindows()

图像简单处理

对于图像的基本处理包括了

• 截取部分图像数据
• 颜色通道提取
• 图像的填充

这几个图像的基本操作，可以类比于pytorch的图像增强的相关的操作

截取部分图像数据

对于之前的car图片确定其大小为550 x 949的三通道彩色图片。

将其裁剪（50，100）边沿区域裁剪，也可以在指定的位置来进行裁剪操作

car=img[100:200,300:400] 
showimg('car',car)

颜色通道提取

通过 b,g,r=cv2.split(img) 对彩色图片的三个颜色通道来进行提取操作。

b,g,r=cv2.split(img)

# 只保留B
cur_img = img.copy()
cur_img[:,:,1] = 0
cur_img[:,:,2] = 0
cv_show('B',cur_img)

# 只保留R
cur_img = img.copy()
cur_img[:,:,0] = 0
cur_img[:,:,1] = 0
cv_show('R',cur_img)

# 只保留G
cur_img = img.copy()
cur_img[:,:,0] = 0
cur_img[:,:,2] = 0
cv_show('G',cur_img)

即可以得到单通道的彩色图片。

边界填充

• BORDER_REPLICATE：复制法，也就是复制最边缘像素。
• BORDER_REFLECT：反射法，对感兴趣的图像中的像素在两边进行复制例如：fedcba|abcdefgh|hgfedcb
• BORDER_REFLECT_101：反射法，也就是以最边缘像素为轴，对称，gfedcb|abcdefgh|gfedcba
• BORDER_WRAP：外包装法cdefgh|abcdefgh|abcdefg
• BORDER_CONSTANT：常量法，常数值填充。

top_size,bottom_size,left_size,right_size = (50,50,50,50)

replicate = cv2.copyMakeBorder(img, top_size, bottom_size, left_size, right_size, borderType=cv2.BORDER_REPLICATE)
reflect = cv2.copyMakeBorder(img, top_size, bottom_size, left_size, right_size,cv2.BORDER_REFLECT)
reflect101 = cv2.copyMakeBorder(img, top_size, bottom_size, left_size, right_size, cv2.BORDER_REFLECT_101)
wrap = cv2.copyMakeBorder(img, top_size, bottom_size, left_size, right_size, cv2.BORDER_WRAP)
constant = cv2.copyMakeBorder(img, top_size, bottom_size, left_size, right_size,cv2.BORDER_CONSTANT, value=0)

plt.subplot(231), plt.imshow(img, 'gray'), plt.title('ORIGINAL')
plt.subplot(232), plt.imshow(replicate, 'gray'), plt.title('REPLICATE')
plt.subplot(233), plt.imshow(reflect, 'gray'), plt.title('REFLECT')
plt.subplot(234), plt.imshow(reflect101, 'gray'), plt.title('REFLECT_101')
plt.subplot(235), plt.imshow(wrap, 'gray'), plt.title('WRAP')
plt.subplot(236), plt.imshow(constant, 'gray'), plt.title('CONSTANT')

plt.show()

数值计算与图像融合

opencv中图像的格式使用的是numpy的结构（非tensor结构）实际上和numpy一样可以继续数值上的运算

读取另外的一张图片来进行测试。

img_cat = cv2.imread('./res/cat.jpg')
#%%
img
#%%
img.shape
#%%
img+10 # 每个元素之间来进行计算

两个图片在大小格式相同的情况下进行数值相加的计算时，超过255的部分需要执行%256的操作步骤。

#相当于% 256
(img_cat + img_cat)[:5,:,0] 

# 超过的部分之间按照255来进行计算
cv2.add(img_cat,img_cat)[:5,:,0]

图像融合：首先进行裁剪保证图片的尺寸相同，之后调用相应的方法进行图像融合的操作。

若之间相加进行融合则会报错。(尺寸不同)

ValueError Traceback (most recent call last)
Cell In[34], line 1
----> 1 img_cat + img_dog
ValueError: operands could not be broadcast together with shapes (414,500,3) (429,499,3)

将两张图片的大小改为相同，在执行融合的操作

img_cat.shape

img_dog = cv2.resize(img_dog, (500, 414))
img_dog.shape

设置对应的权重值进行融合操作

res = cv2.addWeighted(img_cat, 0.4, img_dog, 0.6, 0)
showimg("res",res)
#%%
plt.imshow(res)

从而得到相应的图片融合效果

从而完成了图像融合的相关操作。