这段代码实现了两种不同的图像处理和物体检测方法:一种是基于Canny边缘检测与轮廓分析的方法,另一种是使用TensorFlow加载预训练SSD(Single Shot Multibox Detector)模型进行物体检测。
1. Canny边缘检测与轮廓分析:
首先,通过OpenCV进行图像处理,找到矩形物体并进行绘制:
image = cv2.imread('U:/1.png')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 高斯模糊
blurred = cv2.GaussianBlur(gray, (5, 5), 0)
# Canny边缘检测
edges = cv2.Canny(blurred, 50, 150)
# 查找轮廓
contours, _ = cv2.findContours(edges, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
for contour in contours:
# 逼近多边形
epsilon = 0.04 * cv2.arcLength(contour, True)
approx = cv2.approxPolyDP(contour, epsilon, True)
# 如果轮廓有4个点且是矩形
if len(approx) == 4:
# 计算矩形的长宽比
x, y, w, h = cv2.boundingRect(approx)
aspect_ratio = float(w) / h
if 0.8 < aspect_ratio < 1.2: # 如果长宽比接近1,表示是矩形
# 绘制矩形
cv2.drawContours(image, [approx], -1, (0, 255, 0), 2)
# 显示结果
cv2.imshow("Detected Rectangles", image)
cv2.waitKey(0)
cv2.destroyAllWindows()
- 步骤:
- 灰度化:通过
cv2.cvtColor()
将图像转换为灰度图。 - 高斯模糊:使用
cv2.GaussianBlur()
进行模糊处理,减少噪声。 - Canny边缘检测:通过
cv2.Canny()
检测图像中的边缘。 - 查找轮廓:使用
cv2.findContours()
获取图像的外部轮廓。 - 轮廓逼近:通过
cv2.approxPolyDP()
简化轮廓形状,逼近为多边形。 - 筛选矩形:通过检测轮廓点数为4的多边形,计算长宽比并判断其是否接近正方形(长宽比介于0.8和1.2之间)。
- 绘制矩形:如果符合条件,使用
cv2.drawContours()
绘制绿色矩形框。
- 灰度化:通过
2. SSD模型物体检测:
接下来,使用TensorFlow加载预训练的SSD模型,并在图像上进行物体检测,最后绘制检测框:
# 加载预训练的SSD模型
model = tf.saved_model.load('ssd_mobilenet_v2_coco/saved_model')
# 读取图片
img = cv2.imread('image_path')
img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
input_tensor = tf.convert_to_tensor(img_rgb)
input_tensor = input_tensor[tf.newaxis, ...] # 扩展维度
# 执行推理
model_fn = model.signatures['serving_default']
output_dict = model_fn(input_tensor)
# 获取检测结果
boxes = output_dict['detection_boxes'].numpy()[0] # 边界框
scores = output_dict['detection_scores'].numpy()[0] # 置信度
classes = output_dict['detection_classes'].numpy()[0] # 标签
# 筛选出矩形
threshold = 0.5
for i in range(len(scores)):
if scores[i] > threshold:
y1, x1, y2, x2 = boxes[i]
x1, y1, x2, y2 = int(x1 * img.shape[1]), int(y1 * img.shape[0]), int(x2 * img.shape[1]), int(y2 * img.shape[0])
cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2)
# 显示图像
img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
plt.imshow(img_rgb)
plt.axis('off')
plt.show()
- 步骤:
- 加载SSD模型:通过
tf.saved_model.load()
加载一个预训练的SSD模型(ssd_mobilenet_v2_coco
)。 - 读取图像:使用
cv2.imread()
加载图像,并将其转换为RGB格式。 - 图像处理:将图像转换为TensorFlow的张量格式,并扩展为批处理维度。
- 推理过程:通过模型的
signatures['serving_default']
执行推理,获得检测的边界框、置信度和标签。 - 筛选结果:根据置信度(
scores
)大于设定的阈值(0.5)进行筛选。 - 绘制边界框:使用
cv2.rectangle()
绘制绿色矩形框,将检测到的物体框出。 - 显示图像:使用
matplotlib.pyplot
显示处理后的图像。
- 加载SSD模型:通过
总结:
- Canny边缘检测与轮廓分析:通过对图像边缘进行检测,使用轮廓分析找出矩形,并通过长宽比进一步筛选目标。
- SSD物体检测:利用TensorFlow预训练的SSD模型进行物体检测,并在图像中绘制检测到的物体框。
这两种方法可以结合使用,在某些应用中,如检测特定形状(矩形)和使用深度学习检测物体时,互为补充。