最近在做图像标注，会出现以下的图片，需要去除其中的边框。
1.思路
- 人工标注画框的范围P，并使用标注工具在画框上画一个点A。
- 获取点A的坐标和颜色。在范围P内，将与点A颜色相似的每一个点x的颜色，替换为点x上下（或左右）范围内若干个点的平均颜色。但是对于边缘部分，可能存在如下图所示的问题：
- 对边框的边缘部分Q进行额外处理。边框的颜色可能与点A的颜色有较大差异，因此需要利用其他方法进行处理。我使用异常值检测算法，因为Q中未在步骤2去除的一些残留点，与原始图片会存在较大差异，结合频度信息可以筛选出这些点，并得到以下的效果：
2.代码实现
- 导包和必要的参数、模型：
from PIL import Image
import numpy as np
from sklearn.ensemble import IsolationForest
from collections import Counter
# 判断rgb相似度用，可以小一些
threhold=15
threhold_border=15
# 采样半径，可以设的小一些，可以根据边框的粗细来设定
redius=20
redius_border=20
# 对边框进行处理需要调整的参数
step_add=37
step_max=2000
step=0
all_outliers=[]
top_outlier_num=10
# 创建Isolation Forest模型
model = IsolationForest(contamination=0.05) # 设置异常点的比例
- 辅助函数
#判断颜色是否相似
def my_similar(a,b):
if sum([abs(x-y) for (x,y) in zip(list(a),list(b))])/3<threhold:
return True
return False
# 判断颜色是否相似
def my_similar_border(a,b_s):
for b in b_s:
if sum([abs(x-y) for (x,y) in zip(list(a),list(b)[0])])/3<threhold_border:
return True
return False
# 获取异常值，用于处理边框的边缘Q
def get_outlier(tmp,model):
normal_point=[]
unnormal_point=[]
# 将数据传递给模型进行训练
model.fit(tmp)
# 获取每个数据点的预测标签，-1 表示异常点，1 表示正常点
labels = model.predict(tmp)
# 打印每个数据点的标签
for i, label in enumerate(labels):
if label == -1:
unnormal_point.append(tmp[i])
if label==1:
normal_point.append(tmp[i])
return normal_point,unnormal_point
# 在水平或处置方向上获取邻居节点，以便进行颜色替换
def get_right_neighborhood(target_color,neighborhood_x,neighborhood_y):
diff_x=0
diff_y=0
for neighborhood in neighborhood_x:
diff_x+=abs(sum([x-y for x,y in zip(list(neighborhood),list(target_color))])/3)
for neighborhood in neighborhood_y:
diff_y+=abs(sum([x-y for x,y in zip(list(neighborhood),list(target_color))])/3)
if diff_x>diff_y:
return neighborhood_x,1
return neighborhood_y,2
- 主函数和必要的准备数据
########################################################################################
############################开始对区域P和点A进行人工指定################################
################################对应“思路”第1部分#####################################
########################################################################################
# 利用手动或利用labelimg等标注工具，
# 确定“思路”第1部分中的区域“P”
#人工框选画框的大致位置，需要包裹住画框
x_1=1427
y_1=723
x_2=2061
y_2=1363
# 利用手动或利用labelimg等标注工具，
# 确定“思路”第1部分中的点“A”
x = 1495 # 目标像素点的 x 坐标
y = 1294 # 目标像素点的 y 坐标
# 主要函数
def replace_color_around_point(image_path, x, y, radius=redius):
# 采样步数
step=0
# 打开图像
image = Image.open(image_path)
pixels = image.load()
# 获取图像的宽度和高度
width, height = image.size
########################################################################################
############################开始对边框的内部节点进行处理################################
################################对应“思路”第2部分#####################################
########################################################################################
# 获取目标像素点的颜色
target_color = pixels[x, y]
# 循环遍历图像中的每个像素点
for i in range(x_1,x_2):
for j in range(y_1,y_2):
# 如果像素颜色与目标颜色相同，则替换为周围区域颜色的平均值
if my_similar(pixels[i, j],target_color):
# 计算周围水平和垂直区域的颜色平均值
neighborhood_x = []
neighborhood_y=[]
for m in range(i - redius, i + radius + 1):
if 0 <= m < width:
neighborhood_x.append(pixels[m, j])
for n in range(j - redius, j + radius + 1):
if 0 <= n < height:
neighborhood_y.append(pixels[i, n])
neighborhood,direction=get_right_neighborhood(target_color,neighborhood_x,neighborhood_y)
neighborhood=[n for n in neighborhood if not my_similar(n,target_color)]
neighborhood = np.array(neighborhood)
average_color=tuple(np.mean(neighborhood, axis=0, dtype=int))
average_color_part_1 = tuple(np.mean(neighborhood[0:int(len(neighborhood)/2)], axis=0, dtype=int))
average_color_part_2 = tuple(np.mean(neighborhood[int(len(neighborhood)/2)+1:], axis=0, dtype=int))
# 替换像素颜色
pixels[i, j] = average_color
# 如果是水平方向
if direction==1:
for m in range(i - int(redius_border/3), i):
if 0 <= m < width:
pixels[m,j]=average_color_part_1
for m in range(i, i + int(redius_border/3) + 1):
if 0 <= m < width:
pixels[m,j]=average_color_part_2
# 如果是垂直方向
if direction==2:
for n in range(j - int(redius_border/3), j):
if 0 <= n < height:
pixels[i,n]=average_color_part_1
for n in range(j ,j + int(redius_border/3) + 1):
if 0 <= n < height:
pixels[i,n]=average_color_part_2
step+=1
if step%step_add==0 and step<step_max:
normal_point,unnormal_point=get_outlier(neighborhood,model)
unnormal_point=[tuple(x) for x in unnormal_point]
all_outliers.extend(unnormal_point)
########################################################################################
############################开始对边框的边缘节点进行处理################################
################################对应“思路”第2部分#####################################
########################################################################################
# 使用Counter来统计三元组的出现次数
all_outlier_counts = Counter(all_outliers)
# 获取出现次数最多的十个三元组，用来去边框
top_outliers = all_outlier_counts.most_common(top_outlier_num)
# 循环遍历图像中的每个像素点
for i in range(x_1,x_2):
for j in range(y_1,y_2):
# 如果该点和异常点中的颜色相似，就进行替换
if my_similar_border(pixels[i, j] ,top_outliers):
# 计算周围水平和垂直区域的颜色平均值
neighborhood_x = []
neighborhood_y=[]
for m in range(i - int(radius/3), i + int(radius/3) + 1):
if 0 <= m < width:
neighborhood_x.append(pixels[m, j])
for n in range(j - int(radius/3), j + int(radius/3) + 1):
if 0 <= n < height:
neighborhood_y.append(pixels[i, n])
neighborhood,direction=get_right_neighborhood(target_color,neighborhood_x,neighborhood_y)
neighborhood=[n for n in neighborhood if not n in top_outliers]
neighborhood = np.array(neighborhood)
average_color=tuple(np.mean(neighborhood, axis=0, dtype=int))
# 替换像素颜色
pixels[i, j] = average_color
# 保存修改后的图像
image.save(r"../data/bbb.jpg")
- 调用
image_path = r"../data/aaa.jpg" # 替换为您的输入图像路径
replace_color_around_point(image_path, x, y)
3.存在的问题
- 在进行颜色替换时，仅仅使用了平均值（代码中的average_color相关内容），也许可以使用其他线性插值算法。
- 需要对参数进行精心调节，否则可能导致框内的图像会出现以下的“毛刺现象”，且无法把“框”完全去除：
将threhold参数调小后，毛刺消失。也可以对其他参数进行调节。
