Opencv实验合集——实验四：图片融合

1.概念

图像融合是将两个或多个图像结合在一起，创建一个新的图像的过程。这个过程的目标通常是通过合并图像的信息来获得比单个图像更全面、更有信息量的结果。图像融合可以在许多领域中应用，包括计算机视觉、遥感、医学图像处理等。

融合的方法有很多：

加法融合（Additive Fusion）： 将每个图像的对应像素相加。这种方法通常用于合并具有相似亮度的图像，例如红外图像和可见光图像。
权重融合（Weighted Fusion）： 对每个图像分配一个权重，然后通过加权和的方式将它们结合在一起。权重可以根据图像的特性动态调整，以获得最佳效果。
最大值融合（Max Fusion）： 对于每个像素，选择输入图像中具有最大值的像素。这种方法通常用于图像分割和目标检测。
最小值融合（Min Fusion）： 对于每个像素，选择输入图像中具有最小值的像素。这种方法通常用于处理深度信息。
平均融合（Average Fusion）： 将每个图像的对应像素取平均值。这种方法可用于平滑噪声或减小图像中的不确定性。
梯度域融合（Gradient Domain Fusion）： 考虑图像的梯度信息，以确保融合的图像在边缘处更加平滑。这在图像合成时常用，例如在图像编辑中。
无缝克隆（Seamless Cloning）： 将源图像的一部分融合到目标图像中，使得融合边缘平滑且无缝。这通常涉及到掩码的使用，以确定源图像的哪些区域应该被融合。

本次实验主要进行无缝克隆融合

2.有关的函数方法

cv2.seamlessClone(src, dst, mask, center, flags)

src：源图像，即希望融合到目标图像上的图像。
dst：目标图像，即希望将源图像融合到的图像。
mask：掩码图像，指定了源图像中哪些区域应该被融合。掩码图像必须是单通道的、与源图像尺寸相同的灰度图像。通常，白色区域表示要融合的部分，黑色区域表示不融合的部分。
center：一个二元组 (x, y)，表示源图像在目标图像中的放置位置。
flags：一个标志参数，控制克隆的方式。

flags主要分为三种克隆方式：

1.cv2.NORMAL_CLONE：

这种克隆方式表示进行常规的图像克隆，即将源图像的一部分融合到目标图像上，使得融合边缘平滑且无缝。在这种克隆方式下，函数会尽可能地保持源图像和目标图像之间的一致性，以使得融合后的图像看起来更加自然。该方法对于一般的图像融合任务通常是合适的选择。

2.cv2.MIXED_CLONE

混合克隆在处理具有半透明区域的图像时效果更好，因为它考虑了源图像的透明度信息。在混合克隆中，源图像的每个像素都以一种混合的方式与目标图像对应位置的像素相结合。这个混合考虑了源图像中像素的颜色、透明度以及目标图像中对应位置的像素颜色。这种方法使得融合的边缘更加平滑，可以更好地处理半透明和半不透明的图像区域。

3.cv2.MONOCHROME_TRANSFER

用于指定单色传输的方式。单色传输主要用于处理单通道图像的克隆，例如灰度图像。在单色传输中，源图像的单通道信息（例如亮度）被传输到目标图像的相应位置。这种方式通常用于确保源图像的强度信息在融合后得到保留。当使用到灰色图像（三通道）的时候，可以优先考虑此克隆方式

注意：此方法只接受三通道的图片

示例代码：

import cv2
import numpy as np

im = cv2.imdecode(np.fromfile(r'C:\Users\xiaoou\Desktop\picture/logo.jpg',dtype=np.uint8), cv2.IMREAD_COLOR)
obj = cv2.imdecode(np.fromfile(r'C:\Users\xiaoou\Desktop\picture/baicaoshi.png',dtype=np.uint8), cv2.IMREAD_COLOR)
im = cv2.resize(im,(516,516))
obj = cv2.resize(obj,(256,64))
mask = 255 * np.ones(obj.shape,obj.dtype)#掩码，表示所有位置都可以被融合
width, height, channel = im.shape
center = (int(height/2), int(width/2))
#正常克隆方式
normal_clone = cv2.seamlessClone(obj,im,mask,center,cv2.NORMAL_CLONE)
cv2.imshow('normal_clone',normal_clone)
cv2.waitKey(0)

#混合克隆方式
mix_clone = cv2.seamlessClone(obj,im,mask,center,cv2.MIXED_CLONE)
cv2.imshow('mix_clone',mix_clone)
cv2.waitKey(0)

im = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY)
obj = cv2.cvtColor(obj, cv2.COLOR_BGR2GRAY)
im = cv2.merge((im, im, im))
obj = cv2.merge((obj, obj, obj))#将多个单通道的图像合并成一个多通道的图像

#单色混合方式
MONO_clone = cv2.seamlessClone(obj,im,mask,center,cv2.MONOCHROME_TRANSFER)
cv2.imshow('MONO_clone',MONO_clone)
cv2.waitKey(0)

效果演示：