Halcon 光度立体缺陷检测

一、概述

halcon——缺陷检测常用方法总结（光度立体） - 唯有自己强大 - 博客园 (cnblogs.com)

上周去了康耐视的新品发布会，我真的感觉压力山大，因为VM可以实现现在项目中的80% 的功能，感觉自己的不久就要失业了。同时康耐视开始布局工业的每个方面，生成一个完整的生态链，国内很喜欢搞某某一条龙服务。相机方面出了很多尤其是3D的，还有2.5D的相机，精度方面不好说，他们说Z方向的重复性精度可以达到0.15u，我们没有使用过，我对此保持怀疑，因为我用过的精度最高的是基恩士的的0.2u的，我尊重日本企业的严谨性和专业性，今天我看了一下那个halcon 的光度立体法，是2.5D 的。

光度立体法主要是表面检测的，在检测缺口、凹痕，适用于检测金属物料。在采集图片的时候最好是使用灰度图，至少是3张最好是4张图像

光度立体的局限性：

一方面假定相机是无畸变成像，也就是说必须使用远心镜头或者长焦镜头。
另一方面假定每一个光源发射的光束都是平行且均匀的，也就是说必须使用具有均匀强度的远心照明光源，或者使用远距离的点光源代替。

此外，物体必须具有朗伯反射特性，即它必须以漫反射的方式反射入射光。有镜面反射的物体或者区域（镜子或者光滑的表面）不能使用此方法，会得到一个错误的结果

光照方向说明

安装说明：

1、远心镜头必须与被测试的物体表面垂直按照，在采集多张图片的时候一定要保证相机和物体不动，对于采集至少三张的灰度图像，其每次取像的照明方向必须改变（相对于相机）。

2、在采集的多张图像中的每付图像照明方向必定是制定Slants和Tilts两个参数角度

Slants：

表示光束方向与相机中轴线的夹角，一般是30-60度之间

Tilts：

Tilt角度通常都是均匀分布在被测物体周围，比如3个方向打光，Tilt角度应该是[0,120,240]OR[0,120,-120]，4个方向打光是[0,90,180,-90]。需要注意的是，打光方向不能相同，否则重构的图像结果达不到预期效果

二、算子解释

photometric_stereo （根据光度立体技术重建曲面）


*参数列表：
*Images（in）//输入灰度图像（4张）
*HeightField（out）//返回重建高度信息图
*Gradient（out）//返回表面的梯度信息图
*Albedo（out）//返回表面的反射率信息图
*Slant//光源光线与摄像机光轴的夹角
*Tilt//光源光线投影与被测物主轴的夹角
*ResultType//请求结果类型（高度场/梯度场/反射率）
*ReconstructionMethod//重建方法类型
*GenParamName//一般参数名称
*GenParamValue// 一般参数设置

                   *   重建高度信息图 表面的梯度信息图 表面的反射率信息图 光源光线与摄像机光轴的夹角  光源光线投影与被测物主轴的夹角  请求结果类型（高度场/梯度场/反射率）  重建方法类型（迫松重建）
photometric_stereo (Images, HeightField,    Gradient,      Albedo,          Slants,                  Tilts,                          ResultType,                     'poisson',          [],        [])

derivate_vector_field（处理photometric_stereo 函数输出的重建后的梯度、反射率、以及高度场信息图）


*derivate_vector_field    处理photometric_stereo 函数输出的重建后的梯度、反射率、以及高度场信息图  
*将向量场的分量与高斯函数的导数进行卷积，并计算由此得到的各种特征。
*在光度立体项目中，专门用于处理photometric_stereo 函数输出的重建后的梯度、反射率、以及高度场图像。
*参数列表：
*VectorField（in）// 梯度场图像
*Result（out）    // 返回平均曲率场图像
*Sigma（in）      // 高斯系数
                                 *如果在Sigma中传递一个值，那么在列和行方向上的平滑量是相同的。
                                 *如果在Sigma中传递两个值，第一个值指定列方向的平滑量，第二个值指定行方向的平滑量。
*Component（in）  //组件计算   
                                 *curl，向量场的旋度。旋度的一个应用是分析光流场。旋度是如果向量场是流体，小船会旋转多少。
                                 *divergence，向量场的散度。“divergence”的一个应用是分析光流场。打个比方，如果向量场是流体，散度就是源和汇的位置。
                                 *mean_curvature，当输入向量场 VectorField为梯度场时，下垫面的平均曲率H。用于处理photometric_stereo返回的向量场。
                                 *gauss_curvature，当输入向量场 VectorField 为梯度场时，下垫面的高斯曲率K。用于处理photometric_stereo返回的向量场。
                                 
                                 
                                    
derivate_vector_field (Gradient, Curl, 1, 'curl')

三、缺陷检测

反射率信息图

思路

1、不同角度采集4张灰度图，设置不同的角度参数 Slants Tilts
2、photometric_stereo ，返回不同的图重建高度信息图表面的梯度信息图表面的反射率信息图
3、得到反射率信息图然后利用blob 分析进行缺陷检测


*思路：
* 1、不同角度采集4张灰度图，设置不同的角度参数 Slants   Tilts
* 2、photometric_stereo  ，返回不同的图 重建高度信息图 表面的梯度信息图 表面的反射率信息图
* 3、得到反射率信息图 然后利用blob 分析进行缺陷检测


dev_close_window ()
dev_open_window (0, 0, 640, 480, 'black', WindowHandle)
set_display_font (WindowHandle, 14, 'mono', 'true', 'false')


* Part 1利用反射率图像检测皮革表面缺陷
read_image (Images, 'photometric_stereo/leather_1_0' + [1:4])
write_image (Images, 'tiff', 0, 'D:/1.tiff')
** 展示不同方向光源成像图像
for I := 1 to 4 by 1
    Message := 'Sample 1: Acquire image ' + I + ' of 4'
    select_obj (Images, ObjectSelected, I)
    dev_display (ObjectSelected)
    disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
   * wait_seconds (0.5)
endfor
stop ()
* 应用光度立体法生成的反射率图进行缺陷检测
Tilts := [6.1,95.0,-176.1,-86.8]
Slants := [41.4,42.6,41.7,40.9]
              * 梯度场     反射率
ResultType := ['gradient','albedo']

*参数列表：
*Images（in）//输入灰度图像（4张）
*HeightField（out）//返回重建高度信息图
*Gradient（out）//返回表面的梯度信息图
*Albedo（out）//返回表面的反射率信息图
*Slant//光源光线与摄像机光轴的夹角
*Tilt//光源光线投影与被测物主轴的夹角
*ResultType//请求结果类型（高度场/梯度场/反射率）
*ReconstructionMethod//重建方法类型
*GenParamName//一般参数名称
*GenParamValue// 一般参数设置

                   *   重建高度信息图 表面的梯度信息图 表面的反射率信息图 光源光线与摄像机光轴的夹角  光源光线投影与被测物主轴的夹角  请求结果类型（高度场/梯度场/反射率）  重建方法类型（迫松重建）
photometric_stereo (Images, HeightField,    Gradient,      Albedo,          Slants,                  Tilts,                          ResultType,                     'poisson',          [],        [])

* 显示反射率图
dev_display (Albedo)

*检测缺陷   反射率的基础上进行缺陷检测
var_threshold (Albedo, Region, 15, 15, 0.4, 0.4, 'light')
connection (Region, ConnectedRegions)
select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 10, 99999)
union1 (SelectedRegions, RegionUnion)
closing_circle (RegionUnion, RegionClosing, 3.5)
connection (RegionClosing, Defects)
area_center (Defects, Area, Row, Column)
gen_circle (Circle, Row, Column, gen_tuple_const(|Row|,sqrt(Area) + 30))
*显示缺陷
dev_display (Albedo)
dev_set_color ('red')
dev_set_draw ('margin')
dev_set_line_width (4)
dev_display (Circle)

梯度信息图

思路

1、不同角度采集4张灰度图，设置不同的角度参数 Slants Tilts
2、photometric_stereo ，返回不同的图重建高度信息图表面的梯度信息图表面的反射率信息图
3、得到梯度信息图然后利用blob 分析进行缺陷检测


*思路：
* 1、不同角度采集4张灰度图，设置不同的角度参数 Slants   Tilts
* 2、photometric_stereo  ，返回不同的图 重建高度信息图 表面的梯度信息图 表面的反射率信息图
* 3、得到梯度信息图然后利用blob 分析进行缺陷检测

* Part 2 利用梯度图像检测皮革表面缺陷
read_image (Images, 'photometric_stereo/leather_2_0' + [1:4])
for I := 1 to 4 by 1
    Message := 'Sample 2: Acquire image ' + I + ' of 4'
    select_obj (Images, ObjectSelected, I)
    dev_display (ObjectSelected)
    disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
    *wait_seconds (0.5)
     stop()
endfor

* 应用光度立体法生成的反射率图
photometric_stereo (Images, HeightField, Gradient, Albedo, Slants, Tilts, ResultType, 'poisson', [], [])
*对反射率图二值化（发现无法二值化）
threshold (Albedo, Region1, 128, 255)
* 显示反射率图
dev_display (Albedo)






*derivate_vector_field    处理photometric_stereo 函数输出的重建后的梯度、反射率、以及高度场信息图  
*将向量场的分量与高斯函数的导数进行卷积，并计算由此得到的各种特征。
*在光度立体项目中，专门用于处理photometric_stereo 函数输出的重建后的梯度、反射率、以及高度场图像。
*参数列表：
*VectorField（in）// 梯度场图像
*Result（out）    // 返回平均曲率场图像
*Sigma（in）      // 高斯系数
                                 *如果在Sigma中传递一个值，那么在列和行方向上的平滑量是相同的。
                                 *如果在Sigma中传递两个值，第一个值指定列方向的平滑量，第二个值指定行方向的平滑量。
*Component（in）  //组件计算   
                                 *curl，向量场的旋度。旋度的一个应用是分析光流场。旋度是如果向量场是流体，小船会旋转多少。
                                 *divergence，向量场的散度。“divergence”的一个应用是分析光流场。打个比方，如果向量场是流体，散度就是源和汇的位置。
                                 *mean_curvature，当输入向量场 VectorField为梯度场时，下垫面的平均曲率H。用于处理photometric_stereo返回的向量场。
                                 *gauss_curvature，当输入向量场 VectorField 为梯度场时，下垫面的高斯曲率K。用于处理photometric_stereo返回的向量场。
                                 
                                 
                                    
derivate_vector_field (Gradient, Curl, 1, 'curl')



*derivate_gauss.hdev
*derivate_gauss (Image, ImageGauss, 3, 'none')
* 将一个图像与高斯函数的导数进行卷积。  效果与FFT进行高斯滤波差不多。
*主要的区别是边界处理:FFT的定义假设信号是周期性的，因此边界处理是循环的延续。与此相反，derivate_gauss在图像边界使用灰度值的镜像。
*通过FFT进行过滤的速度已经快于在Sigma=3(排除创建过滤器的时间)中使用derivate_gauss。这种优势随着Simag的增大而变得更加明显。    
*'none' 仅使用平滑
*'x' 沿X的一阶导数
derivate_gauss (Curl, CurlGradient, 1, 'gradient')// 将一个图像与高斯函数的导数进行卷积。  效果与FFT进行高斯滤波差不多。
* 显示梯度图
dev_display (CurlGradient)
Message := 'Changes in the gradient curl'
disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
disp_continue_message (WindowHandle, 'black', 'true')
stop ()

* 用梯度图寻找缺陷
threshold (CurlGradient, Region, 0, 0.01)
*
rank_region (Region, RegionCount, 10, 10, 30)//归类区域
connection (RegionCount, ConnectedRegions)
select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 2000, 99999)
union1 (SelectedRegions, RegionUnion)
rank_region (RegionUnion, RegionCount1, 25, 25, 170)
connection (RegionCount1, NoTextured)

* 显示
dev_display (Albedo)
dev_set_draw ('margin')
dev_set_color ('red')
dev_set_line_width (3)
dev_display (NoTextured)
disp_message (WindowHandle, 'Non-textured areas on leather', 'window', 12, 12, 'black', 'true')
stop ()

四、洗发水表面检测

思路：

梯度信息图来检测

inspect_shampoo_label_photometric_stereo.hdev



*思路 ：
* inspect_shampoo_label_photometric_stereo.hdev
dev_close_window ()
dev_update_off ()
dev_open_window (0, 0, 640, 512, 'black', WindowHandle)
set_display_font (WindowHandle, 14, 'mono', 'true', 'false')
Message := 'Inspect the label of a shampoo bottle'
Message[1] := 'using photometric stereo. In this case four'
Message[2] := 'different light orientations were used.'
disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
disp_continue_message (WindowHandle, 'black', 'true')
stop ()
* 
* Show input images with different illumination
read_image (Images, 'photometric_stereo/shampoo_label_0' + [1:4])
for I := 1 to 4 by 1
    Message := 'Acquire image ' + I + ' of 4'
    select_obj (Images, ObjectSelected, I)
    dev_display (ObjectSelected)
    disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
    wait_seconds (0.5)
endfor
* 
* Apply photometric stereo to determine the albedo
* and the surface gradient.
Tilts := [6.1,95.0,-176.1,-86.8]
Slants := [41.4,42.6,41.7,40.9]
ResultType := ['gradient','albedo']
photometric_stereo (Images, HeightField, Gradient, Albedo, Slants, Tilts, ResultType, 'poisson', [], [])
* 
* Display the albedo image
dev_display (Albedo)
disp_message (WindowHandle, 'Albedo image', 'window', 12, 12, 'black', 'true')
disp_continue_message (WindowHandle, 'black', 'true')
stop ()
* 
* Calculate the gaussian curvature of the surface
* using the gradient field as input for the operator
* derivate_vector_field.
* Defects are usually easy to detect in the curvature image.
derivate_vector_field (Gradient, MeanCurvature, 1.0, 'mean_curvature')
* 
* Detect defects
* 
* Segment the tablet areas in the curvature image
threshold (MeanCurvature, Region, -10, -0.07)
opening_circle (Region, RegionOpening, 1)
connection (RegionOpening, ConnectedRegions)
select_shape (ConnectedRegions, Defects, 'area', 'and', 50, 99999)
shape_trans (Defects, Circle, 'outer_circle')
* Display the defects in curvature image
dev_set_draw ('margin')
dev_set_color ('red')
dev_set_line_width (2)
dev_display (MeanCurvature)
dev_display (Circle)
Message := 'The defect can easily be detected'
Message[1] := 'in the surface curvature image'
disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
stop ()
* Display the defects in the albedo image
dev_set_draw ('margin')
dev_set_color ('red')
dev_display (Albedo)
dev_display (Circle)
disp_message (WindowHandle, 'Defect in albedo image', 'window', 12, 12, 'black', 'true')

我用反射率的图做了，是达不到这个效果的

五、药片缺陷检测

* Initialization
dev_close_window ()
dev_update_off ()
dev_open_window (0, 0, 512, 512, 'black', WindowHandle)
set_display_font (WindowHandle, 14, 'mono', 'true', 'false')
Message := 'Inspect the backside of a blister'
Message[1] := 'using photometric stereo. In this case four'
Message[2] := 'different light orientations were used.'
disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
disp_continue_message (WindowHandle, 'black', 'true')
stop ()
* 
* Show input images with different illumination
read_image (Images, 'photometric_stereo/blister_back_0' + [1:4])
for I := 1 to 4 by 1
    Message := 'Acquire image ' + I + ' of 4'
    select_obj (Images, ObjectSelected, I)
    dev_display (ObjectSelected)
    disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
    wait_seconds (0.5)
endfor
stop ()
* 
* Apply photometric stereo to determine the albedo
* and the surface gradient.
Tilts := [6.1,95.0,-176.1,-86.8]
Slants := [41.4,42.6,41.7,40.9]
ResultType := ['gradient','albedo']
photometric_stereo (Images, HeightField, Gradient, Albedo, Slants, Tilts, ResultType, 'poisson', [], [])
* 
* Display the albedo image
dev_display (Albedo)
disp_message (WindowHandle, 'Albedo image', 'window', 12, 12, 'black', 'true')
disp_continue_message (WindowHandle, 'black', 'true')
stop ()
* 
* Calculate the gaussian curvature of the surface
* using the gradient field as input for the operator
* derivate_vector_field.
* Defects are usually easy to detect in the curvature image.
derivate_vector_field (Gradient, GaussCurvature, 1, 'gauss_curvature')
* 
* Detect defects
* 
* Segment the tablet areas in the curvature image
regiongrowing (GaussCurvature, Regions, 1, 1, 0.001, 250)
select_shape (Regions, TabletRegions, ['width','height'], 'and', [150,150], [200,200])
shape_trans (TabletRegions, TabletRegions, 'convex')
union1 (TabletRegions, TabletRegions)
erosion_circle (TabletRegions, TabletRegions, 3.5)
* Search for defects inside the tablet areas
reduce_domain (GaussCurvature, TabletRegions, ImageReduced)
abs_image (ImageReduced, ImageAbs)
threshold (ImageAbs, Region, 0.03, 255)
closing_circle (Region, RegionClosing, 10.5)
connection (RegionClosing, ConnectedRegions)
select_shape (ConnectedRegions, Defects, 'area', 'and', 10, 99999)
area_center (Defects, Area, Row, Column)
gen_circle (Circle, Row, Column, gen_tuple_const(|Row|,20.5))
* Display the defects in curvature image
dev_set_draw ('margin')
dev_set_color ('red')
dev_set_line_width (2)
dev_display (GaussCurvature)
dev_display (Circle)
Message := 'The defect can easily be detected'
Message[1] := 'in the surface curvature image'
disp_message (WindowHandle, Message, 'window', 12, 12, 'black', 'true')
stop ()
* Display the defects in the albedo image
dev_set_draw ('margin')
dev_set_color ('red')
dev_display (Albedo)
dev_display (Circle)
disp_message (WindowHandle, 'Defect in albedo image', 'window', 12, 12, 'black', 'true')