一、背景说明
计算机视觉技术在木材行业中被用于检测和测量成堆木材中的原木。主要是测量原木的数量及其体积和尺寸。很多场景都是手动测量和收集此类数据,耗费人力并且存在人为错误的风险。可靠的替代工业技术是使用激光扫描仪来扫描,然后估计木材堆中每根原木的长度、尺寸和体积。然而,安装和维护激光扫描仪是一种成本昂贵的解决方案。并且在工厂设施之外不容易进行扫描。
在我们的场景中,图像由合作林业的人员拍摄,分辨率为640x480像素。这些图像可能会模糊、曝光过度或曝光不足,这意味着图像质量可能远非理想。此外,林业员工需要使用一些已知尺寸的标记以及原木,以便将提取的信息从像素域转换为以厘米为单位的真实世界测量值。这些标记还将遮挡一些原木,如下图e所示。有时,林业公司的员工还被要求在一些原木上写入一些手动测量的数据,以进一步验证半自动系统,这显然会改变原木的质地和颜色,如下图f所示。
与木材工业中的其他研究主题(如木材图案识别、树皮检测和树木整体分类)相比,原木表面分割是一个不太常见的研究主题。最早进行原木表面分割的算法专注于对输入图像进行阈值处理,直到只出现木材堆叠的轮廓,然后用于寻找木材切割表面。但对于照明条件的变化和较低质量的输入数据来说并不稳健。这些使得它在参数急剧变化的现场条件下没法使用。
基于分水岭分割等算法进行分割,如果环境受控,会产生良好的结果。但是受户外环境条件变化的影响严重。
图切割是另一种流行的基于颜色信息的分割方法,图切割算法将输入图像建模为加权图,并使用能量最小化方法将其分割为前视图和背景视图。它的频繁使用可以用它的精度和对高分辨率和低分辨率图像的高度优化来解释。使用该算法获得正确分割结果的重要前提之一是选择合适的图权重,包括像素间权重和像素到终端权重。
有不同的方法可以做到这一点。最初,像素间权重是使用强度的差异来计算的。接下来是确定像素与汇源端之间的权重,这可以通过许多不同的方法找到。
第一种假设木垛总是位于图像的中间,背景位于图像的顶部和底部。这导致了三个子图像的创建:一个子图像在中间,用于查找前景像素,而顶部和底部图像用于背景建模。满足该假设关于木垛总是在中心位置的要求并是一个稳妥的方案。
第二种依赖于使用Haar Cascades对整个输入图像进行预分割。从Haar Cascades中找到了木材原木的分类器模板,然后使用模板匹配来获得多个木材原木表面作为前景,而其他所有表面都被视为背景。除了模板匹配的继承问题,如模板的大小,这项工作的主要问题是需要一个大型的数据集来训练Haar Cascades。
因此,基于图切割的原木分割方法的主要问题之一是需要适当的前像素和背景像素进行训练,因为这些像素在不同图像之间可能会发生很大变化。为了解决这个问题,首先对输入图像应用圆霍夫变换(CHT)来定位圆形物体。由于木垛中有大量原木,原木大致呈圆形,我们可以得出结论,圆形数量最多的区域是木垛。这解决了需要将木垛集中在图像中间的限制。此外,不需要像Haar Cascades方法那样的大型训练数据库。
然后,使用找到的木材堆栈像素对前景进行建模,其他所有东西(与前景相距特定的边缘)都被视为背景。然后,引入局部圆度测量(LCM)来更精确地估计图的权重。然后,使用K-均值聚类对前像素和背景像素进行建模。最后,一旦执行了分割,就使用形态学方法来分割原木。
二、流程简述
如上面所说,林业工人会将一些已知大小的标尺绘制到每个木堆上,从而可以将提取的信息从像素域转换为真实世界的测量值。因此,该系统的第一步是通过检测这些标记来计算图像的比例。
然后使用霍夫变换来找到图像中圆形最多的区域,该区域则对应木材堆。前一步骤中提取的比例尺用于限制搜索半径的间隔。然后,将所找到的木堆叠的像素用于对前向和背景进行建模。由此,我们计算图切割算法的像素权重。权重使用我们引入的LCM测量进行额外更新。
根据计算出的权重进行图形分割,分割为前像素和背景像素。然后,将图形切割的二进制输出与CHT的输出一起用于递归形态学方法,该方法近似于每个原木的圆形面积。然后,这些圆的信息被用于计算真实世界的测量值,例如木材堆中木材的直径分布和体积。
1、标尺计算
在拍摄图像之前,会实际放置已知长度的标记(每个蓝色/白色部分20厘米)。包括这些标记的图像示例如下图左侧所示。通过以像素为单位分割和测量这些标记的长度,我们获得了比例因子,这使我们能够从图像维度映射到现实世界维度。
2、木堆分割
首先基于Canny进行边界检测,然后基于Hough进行圆检测,通过应用检测到的圆所跨越的区域的凸包来指定木堆叠的区域,从而产生二进制掩膜。
下图显示了叠加在输入图像上的红色圆圈检测到的原木。中心(x0,y0)用红十字标记,检测到圆的r分别用叠加圆的半径表示。
3、Local Circularity Measure (LCM)
原木分离步骤:下面CHT和图形切割的输出 (a)仅通过图切割(b)找到的像素被分为两组——不需要额外处理的像素(c)和需要分离的像素(d)在处理之后,将从图割(e)中找到的所有近似圆与来自CHT(f)的圆合并。
图割算法参考
https://skydance.blog.csdn.net/article/details/108857003https://skydance.blog.csdn.net/article/details/108857003
4、分割效果
左上角是分割比较好的,右上角效果一般,下面的图效果较差。检测到的原木由表示检测到的位置和半径的叠加红色圆圈表示。
三、小结
这里主要介绍了计算机视觉在木材工业中的一个应用场景。给定木堆栈的图像,使用图切割从图像中分割原木。为了在图切割算法中设置图的权重,使用了圆霍夫变换(CHT)和局部圆度测量(LCM)。在两个不同的真实世界数据集上的实验结果表明,在图切割算法中引入CHT和LCM,使该算法在木材像素分割和特征测量方面具有更好的性能。