机制砂是天然岩石经开采除土、人工机械破碎及筛分得到的粒径小于2.36 mm的颗粒碎块^[1], 是机制砂混凝土的细骨料, 其质量对机制砂混凝土的性能影响十分显著, 特别的是机制砂生产过程中容易引入石粉, 较高或较低的石粉含量对机制砂混凝土的强度、工作性、耐久性和经济性都会有不良影响^[2-5]. 目前对于机制砂表面石粉含量的测定一般为亚甲蓝试验^[6], 但该方法需称重、搅拌、烘干、冷却等步骤, 程序繁琐且时间久, 由于人为的观察、环境及其他因素, 导致该检测方法的准确性和高效性难以保证.

故智能化、高效化的检测方法被迫切需求, 而就当下技术的飞快发展, 机制砂表面的石粉检测也可以利用图像处理的方法实现. 针对本文的分割对象, 具体实现思路是对输入的机制砂图像进行分割, 需将石粉区域和无石粉区域这两类(即前景和背景)分割开来, 这样就能够使用图像处理中的语义分割技术解决机制砂表面石粉区域的检测及定量分析问题.

目前, 关于机制砂, 大多数人研究的是机制砂对混凝土的影响, 而对于机制砂含泥量的检测还是比较少的, 现在的检测方法依然停留在装置类检测和图像的颜色转换, 韦健等人^[7]公开一种机制砂泥粉含量的快速检测装置, 主要包括风干系统、两个点击搅拌系统, 内设小圆筛, 且两搅拌叶转动方向相反. 孟书灵等人^[8]可根据石粉密度, 颗粒形貌与机制砂细颗粒的不同, 使用风选方法将机制砂细粉中石粉剔除, 以计算其石粉含量, 使用的测定装置, 主要包括进料装置, 筛网、底座装置和通风设置. 胡雪婷^[9]以传统吸蓝量测定方法为核心, 利用图像处理代替人眼识别的功能, 通过嵌入式微处理器与上位PC机通信, 研发集自动移液滴定, 图像采集识别, 分析等功能于一体的测定仪. 马旭梁等人^[10]使用图像处理的方法, 对传统吸蓝量测定方法得到原砂的浊液图像进行预处理并转换成Lab颜色模型, 使用构建的数学模型扩算原砂的含泥量.

鉴于深度神经网络的诸多优点以及其在不同领域的广泛应用. 如2014年, Rahebi等人^[11]发现能够根据对比度的差异来区分视网膜图像中的血管和非血管区域, 并利用视网膜图像中的灰度共生矩阵法提取到的特征进行训练, 得到一种合成视网膜图像的技术. 2015年, Ronneberger等人^[12]提出一种训练所需数据少且速度快的网络, 该网络包括收缩路径和扩展路径, 能够准确识别并定位特征信息, 取得了神经元结构分割比赛中最佳成绩. 2018年, 王达磊等人^[13]提出一种检测并量化钢表面锈蚀的方法, 该方法分为上采样和下采样两部分, 通过合适的分割准则实现图像图像中锈蚀像素点和非锈蚀像素点的分类, 比传统方法效率高, 且能实现锈蚀的定量分析. 2018年, Qin等人^[14]提出快速下采样FD-MobileNet, 该网络的下采样策略是在12层中执行32次下采样, 改善后的网络只有MobileNet原始网络的一半层, 用于非常有限的计算预算, 能够降低工作量, 并提高效率. 2019年, 柳小波等人^[15]针对传送带矿石图像提出一种基于UNet和Res_UNet 模型的分割方法, 可以有效地避免粘连和边缘模糊对分割结果的的不良影响, 以提高分割的准确性和有效性. Fu等人^[16]根据自我注意机制, 构建两层注意网络, 分别是空间和通道维度, 并且两者的语义相关联, 即一种双注意网络(DANet)来捕捉更多的上下文内容来实现场景分割任务. Feng等人^[17]结合多目标单发多盒检测器(SSD)的优点, 提出一种基于深度卷积神经网络融合模型的路面裂缝识别方法.

综上所述, 若将深度神经网络应用到机制砂石粉分割, 将可以很好地解决机制砂石粉检测程序繁杂、效率低、耗时间等问题. 故本文针对机制砂颗粒小、边缘模糊、石粉分布不规律等特征提出一种改进的UNet分割网络来解决机制砂石粉分割效率、准确率及量化难题.

1 改进UNet方法 1.1 UNet方法

传统的UNet网络结构如图1所示. 图1的左侧是4次下采样, 包括卷积和最大池化层来提取特征; 右侧是上采样, 先进行反卷积还原图像尺寸和分辨率, 利用跳跃连接与相应特征图融合后再进行卷积. 网络最后一层Sigmoid将特征向量映射到输出层. 具体如下:

1)激活函数ReLU

原始的神经网络的输出都是输入的线性组合, 缺乏复杂的映射关系, 而激活函数ReLU的引入会使之增加非线性转换, 以增强网络的表达能力.

2)卷积层

可将卷积看做滤波操作, 卷积核即为滤波器, 卷积与网络的训练相辅相成, 用于提取机制砂图像的数据信息.

3)池化层

在卷积神经网络中, 为汇总提取到的特征平面, 池化层是必不可少的. 在卷积层之间加入池化层, 把一块区域压缩到一个值, 减少特征参数数量, 缓解模型过拟合问题, 而且池化值不会受特征的位置影响, 具有平移不变性; 不但能对输入的特征图进行压缩, 还可以更好地提取主要特征、简化网络计算的复杂度.

4)上采样和跳跃连接

每次下采样图像的尺寸和分辨率都会缩减, 为保证模型的输出图像尺寸等于输入图像尺寸, 故会进行相同次数的上采样. 上采样模块使用的是转置卷积, 通过卷积运算来实现图像尺寸和分辨率的还原, 卷积运算过程中有权重参数, 所以可训练、可学习.

UNet在4次上采样过程中使用了跳层连接, 将反卷积的输出与下采样同尺寸的特征图进行拼接, 使网络学习到更多的特征, 有利于网络学习能力和准确率的提高.

1.2 基于残差模块与注意力机制的UNet方法改进

本文模型针对机制砂颗粒小、边缘模糊、石粉分布不规律等特征在UNet网络基础上进行了改进: 加入批量标准化BN、优化卷积层、加入残差模块和注意力模块. 基于改进的UNet机制砂石粉图像分割方法主要由下采样与上采样两大部分构成, 将UNet原始的卷积替换为组合卷积, 将残差模块加入网络的下采样部分解决梯度消失现象, 跳跃连接部分加入注意力机制, 使得特征图在上采样过程中分别与下采样对应部分进行同尺寸特征图融合. 此方法使得能够结合底层和高层的信息提取集料特征, 同时对应编码器特征图包含更多空间信息. 整体网络结构如图2所示.

1)批量标准化BN

BN层主要是对网络的数据进行归一化处理, 在网络的每层输入前都加入BN层, 这样网络进行训练时, 每一层的数据分布都是稳定的, 某层数据的变化不会被累加放大到下一层, 且该BN层是可学习、有参数的, 能够有效提高网络的泛化能力. BN公式如下.

$ {{{Y}}^{(k)}} = {\gamma ^{(k)}}{{{X}}^{(k)}} + {\beta ^{(k)}} $

(1)

其中, X^(k)是该层神经元的线性激活 $ X = WY + B $ , Y是上层神经元的输出, ${{{X}}^{(k)}} = {{({x^{(k)}}{{ - E[}}{x^{(k)}}]{\text{)}}} \mathord{\left/ {\vphantom {{({x^{(k)}}{{ - E[}}{x^{(k)}}]{\text{)}}} {\sqrt {Var({x^{(k)}})} }}} \right. } {\sqrt {Var({x^{(k)}})} }}$ 是标准差归一化结果, 然后再引入调节参数 $ {\gamma ^{(k)}} $ 和 $ {\beta ^{(k)}} $ , 对变换后的 ${{{X}}^{(k)}}$ 进行激活反变换, 增强网络的表达能力.

2)卷积层

卷积层贯穿着整个网络, UNet网络的卷积层较单一, 能够学习到的特征信息较少, 对于本文的机制砂图像来说, 石粉散落不规律, 缺少对细微石粉特征信息的学习, 故如图3所示, 本文使用3×3, 5×5, 7×7卷积核按照并行地合并进行组合来代替原先单一的3×3卷积核, 组合卷积的步长为1, 此组合融合了不同尺寸的卷积和, 能够学习到更大感受野范围内的特征信息.

3)深度卷积残差模块

在图像的分类与分割中, 为提升网络训练效果, 传统方法一般是加深网络层, 但随着网络的加深会带来严重的梯度消失问题, 网络学习率变低. 为解决此类问题, 2016年, He等人^[18]提出的152层ResNet, 使得卷积网络在具有“深度”的同时不失高精准度, 是ILSVRC比赛的最佳识别网络. 原理是通过在浅层网络上添加一个恒等映射, 直接跳过中间层传输到后面的网络层, 通过快捷连接将某段神经网络的输入叠加到其输出中作为下层网络的输入, 输出 ${{y}}(x) = F(x) + x$ , 把学习的目标由 $ F(x) $ 转换为 $ F(x) + x $ , 能够保证加深深度的同时不会增加计算复杂度, 故而简化了网络训练, 并加快信息的传递, 其中一个残差单元如图4所示.

残差单元公式为:

$ y = F(x, \{ {\omega _i}\} ) + {\omega _s}x $

(2)

其中,x和y分别为该层网络的输入和输出, $ F(x, \{ {\omega _i}\} ) $ 为残差映射, $ {\omega _i} $ 是卷积操作, $ {\omega _i}x $ 是将输入进行参数变换, 使之与前面的输出形状相同.

为提高网络的泛化力, 从机制砂图像中提取出更多细粉的细节信息及缓解复杂背景和细粉区域欠分割的问题, 本文将UNet的编码器和解码器中原有的卷积层替换为优化后的残差模块, 结构如图5(b)所示, 相对于传统的残差模块, 深度卷积残差模块在每个卷积层之前增加BN层和ReLU激活函数, 还在输入X上另加一个1×1的卷积层和BN层. 这种在特征上所附加的非线性变换可以让网络随深度增加而不退化, 有助于解决梯度消失与梯度爆炸的问题, 还能促进特征信息的传递, 进而提升网络学习率.

4)通道注意力模块

该模型在跳跃连接中加入注意力模块, 即在特征图上采样的过程中, 先和下采样中对应的部分进行融合, 在融合的过程中加入注意力机制, 使学习到的特征图增加空间上的信息, 然后再进行上采样.

通道注意力模块的结构如图6所示, 通道注意力模块的输入是下采样得到的尺寸为H×W×C的特征图, 将其进行两次Reshape操作分别得到尺寸为(H×W)×C和C×(H×W)的特征图, 然后将这两个结果特征图进行矩阵相乘, 此时得到的是尺寸为C×C的特征图, 同样将C×C与(H×W)×C的特征图进行矩阵相乘得到与原尺寸相等的特征图, 最终将此结果与原特征图相加即为该注意力模块的输出.

原始UNet为避免在下采样时丢失大量的空间精确细节信息, 增加了跳跃连接部分, 但是这种直接将信息合并的方法会导致大量低价值特征信息被学习. 故本文在UNet网络中加入通道注意力机制, 快速定位不同通道的特征的高价值信息, 防止过拟合. 即在避免大量重复计算低价值信息的同时, 减少网络训练时的硬件资源开销, 提高网络的训练效率及泛化力.

2 实验结果与分析 2.1 数据采集与预处理

本文数据集选用的是含有石粉的机制砂图像, 即天然岩石经开采除土、人工机械进行破碎及筛分得到的粒径小于2.36 mm的颗粒碎块. 从图7可以看出机制砂颗粒较小, 故采用光学显微镜采集设备, 如图8所示, 以20倍放大倍数拍摄机制砂颗粒的景深图像.

共采集机制砂图像60张, 原始图像尺寸是1536×1024, 训练时将原图和标注图裁成240张768×512的小图, 考虑到数据量不足的原因, 在送入网络前还会进行一定量的平移、旋转、缩放等操作进行数据增广, 将数据集扩充到1 200张. 针对增广后的数据集使用精灵助手进行像素级标注, 得到高质量的机制砂图像标注数据, 原始图像和label标注图如图9所示.

由于机制砂数据采集效果主要受背景环境, 采集角度, 光照强度以及光照均匀程度影响, 带有强噪声的数据对后期实验的特征提取部分有较大影响. 针对上述问题, 本实验采用图像预处理方法对数据进行早期处理. 实验选取了图像增强、查找表算法, 去噪等方法, 分别对机制砂数据进行处理, 具体如下:

(1)图像增强参数包括: 亮度、对比度、Gamma值. 用来改善机制砂图像的清晰度, 增大石粉与背景特征之间的差别, 亮度减弱、对比度增强、Gamma值为1.25, 如图10(b)所示, 图像增强后的效果是由这3个参数共同作用的结果.

(2)查找表的作用是提高图像的对比度和亮度. 其原理是用新的灰度级值代替图像原来的灰度级值. 查找表在指定的范围 $ [{R}_{\mathrm{min}}, {R}_{\mathrm{max}}] $ 上以下面的形式使用传递函数T(x):

$ T(x) = \left\{ \begin{gathered} {D_{\min }},\quad x \leqslant {{{R}}_{\min }} \hfill \\ f(x),\quad {R_{\min }} < x \leqslant {{{R}}_{\max }} \hfill \\ {D_{\max }},\quad x > {{{R}}_{\max }} \hfill \\ \end{gathered} \right. $

(3)

其中, T(x)是传递函数, x是输入的灰度级值, $ {R_{\min }} $ 是指定范围的最小值, $ {R_{\max }} $ 是最大值, $ {D_{\min }} $ 是动态(dynamic)最小值. 此处用的传递函数是幂值函数 $ T(x) = {x^{1.78}} $ , 目的是减少黑暗区域的对比度.

(3)由于显微镜的放大作用, 会有一些细微的背景杂质存在, 故需要去噪操作. 主要包括坑洞填充、腐蚀、去除小物体和快速傅里叶变换滤波器. 其中滤波器使用的是低通滤波器, 图像信息通过的频率会随着截断频率百分比增加而增多, 保留的信息也越多, 为保留较多的信息, 截断频率百分比是80%, 能够有效滤除划痕和一些背景杂质. 效果图如图10(d)所示.

2.2 模型训练

将预处理之后的机制砂图像按照8:2的比例划分为训练集和测试集. 在训练过程中, 采用Adam优化器更新参数; 并用Keras中的回调函数ModelCheckpoint来保存最优模型, 训练和测试的Bath_size都为2, 共训练200轮.

对于本文的分割网络(即像素级二分类问题), 使用的是交叉熵损失函数, 有利于解决机制砂图像中石粉相对于背景占比小及平滑梯度的问题. 网络的最后一层是Sigmoid函数, 将网络的输出映射到(0, 1), 1是机制砂图像中像素为石粉的部分, 0是背景, 则交叉熵损失函数的标准形式是:

$ loss = - ({1 \mathord{\left/ {\vphantom {1 n}} \right. } n})\sum\nolimits_x {[y\ln a + (1 - y)\ln (1 - a)]} $

(4)

其中, n表示图像的总数量, x表示机制砂图像, y表示机制砂图像中像素为石粉的部分, a是预测为石粉的概率.

训练集和验证集的准确率和loss曲线如图11, 可以看出经过200轮的训练后, 网络的训练集和验证集准确率逐渐上升并分别趋于稳定值95.2%和95.94%, 说明网络的学习能力较强, 且验证集的准确率高于训练集, 表明模型并没有发生过拟合的现象且具有很好的泛化性; 网络的训练集和验证集loss值逐渐下降并分别趋于稳定值0.12、0.13, 且下降的过程梯度变化较平滑, 没有出现梯度消失与梯度爆炸的问题, 收敛效果比较好

2.3 评价指标

对于机制砂石粉的分割网络, 可将石粉区域的检测理解为对输入图像上的每个像素点进行分类, 共分成两类: 一类是石粉, 另一类为背景, 主要工作是判断每个像素点是否为石粉, 并将预测结果与实际的label标注图做对比.

为评价该图像分割算法的性能, 将预测的结果与真实的标签作对比, 采用3个评价指标: 精确率(Precision)、准确率(Accuracy)、召回率(Recall). 精确率是被正确预测为石粉的像素数占预测石粉像素总数的比例. 准确率是被正确预测为石粉的像素数占机制砂图像像素总数的比例, 召回率和准确率越大越好. 召回率是被正确预测为石粉的像素数占石粉像素总数的比例.

由于最后一层是Sigmoid操作, 故预测的结果是一张概率图, 本文在与其相应的label图做对比时进行了OTSU阈值分割操作, 使评价参数的结果更接近于实际值. 表1为本文模型的混淆矩阵.

$ Precision = {{TP} \mathord{\left/ {\vphantom {{TP} {(TP + FP)}}} \right. } {(TP + FP)}} $

(5)

$ Accuracy = {{(TP + TN)} \mathord{\left/ {\vphantom {{(TP + TN)} {(TP + FP + TN + FN)}}} \right. } {(TP + FP + TN + FN)}} $

(6)

$ {Re} call = {{TP} \mathord{\left/ {\vphantom {{TP} {(TP + TN)}}} \right. } {(TP + TN)}} $

(7)

其中, 真阳性(TP)表示将石粉预测正确的像素点数; 真阴性(TN)表示将背景预测正确的像素点数; 假阳性(FP)表示将背景预测错误的像素点数; 假阴性(FN)表示将石粉预测错误的像素点数.

2.4 原始图像测试

本文在测试时利用滑动窗口来弥补机制砂图像边缘较弱部分的预测, 窗口尺寸为256×256, 步长为64. 其中部分分割结果图如图12(d)所示, 白色部分即为机制砂石粉部分, 黑色部分即为背景, 从左到右分别是机制砂图像, 石粉label标注图, 原始UNet石粉预测二值图, 本文模型石粉预测二值图, 本文预测图二值图叠加到label标注图的效果, 红色部分是石粉预测图, 绿色部分是石粉label标注图, 其叠加的颜色为黄色. 从图12中可以明显看出原始的UNet对石粉分割的结果与标注图相比缺少了大量细节特征信息, 甚至还有一些误检信息, 而该模型的分割效果与标注图很接近.

本文与传统的UNet、FCN、ResUNet方法进行对比^{[19, 20]}, 对比结果如表2所示, 从准确率(Accuracy)、召回率(Recall)、精确率(Precision)性能的比较可以看出本文算法对机制砂石粉分割的结果有很大幅度的提升, 更加接近石粉的实际分布情况.

2.5 机制砂石粉量化分析

传统的检测方法只能对机制砂石粉进行定性分析, 本文的检测方法在定性的基础上进一步实现了定量分析的功能. 将预测图送入本文模型, 可从预测输出结果中得到每张图像的石粉区域的像素总数, 记为 $ {a_1} $ , 如图13(b)所示; 然后将对应的测试图的原图进行形态学处理, 包括图像增强、Gamma运算、孔洞填充、去除小物体等, 得到了机制砂区域的像素总数, 记为 $ {b_1} $ , 如图13(c)所示, 此时该图像的石粉面积占机制砂的面积的比例即为该图像的石粉含量(百分比)为 $ {{{a_1}} \mathord{\left/ {\vphantom {{{a_1}} {{b_1}}}} \right. } {{b_1}}} $ . 为反映整批机制砂的石粉含量, 使用式(8), 即所有石粉占所有机制砂像素的比例, 如下所示.

$ F = ({{{a_1} + {a_2} + {a_3} + \cdots + {a_n}} )\mathord{\left/ {\vphantom {{{a_1} + {a_2} + {a_3} + \cdots + {a_n}} {{b_1} + {b_2} + {b_3} + \cdots + {b_n}}}} \right. } ({{b_1} + {b_2} + {b_3} + \cdots + {b_n}}}) $

(8)

其中, n表示该批次机制砂图像的数量, $ {a_n} $ 为第n个机制砂图像的石粉像素数量, $ {b_n} $ 为第n个机制砂图像中机制砂的像素数量.

依次测得每个机制砂图像的石粉像素数量, 表3为部分石粉区域的定量分析值. 此时, 该批次机制砂的石粉含量难以量化的问题被迎刃而解.

3 结论

本文以机制砂表面附着的石粉为研究对象, 基于深度神经网络对机制砂石粉图像分割与量化问题展开研究, 主要结论如下:

1)利用光学显微镜采集机制砂图像, 并进行图像增强、查找表算法等预处理, 优化网络的卷积层、引入残差模块和注意力模块部分, 使得该网络模型训练集和验证集准确率达到了95.20%和95.94%, 实现对机制砂石粉的准确分割, 能够替代繁琐、效率低的传统亚甲蓝检测方法.

2)针对传统的检测方法只能对机制砂石粉进行定性分析的问题, 而本文的检测方法能够实现对机制砂石粉含量的定量分析, 即石粉含量百分比, 通过该指标来体现机制砂质量的优劣.

本文对机制砂石粉进行准确分割与量化对机制砂应用领域具有重要意义. 但由于机制砂数据集不够完善且颗粒比较小, 石粉区域较难分辨, 使得人工标注的结果会有一定的误差, 因此丰富数据集和改进人工标注结果是之后的工作重点.