基于多尺度特征融合注意力机制的纸病分类方法研究

《基于多尺度特征融合注意力机制的纸病分类方法研究》论文发表期刊：《中国文艺家》；发表周期：2021年04期

《基于多尺度特征融合注意力机制的纸病分类方法研究》论文作者信息：张开生先生，博士，教授，博士生导师；研究方向：微电子、单片机应用，嵌入式系统、物联网技术的应用及开发，工业自动化控制等。

　　摘要：针对造纸工业中传统纸病分类算法准确率低的问题，本课题提出一种多尺度图像增强结合注意力机制的方法;采用锐化滤波器和对比度增强操作获得图像对直线信息的响应，同时利用Sobel边缘检测获取图像对边缘信息的响应，然后将这些响应分别放进卷积神经网络(CNN)中提取浅层局部信息后进行特征融合，得到全局信息，最后利用注意力机制，通过关注这些图像中最有特点的部分，进行纸病分类。实验表明，该方法优于HOG+SVM，LBP+SVM以及传统CNN等方法，在自建数据集上，分类准确率可达到96.63%;与现有基于CNN的纸病分类算法相比，所需的数据量更少，分类效果更好。

　　关键词：多尺度特征融合;注意力机制;卷积神经网络;图像分类

　　Abstract: Aiming at the problem of inaccurate classification of traditional paper defect Algorithm in paper industry, this study proposed al classification method combined with multi-scale feature fusion and attention mechanism. The method uses sharpening filter and contrast enhancement to obtain the response to straight line, and then used Sobel edge detection to obtain the response to edge. Then, the above re-

　　sponses were put into a convolutional neural network (CNN) separately to extract shallow local information and focuse to get global information, finally an attention mechanism was used to classify paper defect by focusing on the most characteristic parts of the image. Experiments showed that this method outperformed HOG+SVM. LBP+SVM and traditional CNN methods, achieving 96. 63% classification accuracy on the selfbuilt dataset. Compared with existing CNN-based paper defect classification algorithm, the method proposed in this study required less train data and obtained better results

　　Key words: multi-scale feature fusion : attentional mechanisms; convolutional neural network; image classification

　　在纸张生产过程中，机器突然偏离正确轨迹等意外情况在所难免，这会使生产的纸张产生折叠、孔洞、刘痕等缺陷，不仅影响张质量，还会降低经济效益，给造纸企业造成一定损失。因此，对纸张的缺陷检测是造纸过程中不可或缺的环节。一直以来，这种缺陷检测以人工排查为主，其原因主要有2方面，一是人工成本低廉;二是以前的计算机技术还不成熟，纸张缺陷检测效果差"。随着社会的发展，人力成本越来越昂贵，加之计算机技术飞速发展，越来越多的造纸企业开始用机器代替人12，纸张缺陷检测的算法研究越来越多。袁浩等人3通过对纸病图像进行特征选择，再利用支持向量机对提取到的特征进行分类。但这种方法只对特定种类的纸张缺陷有较好效果，并不适用于所有纸病缺陷，且其检测效果受光照影响明显，泛化性差。为了改善这个问题，张学兰等人提出了Prewitt算子检测孔洞、脏点和褶皱。陈瑁等人"在背景与目标缺陷对比不明显的情况下，提出了一种将边缘检测和小波融合结合起来的方法，此方法定位准确且有一定的抗噪性;但由于算法本身过于复杂，计算成本高，无法满足现实造纸工厂检测的实时性要求。殷燕屏等人“根据不同纸张缺陷图像的灰度特征，利用动态双阈值分割纸张缺陷区域，提取缺陷特征并进行识别分类;然而此方法需要对不同的纸张缺陷设置不同的阈值，导致参数设置困难。为了降低参数设置的复杂度，段茵等人"采用BP神经网络进行纸张缺陷检测的识别与研究;首先将图像进行中值滤波，然后用全局Onsu算法根据阈值将图像分为目标和背景2个部分，对缺陷纸张进行形态学处理后，输入BP神经网络进行缺陷分类。李光明等人"先利用Canny算子、Sobel算子等对纸病进行梯度图像增强，然后用MSMG进行多尺度图像增强，最后将增强后的图像放进卷积神经网络进行缺陷分类。针对传统纸病识别方法只对某些种类纸病分类效果好、特征计算复杂、实时性差等问题，本课题提出一种多尺度特征融合注意力机制的纸病分类方法，通过融合多种图像增强方式进行多尺度特征提取，以应对不同的纸病缺陷，将这些特征输入到带有注意力机制的卷积神经网络，让网络更加关注纸张缺陷部分，从而达到更好的分类效果。

　　1多尺度特征融合注意力机制的纸病分类方法

　　本课题采用的多尺度特征融合注意力机制的纸病分类方法如图1所示。将待检测的缺陷图片进行亮度增强、锐化滤波与对比度增强、Sobel边缘检测等图像增强算法后，分别输入到3个共享权重的Resnet进行浅层特征提取得到局部特征;随后将3个特征图进行concate融合得到全局特征。此时融合得到的特征图包含待检测缺陷图片的直线信息、边缘信息等多尺度信息。最后将包含多尺度信息的全局特征图输入带有attention机制的Resnet，让网络更多关注能区别缺陷类别的特征，从而更好地进行分类。

　　1.1亮度增强

　　亮度增强就是改变图像的亮度和对比度，实际是对图像的每个像素点进行相应操作。具体过程可由式

　　式中，gli.j)及f(ij)代表图像在(i.j)这个点亮度增强前后的像素值;参数a代表使图像像素增长或降低的倍率，该参数必须大于0;参数B代表向白色或黑色靠近的程度，该值可正可负。

　　该算法对纸张中的污点、边裂、孔洞响应特别强烈，具体效果如图2-图4所示，其中左图为原图，右图为亮度增强后的图像。

　　1.2 锐化滤波

　　锐化空间滤波器主要用来增强图像的突变信息，图像细节信息和边缘信息。使用邻域的微分作为算子，增大邻域间像素的差值，使图像的突变部分变得更加明显。从图像灰度的一阶微分和二阶微分的性质可知，在灰度值变化的地方，一阶微分和二阶微分的值均不为0，在灰度恒定的地方，微分值均为0。因此，使用一阶微分和二阶微分都可以得到图像灰度的变化值。本课题中使用二阶算子，纸病图片可以看作二维离散函数，对于二阶微分的 x方向和 y方向如式(2)和式(3)所示。

　　二阶微分在斜坡处的值为0，但在斜坡两端值不为0，且符号不同，这样二阶微分得到的是由0分开的1 个像素宽的双边缘。也就是说，与一阶微分相比，二阶微分在增强图像细节方面更好，且计算更方便。

　　二阶微分算子的代表为拉普拉斯算子 (▽)，定义如式(4)~式(6)所示。

　　该算法对纸张中的折痕、划痕等直线部分响应特别强烈，具体效果如图 5和图 6所示，其中左图为原图，右图为锐化后的图像。

　　1. 3 Sobel边缘检测

　　Sobel算子包含2组3×3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。A代表原始图像，Gx及 Gy分别代表经横向及纵向边缘检测的图像灰度值，如式(7)和式(8)所示。

　　图像的每个像素的横向及纵向灰度值通过式(9)计算，以计算该点灰度的大小。

　　如果梯度G大于某一阀值，则认为点(x, y)为边缘点，可通过式(10)计算梯度方向。

　　Sobel 算子根据像素点上下、左右邻点灰度加权差在边缘处达到极值这一现象检测边缘;同时，对噪声具有平滑作用，可提供较为精确的边缘方向信息。该算法几乎对所有纸病响应都特别强烈，具体效果如图 7和图 8所示，其中左图为原图，右图为锐化后的图像。

　　1.4 Resnet特征提取器与分类器Resnet是由He等人"提出的一种基于CNN的特征提取框架，主要解决了深度神经网络的“退化”问题。

　　1.4.1 批量归一化

　　神经网络学习过程的本质一方面是为了学习数据分布，如果训练数据与测试数据的分布不同，则网络的泛化能力会大大降低;另一方面，如果每批训练数据的分布各不相同，则每次迭代都需学习适应不同的分布，会大大降低网络的训练速度，因此需要对数据做归一化预处理。

　　首先计算每个批次的均值 (μB) 与方差 (σB)，计算公式如式(11)和式(12)所示。

　　然后根据上面计算得到的结果进行正则化，如式(13)所示。

　　为了让学习到的特征分布不被破坏，需对其进行变换重构，如式(14)所示。

　　1. 4. 2 池化层

　　由于Resnet使网络加入了更多的单元，导致整个网络隐藏层参数增多，训练时易造成过拟合的状况。为了减少参数的复杂度，采用最大池化，使其不再严格要求相邻块聚合到 1 个上层块，第 l+1 层的特征图如式(15)所示。

　　图9为未经池化的网络结构，图10为经过池化后的网络结构。如图9和图10所示，2者对比可以直观

　　看出池化层对于降低特征分辨率的作用。

　　1. 4. 3 注意力机制

　　卷积注意力模块 (CBAM) 是 Woo 等人[10]提出的一种用于前馈卷积神经网络的注意力模块。给定1个中间特征图，CBAM会沿着2个独立的维度(通道和空间)依次推断注意力图，然后将注意力图与输人特征图相乘以进行自适应特征优化。

　　通道注意力模块将特征图在空间维度上进行压缩，得到1个一维矢量后再进行操作。在空间维度上进行压缩时，不仅考虑了平均值池化还考虑了最大值池化，如式(16)所示。

　　空间注意力模块对通道进行压缩，在通道维度分别进行了平均值池化和最大值池化，接着将前面提取到的特征图 (通道数都为 1) 合并得到 1 个 2 通道的特征图，如式(17)所示。

　　1.5算法描述

　　本课题采用多尺度特征融合结合注意力机制的纸病分类方法，利用不同图像增强算法对不同纸张缺陷类型的响应程度不同，将这些特征拼接后输入至Resnet进行特征提取，然后利用融合注意力机制的Resnet模型将网络关注的重点集中到纸张缺陷区域，进而实现纸张缺陷分类。

　　多尺度特征融合结合注意力机制的纸病分类算法具体步骤如下。

　　(1)准备纸病图像数据，采用旋转、平移、拼接等操作进行数据扩充;

　　(2)将扩充后的数据随机划分为训练集合测试集;

　　(3)利用亮度增强、锐化滤波、Sobel边缘检测3种算法分别对训练集图像进行处理，得到3张增强后的图像;

　　(4)将这3张图像分别送入3个共享参数的Resnet中进行特征提取得到局部特征;

　　(5)将步骤4得到的3个局部特征图进行拼接融合得到全局特征图;

　　(6)将全局特征图送人融合CBAM的Resnet中进行分类;

　　(7)重复步骤4-6直至网络收敏;

　　(8)将测试数据进行数据增强后，送至训练好的网络进行分类，得到测试集数据对应的预测标签;(9)将测试集的预测标签与实际标签对比，计算纸病识别分类正确率。

　　算法流程图如图11所示。

　　2 实验与分析

　　2. 1 实验条件

　　实验硬件环境如下：64 位 Microsoft Windows 10操作系统，Intel(R)Core(TM)CPU i5-4590 CPU@3.3 GHz四核处理器，8G 运行内存，GPU 采用 GTX 1080Ti。实验软件环境：IDE 为 Pycharm，深度学习框架为开源的Pytorch。

　　2. 2 实验数据准备

　　实验通过实际纸病图像分类，验证本课题算法的可行性。实验选择的各纸病类别及其数量如表1所示。

　　首先对每个类别的数据进行逆时针旋转9001800，270等操作以进行数据扩充，扩充后的图像总计2097个，每张图像的尺寸为116x116x3 dpi。随后按8：2比例将总数据集随机划分成训练集和测试集。对比纸病类别标签与实际类别标签，对实验结果进行评价。

　　2.3深度网络训练过程及结果

　　在对样本进行多次训练，不断调整参数后，最终设定训练集的batch size为32，测试集的batchsize为64，优化器采用SDG，设置基础学习率base_r为

　　0.01，且每迭代50次衰减1次，衰减系数为0.1，设置权重衰减系数weight-decay为0.0001，训练的最大迭代次数max_iter为500，为了防止过拟合，设置Drop out为0.5.

　　训练后，模型在收敛过程中的训练集和测试集的ace变化如图12所示。在上述设置的参数下，模型在训练集的最终准确率为99.43%，在测试集的最终准确率为96.63%。由此可知，本课题所设计的算法在纸病样本上得到了较好的收敛。

　　2.4不同方法结果对比

　　为了验证本课题提出方法的有效性，将不同方法应用在自建数据集上比较结果，如表2所示。从表2可以看出，本课题提出的方法在损失较小实时性的同时，在纸病识别准确率上获得较大的提升，证明性能十分优异。

　　3结论

　　针对不同纸病类别对不同数据增强算法响应差别较大的问题，本课题提出了一种多尺度特征融合结合注意力机制的纸病分类方法。该方法先利用亮度增强、锐化器、Sobel边缘检测的方法分别对纸病进行图像增强，不同纸病类别虽不能对每种图像增强方法都响应强烈，但会对其中至少1种或2种方法有较好响应。本方法将这些响应进行特征融合后送入带有注意力机制的卷积神经网络中，让其重点关注那些响应强烈的特征，以此进行分类。本分类算法在测试集上的分类准确率达到了96.63%，同时耗时少于一般传统方法，证明了本方法的优越性和实用性。

　　参考文献

　　[1]高乐乐，周强，王伟刚，基于CNN的深层次特征提取病辨识方法研究[J].中造2报，2019，34(4)：52-58.

　　GAO LL，ZHOU Q，WANG W G.Paper Defects Recognition Based on Deep Layer Feature Extraction of CNN[J].Transactions of China Pulp and Paper，2019，34(4)：52-58，

　　[2]Rakesh Kumar Jain，Vikas Kumar.Status，Prospects&Perspectives of Indian Paper Industry[J].Paper and Biomaterials，2019，4(1)：57-64.

　　[3]袁浩，付忠良，程建，等，基于支持向量机的纸张缺陷图像分类识别[J].计算机应用，2008，28(2)：330-332+349.

　　YUAN H，FU Z L，CHENG J，et al.Paper defect image classification and recognition based on support vector machine[J].Journal of Computer Applications，2008，28(2)：330-332+349.

　　[4]张学兰，李军，辛培红，等，边缘检测在纸病图像分析中的应用[J].造纸科学与技术，2012，31(6)：121-125.

　　ZHANG XL，LI J，XIN P H，et al.The Application of Edge Detection in Paper Defect Image[J].Paper Science&Technology，2012，31(6)：121-125.

　　[5]陈瑁，王亦红，基于机器视觉的低对比度纸病识别算法研究[J].中国造纸学报，2013，28(2)：29-33.

　　CHEN J.WANG Y H.Identification Algorithm of low Contrast Pa-per Defects Based on Machine Vision[J].Transactions of China Pulp and Paper，2013，28(2)：29-33.

　　[6]殷燕屏，熊智新，胡慕伊，基于阈值分割及分形特征的纸病图像识别算法研究[J].中国造学报，2011，26(4)：41-45.

　　YIN Y P，XIONG Z X，HU M Y.Paper Defect Image Recognition Algorithm Based on Threshold Segmentation and Fractal Features [J].Transactions of China Pulp and Paper，2011，26(4)：41-45.

　　[7]段茵，陈恺煊，刘 昕，等，基于BP神经网络的纸张缺陷检测与识别研究[J].西安理工大学学报，2018，34(2)：235-239.

　　DUAN Y，CHEN K X，LIU X，et al.Research on paper defect detection and recognition based on BP neural network[J].Journal of Xi'an University of Technology，2018，34(2)：235-239

　　[8]李光明，薛丁华，加小红，等，基于多尺度图像增强结合卷积神经网络的纸病识别分类[J].中国造纸，2018，37(8)：47-54.

　　LI G M，XUE D H，JIA X H，et al.Paper Defects ClassificationBased on Multi-scale Image Enhancement Combined with Convolu-

　　tion Neural Network[J].China Pulp&Paper，2018，37(8)：47-54.

　　[9]He K，Zhang X，Ren S，et al.Deep Residual Leamning for Image Recognition[C]/2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016：770-778.

　　[10]Woo s，Park J，Lee J Y，et al.Cbam：Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision，2018：3-19.