深度图像引导的岩石颗粒分割方法

　　摘要：堆石料的形状、尺寸以及级配等参数直接影响堆石坝的稳定性和抗渗性能，为满足工程建设质量需求，需要对堆石料进行测量分析。当前主要采用人工的方式筛分堆石料，效率低下。而传统的图像分割算法分割精度低，无法准确测量岩石的参数信息。针对这一问题，本文提出一种深度图像引导的岩石颗粒分割方法。首先对深度图像进行预处理，去除深度图像的噪声;然后提取深度图像与可见光图像的随机特征和显著性特征，并对随机特征进行多次抽样;最后根据多组随机特征和显著性特征得到多个分割预测结果，并选择最优的分割。实验结果表明，本文方法能够实现岩石颗粒的准确分割，并将其应用到岩石颗粒度评估的场景中，计算岩石颗粒参数信息。

　　关键词：图像分割;深度图像;可见光图像;显著性检测;堆石料;随机特征;显著性特征;级配

　　1堆石料开采过程中常采取爆破直采的方法[1]。

　　堆石坝的填筑材料需要具有良好的级配，以保证坝体的稳定性[2]。同时堆石料的级配性状直接影响到石坝的力学特性和抗渗性能[34]。因此需要对堆石料进行准确的测量，将石料的粒径控制在一定的范围内。传统的岩石颗粒筛分以人工的方式进行，通过肉眼估计或手工测量的方法，需要花费大量的人力和时间成本，效率低下且精确度不够。相较于传统的人工筛分法，图像分割技术具有简单、快速、花费小的优点，能够实现更智能化的堆石料岩石颗粒参数测量和分析[5]。通过图像处理技术，对岩石颗粒图像进行分割后获取岩石颗粒的形状等信息，能够测算堆石料的级配数据。在岩石图像分割方面，目前有很多学者进行了大量的研究。

　　文献[5]提出一种基于MaskCNN和分水岭算法的岩石颗粒图像分割方法，能避免图像过分割和欠分割的问题，但网络训练过程耗时较长;文献[6]通过分类器学习图像的特征，利用图像特征对像素进行分类后实现分割，但方法对岩石颗粒图像的分割精度低;文献[7]提取图像感兴趣的区域后进行SRM图像分割，对小面积区域进行合并处理得到最终的分割结果。

　　但该方法无法准确分割复杂的岩石颗粒图像，效果较差;文献[8]利用改进的图论归一化割算法来分割矿岩颗粒图像，分割精度低;文献[9]结合深度信息和图像区域特征聚类的算法进行显著性目标检测，分割效果较好。传统的分割算法大多只使用到了颜色、灰度等特征信息，同时算法应用的待分割图像中目标数较少，目标与背景区分明显，分割任务较为简单。

　　当面对目标数多，形状不规则，颜色相近的岩石图像分割任务时，通常难以实现准确的分割，存在一定的局限性[1012]。随着深度传感器技术的发展，有效利用深度信息这一重要的视觉信息成为了可能，并为图像分割提供了新的解决方案，有效提高了分割的精确度[1317]。针对岩石图像难以精确分割的问题，本文提出了一种深度图像引导的岩石颗粒分割方法，有效利用了深度图像所提供的三维距离信息辅助分割[8,16,18]。

　　协同利用可见光图像和深度图像的信息冗余性和互补性，大幅提高了岩石颗粒图像分割的准确性[1922]。首先对深度图像进行预处理，去除深度图像中的噪声;然后通过神经网络提取深度图像和可见光图像中的随机特征和显著性特征，并对随机特征进行多次采样得到多组不同的随机特征;最后结合显著性特征和多组不同的随机特征，得到多个图像分割预测结果图像，并选择最优的分割结果。实验结果证明，该算法在分割目标数目多、边界模糊的复杂场景下能实现准确的分割。对精确分割堆石坝石料，保障堆石坝填筑材料的良好级配，提高坝体稳定性有着极大的应用价值。

　　1图像分割算法

　　1.1算法流程

　　本文提出的深度图像引导的岩石颗粒分割方法的流程如下：(1)通过深度图校正网络优化深度图像，去除原始深度图像中的噪声;(2)通过先验网络对深度图像与可见光图像进行卷积操作，将RGBD图像对映射至低维的特征空间，提取图像中的随机特征;(3)通过显著性网络提取优化后的深度图像 和可见光图像的显著性特征;(4)对随机特征进行多次采样，并结合显著性特征，得到多个图像分割预测结果;(5)通过显著性共识网络，根据每个预测结果各个位置的像素值，投票选出对应位置的像素值，得到最终的图像分割结果。

　　1.特征提取

　　1.2.1深度图像校正

　　深度图像的获取主要采用深度传感器或双目立体相机计算深度的方式。不论是深度传感器获取得到的深度，还是双目立体相机计算得到的深度图像，深度图像中都会存在一定的噪声[23]。同时，由于遮挡、光照等原因，深度图像中存在有无效点构成的缺失区域。深度图像的灰度值变化反映了场景中距离信息的变化，可以近似地认为深度图像的边缘与可见光图像的边缘具有一致性。

　　因此，可以利用可见光图像的边缘信息对深度图像进行校正处理。通过基于语义引导的深度图校正网络[24]，得到处理后的深度图像。深度图校正网络的编码部分采用VGG16网络[24]前五级作为输入图像的编码器，并删去了网络第五个池化层之后的全连接层。SS15分别表示为VGG16网络删去第五个池化层之后的全连接层之后，剩余网络部分的五组卷积层和池化层。解码部分由四个连续卷积层和双线性上采样操作组成。

　　2实验结果及分析

　　针对实际场景下堆石料岩石颗粒图像具有不同的岩块类型，本文使用ZED2双目相机拍摄了多种类型的岩石颗粒图像，并制作数据集。其中，数据集共包含岩石颗粒RGBD图像1000组。训练集与测试集以9:1的比例进行划分。训练集包含900组岩石颗粒的RGBD图像及真值图像GT;测试集包含100组岩石颗粒的RGBD图像及真值图像GT。

　　2.1分割结果预测实验

　　本文算法针对不同类型的岩石图像进行分割实验对比。并与传统分割算法OTSU分割算法，分水岭分割算法以及深度学习算法UNet[26]，RTFNet[27]进行比较，验证本文算法的分割效果与成功率。

　　对测试集中100组RGBD图像进行算法分割结果预测实验，根据岩石形状、大小、堆叠以及遮挡情况将实验图像划分为四组。其中，组图像岩石数目以及形状较为简单，岩石之间间隔大，易于区分。组图像岩石形状、大小复杂，有堆叠、粘连的问题，同时有较多的非岩石目标物。组图像岩块之间的堆叠现象较为严重，难以区分岩石边界。组图像岩石的堆叠、粘连现象严重，存在有非岩石目标物遮挡的情况。

　　2.1.1传统分割算法结果

　　OTSU分割算法通过最大化类间方差划分图像中的目标和背景。对于组岩石图像，OTSU分割算法能够较好的处理图像，但是分割结果并不精确，同时并未很好地区分前景与背景，还出现了错误分割的问题;对于组岩石图像，OTSU分割算法对光照较为敏感，同时无法处理岩石之间的粘连部分，出现了错误分割的问题;对于组岩石图像，OTSU无法区分前景与背景，在岩石堆叠部分的分割出现错误;对于组岩石图像，OTSU分割算法无法区分非岩石目标物，对其他目标物出现了错误的分割。

　　为分水岭分割算法的分割结果图像，分水岭分割算法将待分割图像按照像素灰度值进行排序，局部极小值处被视为集水盆地，盆地的边界构成分水岭。对于四组岩石图像，分水岭算法的分割效果均较差，无法实现岩石的正确分割。根据分割结果可知，两种传统的图像分割算法，OTSU分割算法与分水岭分割算法对于岩石图像分割的效果均较差。其中，OTSU分割算法对岩石图像能够进行较好的处理，然而其分割结果并不准确，背景存在有明显的噪声;分水岭分割算法完全无法实现岩石图像的正确分割。

　　2.2定量分析

　　2.2.1评价指标

　　本文选取平均绝对误差(MeanAbsoluteError,MAE)[28]、measure[29]、加权measure[30]、measure[31]、measure[32]以及AreaUndertheCurve(AUC)作为算法性能的评价指标。实验中各个算法对100组测试图像均做了多次重复实验，结果取平均值。MAE通过计算分割结果中每个像素点的值与人工标注图像之间绝对差的均值。代表了误差相对于真实值的大小，值越小反映误差越小。

　　2.3方法应用

　　采用数字图像处理技术的方式，对岩石颗粒图像进行分割，能够实现无接触地测量岩石参数信息。相较于人工筛分的方式具有较大的优势，能够实现更智能化的堆石料岩石颗粒参数测量和分析。然而单独使用可见光图像所提供的颜色、形状、纹理等信息难以实现岩石目标的精确分割，进而影响到岩石参数测量的准确性。

　　读取岩石目标的可见光图像与深度图像，协同使用可见光图像提供的细节信息以及深度图像提供的三维距离信息，完成对岩石图像的精确分割。然后，通过连通域分析方法，标记出图像分割结果图像中的岩石目标，并测量出岩石的面积等参数信息。有助于在堆石坝建设过程对堆石料岩石实现精确地分割后获取堆石料岩石颗粒准确的参数信息，保证堆石料良好的级配，提高坝体的稳定性。

　　3结论

　　本文提出了一种深度图像引导的岩石颗粒分割方法，利用深度图像所提供的三维距离信息辅助分割岩石颗粒并测量参数。1)算法对初始的深度图像进行优化，增加深度图像的语义和几何信息。通过模拟标注真值图像的不确定性，网络输出多组图像分割预测结果并选择最优的分割图像。2)由于堆石料岩石颗粒图像具有待分割目标多、岩石间堆叠粘连、目标与背景相近的问题，现有的大部分图像分割算法无法实现精确的图像分割。本文算法有效利用了深度图像的三维距离信息，大幅提高了图像分割的精确度。本文算法协同使用岩石RGBD图像进行分割，算法在多个评价指标上均优于对比算法，分割精度高。算法后续可以应用到岩石颗粒度评估的场景中，获取岩石颗粒的形状等信息，测算堆石料的级配数据。

　　参考文献

　　[1]杨晨光钟权冷振东等.猴子岩面板堆石坝石料开采爆破试验与分析[J].长江科学院院报,2015,32(10):7073.

　　[2]陈兵于沭温彦锋等.宽级配粗粒土数值试验微观参数的敏感性分析[J].水利学报,2015,46(S1):31520.

　　[3]雷雨萌陈祖煜于沭等.基于深度阈值卷积模型的土石料级配智能检测方法研究[J].水利学报,2021,52(3):369380.

　　[4]朱晟钟春欣郑希镭等.堆石体的填筑标准与级配优化研究[J].岩土工程学报,2018,40(1):10815.

　　[5]司晨冉王仁超邸阔等.一种基于MaskRCNN和分水岭算法的岩石颗粒图像分割方法[J].水电能源科学,2020,38(11):128,129132.

　　[6]崔冰王卫星.基于统计模式识别的岩石节理图像分割方法J].计算机工程与应用,2006(10):21315.

　　[7]吴拥苏桂芬滕奇志等.岩石薄片正交偏光图像的颗粒分割方法[J].科学技术与工程,2013,13(31):92019206.

　　[8]杨丹丹王卫星廖一鹏.基于多尺度分析及图论归一化割的矿岩颗粒图像分割及应用[J].四川大学学报工程科学版),2015,47(S1):118124.

　　作者：严良平,潘月梁,姜雄彪,陆秋雨,徐畅