一种基于密集连接策略和图像梯度的路面裂缝分割方法

技术领域

[0001] 本发明属于裂缝分割技术领域，具体涉及一种基于密集连接策略和图像梯度的路面裂缝分割方法。

背景技术

[0002] 道路是交通系统重要组成部分，为人们日常出行提供了很大便利。裂缝是道路表面最常见的缺陷。为了确保运输交通安全，定期对道路进行裂缝检测具有重要意义。然而，人工检测裂缝耗时低效，还易引发安全问题。因此，自动检测裂缝方法成为近年学者研究的一个热门问题。

[0003] 早期，随着图像处理技术的发展，采用基于数字图像处理方法来自动检测裂缝。考虑裂缝与背景阈值之间差异，使用基于阈值的方法来分割裂缝区域。

[0004] 由于裂缝与背景的灰度梯度、形态特征的差异，提出了边缘检测法、区域生长法等。但这些方法适用对比度高、连续性的裂缝图像，很难处理复杂背景和拓扑结构问题。为了克服上述问题，提出人工制作特征提取裂缝特征的方法，采用支持向量机和随机森林等算法完成裂缝检测。然而，在实际检测中，裂缝特征的复杂性导致人工制作特征与实际偏差较大，导致检测准确性难以满足应用需求。

[0005] 近年来，由于深度学习方法可以自动从数据中学习特征的能力，在计算机视觉中得到广泛的应用，比如图像分类、目标检测、图像分割等视觉任务。研究人员将深度学习方法应用到裂缝检测，提高了裂缝检测的效率和准确性。一些工作将裂缝检测视为一个分类任务，结合CNN模型和滑动窗口法来检测裂缝。但由于全连接层的存在，效率低、计算量大。另一些工作利用目标检测方法来定位裂缝的位置信息,但无法获取裂缝的几何特征。自全卷积神经网络(FCN)被提出以来，图像分割领域发展迅速。一些工作将裂缝检测视为一个分割任务，如典型的端到端的Encoder‑Decoder框架SegNet、U‑Net等。

[0006] 研究中发现，Encoder‑Decoder结构一定程度上减少了裂缝特征的丢失。但由于池化层的存在，仍然丢失了部分细节特征信息。现有的图像分割方法提高了裂缝检测的精度，但是大部分网络特征提取缺乏足够的非局部信息，且预测的裂缝边缘较厚。另外，裂缝检测往往会遇到类别极端不平衡的问题，导致很难提升最终性能。

发明内容

[0007] 为了克服上述现有技术存在的不足，本发明提供了一种基于密集连接策略和图像梯度的路面裂缝分割方法。

[0008] 为了实现上述目的，本发明提供如下技术方案：

[0009] 一种基于密集连接策略和图像梯度的路面裂缝分割方法，包括：

[0010] 构建路面裂缝分割模型；

[0011] 其中，所述路面裂缝分割模型包括：

[0012] 特征编码器模块，所述特征编码器模块为舍弃全连接层后的五层结构的resnet50网络，其各个层之间采用密集连接策略相连接；用于输出特征图；

[0013] 特征强化模块，用于接收特征图并输出强化后的特征图；

[0014] 特征解码器模块，其包括5个逆卷积层，且与特征编码器模块的五层结构相桥接；用于将强化后的特征图转换成目标图像；

[0015] 边缘细化器模块，用于利用Sobel算子将图像转化成真实边缘梯度图像；

[0016] 图像拼接模块，用于将真实边缘梯度图像和目标图像相拼接，输出目标分割图像；

[0017] 将路面原始图像输入训练好的所述路面裂缝分割模型中的边缘细化器模块和特征编码器模块中，输出目标分割图像。

[0018] 进一步，所述特征编码器模块与所述特征解码器模块相桥接的方式为：

[0019] 将特征编码模块从输入到输出端每一层输出的特征图分别记作n1‑n5,将特征解码器模块从靠近特征强化模块到远离特征强化模块的每一层输出的图像分别记作b1‑b5；其中n5经过特征强化模块强化特征后，被输入到特征解码器模块中，经过一次逆卷积处理后输出b5,将b5与n4进行拼接后作为下一次逆卷积操作的输入，依次类推。

[0020] 进一步，将所述特征编码器模块所输出的n1和n2特征图经过SimAM注意力模块处理后，分别与特征解码器模块中的b4和b3相拼接。

[0021] 进一步，将所述特征编码器模块所输出的n3和n4特征图经过Dropout处理后，分别与特征解码器模块中的b2和b1相拼接。

[0022] 进一步，所述边缘细化器模块还包括：

[0023] 通道增强模块，用于将真实边缘梯度图像进行通道增强，其包括：1*1卷积层；全局平均池化层，其输入端与1*1卷积层输出端相连；2×2的混合池化层，其输入端与1*1卷积层输出端相连；4×4的混合池化层，其输入端与1*1卷积层输出端相连；特征图拼接层，其输入端与全局平均池化层、2×2的混合池化层、4×4的混合池化层的输出端相连；两个串联的全连接层，其输入端与特征图拼接层的输出端相连，用于输出各通道权重；特征图生成层，其输入端与两个串联的全连接层的输出端相连，用于将权重与特征相乘，得到增强通道后的真实边缘梯度图像；

[0024] 空间增强模块，用于将通道增强后的真实边缘梯度图像进行空间增强，其包括三个并联的分支，包括：3×3卷积层；3×3卷积层串联4×4混合池化层；3×3卷积层串联2×2混合池化层。

[0025] 进一步，所述路面裂缝分割模型训练的损失函数为：

[0026] L＝Lside(X,Y,W,w)+Lfuse(X,Y,W)

[0027] 其中，Lside为解码阶段五个侧输出的损失函数，Lfuse为路面裂缝分割模型输出的损失函数，X为原始图像，Y为标签，W为网络学习的参数，w为权重。

[0028] 进一步：

[0029] Lfuse(X,Y,W)＝L′WCE(X,Y,W)+LDice(X,Y,W)

[0030] 其中，L'WCE为改进的加权交叉熵损失函数，LDice为骰子损失函数。

[0031] 进一步，所述改进的加权交叉熵损失函数为：

[0032]

[0033] 其中，α满足：

[0034]

[0035] 其中，β＝|G‑|/(|G+|+|G‑|)，G‑和G+分别表示边缘和非边缘真实标签集。

[0036] 进一步，所述特征强化模块包括：可变形卷积模块和与可变形卷积模块输出端相连的增强卷积模块；所述增强卷积模块包括：

[0037] 1×1卷积层；1×1卷积层串联3×3扩张卷积层；1×1卷积层串联3×3扩张卷积层串联3×3扩张卷积层；1×1卷积层串联3×3扩张卷积层；混合池化层串联1×1卷积层；所述混合池化层包括三个并联的池化层，其包括：k×k平均池化层；1×k平均池化层；k×1平均池化层。

[0038] 本发明提供的一种基于密集连接策略和图像梯度的路面裂缝分割方法具有以下有益效果：

[0039] 本发明以resnet50作为特征提取网络，将各编码阶段用密集连接策略来重用低级特征，以保留边缘细节信息；采用可变形卷积，更有效的提取拓扑结构裂缝特征；采用增强卷积模块代替传统卷积，从而获取多尺度信息特征；使得最终预测结果融合了各解码阶段特征信息，使用Sobel算子生成真实边缘梯度图像，进一步细化了网络预测结果。