基于改进CenterNet的交通监控车辆检测算法

成 怡，张 宇，李宝全

(天津工业大学控制科学与工程学院，天津 300387)

近年来，基于视觉的车辆检测方法在城市交通监控系统中得到广泛应用。通过监控设备实时获取当前道路车辆信息，对于道路安全以及交通调度具有重要意义。传统的监控检测算法依赖于人工标定的车辆目标特征[1]，泛化能力差，检测精度容易受天气、光照等因素影响，且处理图像时存在丢失帧[2]等问题，已经无法适用于日益复杂的监控场景。随着神经网络的发展，基于深度学习的检测方法开始在车辆检测中得到应用。

Arabi S等提出了一种基于单目相机的轻量级车辆检测网络，对MobileNet进行改进并作为检测网络，可适用于嵌入式设备[3]。李松江等针对小目标以及车辆遮挡情况，改进特征金字塔增强上下文信息，并在多支路引入空洞卷积，减少特征丢失[4]。杜金航等在Darknet53基础上修改为30层的卷积网络，减少计算成本，提升YOLO v3车辆检测精度[5]。

目前主流的检测算法，如Faster R-CNN、SSD、YOLO V3等，大多数属于Anchor-based算法[6]。Anchor-based算法会在候选区域生成大量预设置好的先验框，引入额外的超参数。由于输入图像的待检测目标数量是有限的，为了提高召回率，往往会针对每个目标点生成大量无用的先验框，产生不必要的负样本，造成冗余的同时影响正负样本平衡性[7]。另外锚框比例是固定的，对于不同尺度变化的目标检测难度很大，降低了模型的泛化能力。

为了消除检测过程中重复的检测框，减少模型参数，Anchor-free算法在近些年逐渐受到关注。Anchor-free算法不依赖预设的锚框，直接对输入图像进行特征提取，根据所提取特征回归检测对象的位置以及尺寸信息，典型代表网络有CornerNet、FCOS、CenterNet[8]等。

CenterNet不需要设计复杂的锚框，在执行检测任务时，只需要在全卷积网络结构上进行简单的前向计算，不依赖NMS等后处理操作，大大减少了网络参数和计算量[9]，适合实时车辆检测任务。与基于Anchor-based的目标检测算法不同，CenterNet仅需要确定目标中心点位置，不需要手动设置阈值[10]来进行前景背景分类，降低了对数据集正负样本的要求。

本文研究CenterNet在交通监控车辆检测中的应用，提出一种改进的CenterNet车辆检测算法，提高检测精度。首先选取ResNet101作为主干特征提取网络，借鉴SCNet[11]引入SCConv扩大网络感受野。其次，对深度可分离卷积改进并应用于解码网络中，加强特征提取能力。最后在解码过程引入注意力机制，实现特征在空间和通道上的信息融合。

CenterNet结构如图1所示，作为一阶段Anchor-Free目标检测算法，将检测对象建模为单个特征点，输入图像经过主干特征提取网络处理得到语义信息丰富的特征层，然后经过解码网络输出目标的热力图，最终经过检测器实现对目标的检测。CenterNet的检测器包含三个分支，分别为：中心点预测分支、中心点偏置预测分支以及目标尺寸分支。中心点预测分支解码热力图上的关键点，每个关键点对应不同类别检测对象中心点的位置。中心点偏置分支对热力图的输出进一步处理，提高检测中心点定位精度。目标尺寸分支利用热力图关键点的图像特征回归得到检测对象的尺寸信息。

图1 CenterNet网络结构

3.1 残差结构改进

针对车辆检测任务，同时考虑到精度和检测速度，本文采用ResNet101网络作为CenterNet的主干特征提取网络。虽然ResNet网络提出的残差结构能够有效地解决网络深度变化引起的梯度爆炸问题，但是残差结构中对特征提取能力最大的只有3×3卷积[12]，特征图的每个位置感受野由卷积核大小以及结构决定，单一的感受野缺乏提取高语义信息特征的能力，对于车辆检测场景中不同尺度的车辆信息提取能力不强，同时残差结构无法对跨通道之间的信息充分交互，影响检测精度。针对以上问题，受SCNet结构启发，本文将ResNet101网络残差结构中3×3卷积替换为SCConv，扩大卷积核对输出特征的感受野，增加对不同目标尺度的车辆检测能力，提升对目标的表征能力，改进结构如图2所示。

CNet是利用SCConv扩大网络空间位置感受野的自矫正卷积网络。如图3所示，SCConv由自矫正分支和常规卷积分支组成，假设卷积核的维度为C×C×H×W，将其划分为K1-K44个小卷积核。输入X按照通道拆分为X1，X2，X1传入自矫正分支，X2传入常规卷积分支，最后将两个分支提取到的特征融合得到最终输出特征。

图2 改进残差结构

在自矫正分支中，K2，K3在不同的空间尺度实现卷积操作。X1经过的r×r池化核进行平均池化后，利用K2进行特征变换和双线性插值。K3与X1卷积后的特征与K2输出特征经过Sigmoid激活，实现卷积自矫正过程。在常规卷积分支中，为了保留原始的空间特征信息，仅对X2进行普通卷积操作。

图3 SCConv结构

3.2 解码网络改进

输入图像经过主干网络生成高分辨率特征图，通过解码网络提取其中的语义信息。解码网络将特征图进行连续三次上采样，分别送入CenterNet的三个分支进行预测。

为减少上采样过程中的特征丢失，本文将深度可分离卷积进行改进，并应用于解码网络中，增加网络宽度，改进结构如图4所示。

为加快收敛速度，减小梯度消失，将深度可分离卷积的ReLU激活函数改为ELU激活函数。由于ReLU函数在负梯度时会被置零，导致网络中部分神经元未激活[13]，产生无用信息，本文在1×1卷积层后采用hard-swish函数代替ReLU激活。hard-swish公式为：

图4 改进深度可分离卷积结构

(1)

hard-swish使用ReLU6能够有效激活神经元，提高神经网络准确性。h-swish函数与ReLU激活函数图像如图5所示。

由图5可以看出，h-swish函数相比ReLU引入非线性因素，将其应用在网络后半部分，随着网络不断加深能有效消除网络精度损失，降低计算成本。

图5 h-swish和ReLU函数曲线

3.3 注意力机制

由于在进行特征提取时往往会出现大量的无用信息，注意力机制在目标检测中逐渐得到广泛应用。本文在解码过程中引入SA[14]注意力机制，将SA注意力融合在改进的深度可分离卷积之后，将输入沿着通道维度划分为多个子特征，每组子特征继续划分成两部分，分别从通道注意力和空间注意力两方面对解码后的特征进行处理。

通道注意力分支首先进行全局平均池化，对全局信息生成权重向量。空间注意力分支利用Group Norm生成特征的空间维度信息。由于两个分支是分别对一半的通道进行操作，为了充分利用所有通道特征，避免只对部分通道使用注意力机制导致特征丢失，采用Channel Shuffle操作实现不同组的特征融合。

相比传统的双线性插值进行上采样，转置卷积引入的非线性因素有利于增强网络的特征表达能力[15]，本文采用转置卷积代替传统的双线性插值操作实现上采样，改进后的单次上采样过程如图6所示。

其中，虚线框中为改进的深度可分离卷积，Conv Transpose为转置卷积。

图6 改进单次上采样结构

3.4 损失函数

CenterNet的损失函数由热力图预测损失、中心点偏置损失以及尺寸预测损失相加得到。

热力图预测损失函数采用Focal Loss的思想对结构改进，为热力图，Y为Ground Truth，以下简称GT。热力图预测损失函数计算公式为

(2)

其中，α和β为超参数，在本文中分别设置为2和4，N为热力图中关键点数量。经平均池化后，热力图中心点p会产生偏差。为修正该偏移误差，设计中心点偏置损失函数，表达式为

(3)

令目标GT中心点位置为pk，回归得到的目标尺寸大小为sk，则尺寸预测损失函数为

(4)

CenterNet整体损失函数为

Ldet=Lk+λsizeLsize+λoffLoff

(5)

其中，λsize=0.1，λoff=1。

针对CenterNet网络在预测过程存在目标中心点定位不准确的问题，本文选用smooth L1函数训练中心点偏置损失函数。在输入变化较大时，smooth L1函数梯度保持稳定状态，训练过程收敛速度更快。改进后损失函数为

(6)

其中

(7)

4.1 数据集和实验环境

本文从交通监控视频中进行抽帧截取作为数据集，如图7所示，数据集共7956张，训练集与验证集比例为8：2，车辆目标分为car，bus，truck三类。实验环境为Ubuntu16.04，Pytorch1.4.0，Cuda10.1，GPU为Nvidia 1080Ti，显存11G。训练学习率采用自适应调整学习率，初始值设置为1×10-4。

图7 数据集示例

4.2 消融实验

本文选取精确度Precision、召回率Recall、平均精度AP以及均值平均精度mAP作为网络性能评估指标。为了评估以上的改进方法，在本文数据集进行消融实验，以主干特征提取网络为ResNet101的CenterNet为基线模型，依次加入SCConv、改进深度可分离卷积、注意力机制，各项改进后AP见表1。

消融实验展示了各项改进对检测性能的影响，SCConv、改进深度可分离卷积和SA注意力机制的组合相比基线模型在三类目标精度均有提高。

表1 消融实验

4.3 改进前后效果对比

将CenterNet与本文改进网络均训练110次，模型损失变化曲线对比如图8所示，其中纵坐标为训练损失值，横坐标为训练迭代次数。

从图8可以看出，改进网络在前20次迭代损失值下降速度较快，经过90次迭代后稳定在0.28，相比原网络损失值降低了1.02。

图8 改进前后训练损失曲线

原网络与改进后网络的AP曲线如图9所示，其中横坐标为召回率Recall，纵坐标为精确度Precision，由二者组成的曲线占整体面积的百分比为平均精度AP。由图9可以看出，改进后网络在每个目标类别召回率和AP均有提升，其中car类AP提升了9.55%，bus类AP提升6.74%，truck类AP提升13.28%。由于网络感受野扩大，同时抑制了特征层处理过程中的无用信息，有效提升了车辆检测效果。

CenterNet和本文改进的CenterNet在测试集的检测效果如图10所示。每组图片左边为CenterNet检测效果，右侧为改进的CenterNet检测效果。由图10可以看出，改进后网络在车辆识别精度上得到了显著提高。

图9 改进前后AP曲线对比

4.4 与其它算法对比

为了进一步验证本文改进算法效果，选取EfficientDet-D0、YOLO v3、M2Det与本文算法对比，结果见表2。从表2可以看出，改进后CenterNet相比原网络mAP提升了9.86%，检测速度适用于监控场景车辆检测。

表2 几种算法性能对比

本文将CenterNet网络引入到城市交通监控车辆检测中，针对CenterNet检测精度低的问题对其进行改进。在主干特征提取网络中引入SCConv卷积，提升车辆目标特征提取能力；
使用改进的深度可分离卷积，在保留更多特征信息的同时加深网络宽度；
采用SA注意力机制，抑制解码过程中的无用特征。实验结果表明，本文改进的算法相比原算法在检测精度上有了较大提升，满足对城市交通监控场景车辆检测的需求。

图10 改进前后检测效果对比4.4 与其它算法对比

猜你喜欢中心点解码分支《解码万吨站》中国石油石化(2022年12期)2022-07-16一种基于标准差的K-medoids聚类算法计算机技术与发展(2020年8期)2020-08-12Scratch 3.9更新了什么?电脑报(2020年12期)2020-06-30解码eUCP2.0中国外汇(2019年19期)2019-11-26如何设置造型中心点？电脑报(2019年4期)2019-09-10巧分支与枝学生天地(2019年28期)2019-08-25NAD C368解码/放大器一体机家庭影院技术(2018年11期)2019-01-21Quad(国都)Vena解码/放大器一体机家庭影院技术(2018年11期)2019-01-21一类拟齐次多项式中心的极限环分支数学物理学报(2018年1期)2018-03-26寻找视觉中心点大众摄影(2015年9期)2015-09-06

推荐访问:算法 监控 改进