基于分支网络辅助任务的端到端自动驾驶

　　摘要：深度卷积神经网络CNN通过输入图片直接预测出方向盘转角，以端到端的方式应用在自动驾驶车道保持任务上并取得了较好的效果。但在同时进行车道保持与绕开障碍物难题上，当前的方法还不足以对车辆有较好的控制。采用分支网络辅助任务学习方法，首先采用深度卷积神经网络CNN与长短期循环神经网络LSTM相结合，设计鲁棒性的CNN+LSTM分支网络结构，其次采用语义分割的辅助任务。基于分支网络辅助任务的端到端自动驾驶网络模型不仅能获取场景的空间与时序信息，还能有效地对驾驶场景进行语义理解，从而完成对车辆方向盘转角和速度的同时预测，最终较好地完成同时车道保持与避障绕开的驾驶行为。此网络框架在自动驾驶模拟器GTAV和实车上已经得到验证。

　　关键词：人工智能,自动驾驶,分支网络,神经网络。

　　1引言

　　随着深度学习尤其是深度卷积神经网络CNN的发展，自动驾驶技术得到了蓬勃发展。在传统的自动驾驶中，基本采用规则系统的模块化方法[1-5]，一般分为感知融合、决策规划和控制几大模块。其优点是各模块的任务明确，系统出现问题时可进行快速排查，系统的可靠性较高。

　　然而，这种方案依赖于各个模块的人工精细设计，往往覆盖不了驾驶的各种场景，处理复杂路况的能力有限，需要耗费大量人力物力财力进行数据标注。而基于深度学习的端到端自动驾驶是通过模仿驾驶员驾驶行为，直接将原始数据输入深度学习网络，输出车辆的控制信号。不需要对各个模块进行复杂精细的设，训练数据可以直接通过车载摄像头和车载CAN中得到。

　　2016年，Nvidia的研究者使用深度卷积神经网络实现了在各种道路环境下对自动驾驶车辆方向盘转角的端到端控制，通过输入原始图片直接预测出方向盘转角[6]。XUH等人提出了FCN+LSTM的网络结构[7]，引入了语义分割的辅助任务，加强了网络对行驶场景的理解，同时预测了车辆在横向和纵向两个方向上的动作概率。利用车辆行驶过程中的空间和时间信息，CHIL等人设计了ConvLSTM网络有效地提高了端到端模型对车辆转角的预测准确率[8]。

　　Dosovitskiy，Alexey[9]等提出了模仿学习的端到端自动驾驶，引入左转、右转、直行导航信息的分支网络结构，同时预测车辆的方向盘转角与加速度。上述论文中的方法都能在一定程度上通过深度学习端到端网络形式较好地完成对车辆的方向盘控制，但在同时进行车道保持与绕开避障物难题上具有一定的局限性。本论文(1)主要设计一种卷积神经网络CNN与长短期循环神经网络LSTM相结合的CNN+LSTM鲁棒性分支网络结构，并以语义分割作为辅助任务，同时预测方向盘转角和车速，进行车道保持与绕开障碍物;(2)本文设计的模型性能在GTAV虚拟数据集、实车数据集均得到了有效的离线分析和验证，在真实场景下进行了在线测试。

　　2方法

　　2.1CNN+LSTM分支网络结构

　　针对车道保持与避障绕开是两个相互独立问题，若用一个网络结构，很难既能较好的车道保持又能绕道避障，本文采用CNN+LSTM的分支网络来训练端到端自动驾驶模型。我们对车道保持与避障绕开采用不同的模式输入，共享一部分卷积层CNN的特征参数，然后利用模式信息输入到不同的卷积层、LSTM以及FC结构，最后同时预测出方向盘转角与速度。其中车道保持与避障绕开两个分支网络会采用不同的训练数据，车道保持分支网络采用的是车道保持训练数据，而避障绕开分支网络采用的是避障绕开的训练数据。通过这种分支独立训练方式，端到端自动驾驶网络模型既能在进行车道保持的同时又能完美地避开障碍物。

　　2.2辅助任务

　　端到端深度学习自动驾驶是一种有监督学习过程，输入图像，以驾驶行为如方向盘转角与速度为标签，进行反向传播。将全部的图像特征输进网络去学习，模型往往很难找到那些对驾驶有帮助的重要特征信息。通常人在开车时眼睛只关注到某些重要信息然后就做出驾驶行为动作。因此增加辅助任务语义分割进行多任务训练变得至关重要，通过辅助任务学习方式让网络学会对场景进行语义理解，能够关注前方是否有车辆、行人等重要障碍物信息，最终网络模型才会输出更为准确的驾驶行为信息如方向盘转角与速度，有利于车道保持与避障。采用辅助任务语义分割的多任务方式训练CNN网络的共享特征层，然后衔接LSTM层与FC层，输出车辆控制信息如方向盘转角与速度。在训练辅助任务语义分割时，CNN网络的共享特征层后面需增加子网络，在最终预测时可去掉此部分子网络参数。

　　3数据

　　3.1GTAV数据

　　在自动驾驶模拟器GrandTheftAutoV(GTAV)上采集了约20万张图像。其中10万张是沿车道线行驶的车道保持数据，10万张是遇车绕开避障的数据。车道保持与绕开避障的数据都包含了高速和城市道路的数据。包含了白天和夜晚。以30帧/s的帧率同时采集中间摄像头、左右两边的前视摄像头的图像，同时也会记录车辆信息如方向盘转角、速度、油门和刹车。分别将采集的10万张车道保持与避障数据以9:1的比例分为训练集与验证集，最后我们会任意选取一条闭环路线测试模型的拟合能力。

　　3.2实车数据

　　为了验证在模拟器GTAV上表现较好的模型，在真实道路上的效果，我们构建了自己的数据集，对广州市各区域的主干道路采集了约16万张图像，与GTAV上的道路场景相类似，包含了白天与夜晚，晴天与雨天，其中白天和晴天的占比高。采集中间摄像头、左右两边的前视摄像头的图像，同时记录车辆信息如方向盘转角、速度、油门和刹车。

　　4实验

　　分别在GTAV与实车数据上对CNN+LSTM的分支网络做了实验，然后对加辅助任务与不加辅助任务做了对比实验，从分支网络结构、辅助任务这两个方面进行了研究，并在真实道路上进行了实车测试。在端到端网络模型训练中，我们将下采样后的图像调整到224×224的大小，CNN网络采用的是深度残差网络Resnet50[10]，迁移了在ILSVRC2012图像分类上预训练的Resnet50模型，初始学习率设置为1e-4，采用指数衰减。LSTM网络采用两层结构，隐藏层的大小为256，图像的序列长度设置为8，为防止LSTM梯度爆炸，梯度修剪值设置为10。我们采用回归的方式来预测方向盘转角与速度。

　　在评价模型好坏方面，我们主要采用离线与在线测试;在离线测试上，我们计算测试集中样本的方向盘转角与速度预测值与标签值之间的平均绝对误差MAE，MAE值越小，说明模型的预测值越接近真实值，模型的拟合能力更好。在线测试方面，我们主要以在自动驾驶模拟器GTAV和现实道路上测试的干扰次数为评价基准。在辅助任务语义分割中，我们采用论文中deeplabv3+[11]的方法进行语义分割任务，辅助任务与主任务只共享CNN特征层。端到端自动驾驶主任务与辅助任务损失函数的权重比例为1:1。

　　4.1CNN+LSTM分支网络模型

　　本文的端到端自动驾驶网络模型对横向方向盘转角与纵向速度控制进行同时预测。采用模式输入形式，分别同时训练车道保持与避障绕开分支网络模型。无论在车道保持还是在避障绕开上，分支网络在方向盘转角与速度的预测上还比较准确，MAE值比较小。这说明采用CNN+LSTM网络结构对端到端自动驾驶模型有积极的影响，横向方向盘转角与速度的预测依赖于时序特征，方向盘转角与速度的前后时序关系都比较重要，将图像的空间特征与时序特征相结合，能更加准确地预测出方向盘转角与速度。

　　同时，采用分支网络形式，在车道保持与绕开避障的独立互斥问题上都能得到较好地解决，分支网络在车道保持与绕开避障上的方向盘转角与速度的预测上都还比较准确。但在GTAV数据上的MAE值比在实车数据上要低一些，这可能是由于GTAV的数据量较多点，包含高速数据，数据场景比较简单，更加容易拟合。

　　4.2辅助任务模型

　　我们从辅助任务语义分割方面对端到端深度学习自动驾驶分支网络模型分别在虚拟仿真GTAV数据和实车采集的数据上做了实验，主要让模型学会对场景进行理解，关注对当前控制决策起到重要作用的关键信息，比如若理解场景，检测出前方车辆则模型可能会以较大的方向盘转角绕开;若在前方有可行驶区域或没有目标则模型会较好地沿车道线行驶，进行车道保持。

　　无论在GTAV数据还是在实车数据上，端到端自动驾驶分支网络模型在车道保持与避障绕开上，增加语义分割辅助任务的方向盘转角与速度的MAE值比不加辅助任务的值都要低，这说明了语义分割辅助任务会让模型学会对场景进行理解，关注重要信息，最终能让端到端自动驾驶模型会做出更加正确的决策。

　　4.3实车测试

　　在前面几小节已通过MAE离线测试评价指标验证了我们端到端自动驾驶分支网络模型的效果，通过实验与离线测试发现，CNN+LSTM分支网络结构+语义分割辅助任务方法的离线测试结果较好。由于我们研究的终极目标是在真实车辆真实道路的自动驾驶，为进一步验证网络模型的有效性，我们在广汽传祺GE3纯电动车上搭载我们自动驾驶测试平台，主要采用Nvidia的px2硬件平台。

　　我们主要选取广州市国际生物岛进行实车测试，测试场景相对而言较简单，少车少人，具备一定的测试条件。CNN+LSTM分支网络结构+语义分割辅助任务的端到端自动驾驶模型在车道保持与遇到障碍物绕行上都能以较高的概率完成驾驶行为。在测试中也发现在模型训练中加入左右摄像头的负样本在一定程度上能改善累积误差的问题。

　　5结语

　　本文主要设计了一种鲁棒性的CNN+LSTM分支网络结构+语义分割辅助任务的端到端自动驾驶网络架构，能有效地解决同时车道保持与避障难题。通过实验在自动驾驶模拟器GTAV和实车数据上离线验证了该网络架构的有效性，也在真实道路真实车辆上进行了在线测试。由于当前采集的数据量不多，只是在简单的少车少人场景中进行了测试。

　　后续，我们会采集自动驾驶中的各种场景的大规模数据，来提升模型处理复杂路况的能力。由于我们当前模式信息是通过人为控制，未来我们将引入副驾驶自动判断模式信息是否介入。同时，通过尝试各种最先进的方法对当前分支网络架构进行不断优化。比如当前网络模型缺乏大量类似驶离车道等负样本，我们会尝试数据合成技术，在自动驾驶虚拟仿真平台上生成负样本用于现实世界中。总之，我们会继续在端到端自动驾驶这条技术路上不断前进。

　　参考文献：

　　[1]H.ZHANG,A.Geiger,R.Urtasun.Understandinghigh-levelsemanticsbymodelingtrafficpatterns[C].ProceedingsoftheIEEEInternationalConferenceonComputerVision,2013:3056-3063.

　　[2]段朦.基于深度学习的行人再识别技术研究与实现[D].江苏：南京邮电大学,2018.

　　[3]李永波.基于结构稀疏模型学习的图像重构方法[D].陕西：西安电子科技大学,2018.

　　[4]耿新力.城区不确定环境下无人驾驶车辆行为决策方法研究[D].安徽：中国科学技术大学,2017.

　　[5]C.CHEN,A.Seff,A.Kornhauser,J.XIAO.Deepdriving:Learningaffordancefordirectperceptioninautonomousdriving[C].ProceedingsoftheIEEEInternationalConferenceonComputerVision,2015:2722-2730.

　　[6]M.Bojarski,D.DelTesta,D.Dworakowski,B.Firner,B.Flepp,P.Goyal,L.D.Jackel,M.Monfort,U.Muller,J.ZHANG,etal.Endtoendlearningforself-drivingcars[J].arXivpreprintarXiv,2016(04):07316.

　　[7]XUH,GAOY,YUF,etal.End-to-endlearningofdrivingmodelsfromlargescalevideodatasets[J].arXivpreprint,2017.

　　电子类刊物推荐：西安电子科技大学学报发挥我校的学术优势，反映国内外高质量、高水平的最新科研成果，体现通信与电子信息特色，扩大学报的影响，促进国内外学术交流，热心培养学术人才，为"科教兴国"和"科教兴校"服务。荣获陕西省优秀期刊、曾13次荣获省部级优秀期刊荣誉和优秀编辑质量奖;2006年荣获首届中国高校优秀科技期刊奖，《物理学、电技术、计算机及控制信息数据库》教育部优秀高校学报。