基于深度学习的草地贪夜蛾自动识别

　　摘要：草地贪夜蛾是一种严重破坏农作物的重大洲际害虫，对我国农业生产造成了极大的威胁.尽管一系列防治措施已经展开，但如何有效辨别草地贪夜蛾仍然是防控工作中的一大难题.为了建立一个有效的识别算法，课题组开展了一系列研究工作，主要贡献在于：①采集了不同地域、不同生长区间的草地贪夜蛾及相似物种图片，建立了一个草地贪夜蛾识别数据库;②利用基于特征融合的深度学习算法，建立了一个三通道T型深度卷积神经网络(T-CNN)，在现有数据集上平均识别率达到97%，为草地贪夜蛾的智能识别与防控工作提供了技术支撑.

　　关键词：草地贪夜蛾;识别;深度学习;深度卷积神经网络;特征融合

　　草地贪夜蛾(Spodopterafrugiperda)是一种危害性极强的鳞翅目害虫，起源于美洲，具有很强的迁飞能力[1].草地贪夜蛾的幼虫以禾本科、豆科等农作物为食，尤为喜食嫩叶，对农作物危害极大.根据草地贪夜蛾对玉米和水稻的偏好性，将其基因型分成了“玉米型”(Corn-Strain)和“水稻型”(Rice-strain)[2].

　　两种亚型的草地贪夜蛾尽管对食物的偏好性有所不同，但它们具有相同的形态学特征[3].草地贪夜蛾于2019年初入侵我国云南地区，对当地的农作物造成了严重危害[4].高强等[5]通过测序分析了侵入我国草地贪夜蛾的基因组，发现侵入我国的草地贪夜蛾主要为“玉米型”，也存在着少量的“水稻型”(Rice-strain).

　　草地贪夜蛾能在(11～30)℃的环境下生长，随着温度的逐渐升高，草地贪夜蛾开始大范围迁移.目前，短短半年时间已扩散蔓延至我国21个省的1160多个县(市、区)，受害面积约56.7多万hm2.另据2019年7月5日日本共同社报道，草地贪夜蛾已入侵日本，在日本鹿儿岛已经发现草地贪夜蛾.如何快速识别草地贪夜蛾，对尽早防治草地贪夜蛾有着至关重要的作用.

　　深度学习[6-9]的出现推动了人工智能新的浪潮，其优势在图像识别领域发挥得淋漓尽致.深度学习的手段依靠深度卷积神经网络[7，10-12]逐层提取图片的高级特征，并利用特有的多任务分类器Softmax进行分类，对于图像识别具有很好的效果.因此，本文首先建立包含不同地域草地贪夜蛾的图像数据库，然后根据草地贪夜蛾幼虫头部均具有“Y”字纹，尾部有4个呈正方形排列黑点的特佂[13]，设计了三通道T型深度卷积神经网络T-CNN(ConvolutionalNeuralNetwork，CNN)来自动识别草地贪夜蛾，识别率达到97%.本文提出的识别算法有助于对草地贪夜蛾进行快速准确地识别，为草地贪夜蛾防控和预报提供了重要的技术储备.

　　1材料与方法

　　1.1样本材料

　　由于目前没有公开的草地贪夜蛾数据库，为此本文首先建立了用于算法开发和验证的草地贪夜蛾数据库(SouthwestUniversitySpodopterafrugiperdadatabase，SWU-SFdatabase).SWU-SF数据库包含38张不同地域拍摄的草地贪夜蛾图片。

　　其中25张拍摄于重庆巫山，幼虫24张，蛹1张;3张拍摄于重庆江津，均为幼虫，2张拍摄于重庆云阳，同样均为幼虫，剩余8张均来自联合国粮食及农业组织(FoodandAgricultureOrganizationoftheUnitedNations，FAO)，包含4张虫卵，2张幼虫以及2只不同性别的成虫.SWU-SF数据库同时采集了17张玉米粘虫的图片，这些幼虫与草地贪夜蛾的幼虫极为相似，但不具备草地贪夜蛾的经典形态特征.为使识别算法更具鲁棒性，数据库中的草地贪夜蛾均是从不同角度进行随机活体拍摄(不固定草地贪夜蛾的形态)完成，这样使得识别过程更接近于真实的应用场景.

　　1.2识别方法

　　1.2.1图像预处理

　　首先对拍摄的图片进行分类：卵、成虫和部分幼虫来自FAO，故没有区域属性分类，划分为卵、雌成虫、雄成虫3类;幼虫采自4个不同地域，故划分为4类;非草地贪夜蛾作为独立的1类.数据集最后划分为8类，并将每类图片通过随机复制的方式将数量归一化至30张.

　　识别算法的任务是将数据库中任意一张图片自动识别成这8类数据中的1类.基础数据库的图片数量较少，无法有效地进行模型训练，因此我们将基础数据库在灰度图的基础上进行了3种方式的数据增强，并在数据增强的基础上，对每张灰度图片进行了梯度转换.为了进一步增强训练集特征的丰富性，使得模型达到更好的效果，课题组同时提取了灰度图片的HOG(梯度直方图)特征，并与梯度图一起作为后面特征融合的重要特征.

　　1.2.2深度卷积神经网络

　　本文建立了一个三通道的深度学习网络T-CNN，整个T-CNN由3个输入层(Input1-Input3)同时输入，主体结构C1由4个卷积层(Conv1-Conv4)，3个池化层(Pool1-Pool3)，1个拉伸层(Flatten1)，3个全连接层(Fc1，Fc6，Fc7)，1个特征融合层(Concat)以及1个Softmax分类层组成.

　　其中，卷积层的作用是提取局部感受视野中图片的高级特征;池化层的作用在于对卷积运算得到的图片进行下采样，使得特征更为抽象;映射层与全连接层则是为了特征的降维.在主体结构的基础上，加入了另外2个分支结构梯度通道(Grad-Channel，C2)和HOG通道(HOG-Channel，C3)，Grad-Channel由1个映射层(Flat-ten2)与2个全连接层(Fc2，Fc3)组成，HOG-Channel由2个全连接层(Fc4，Fc5)组成.

　　T-CNN分别以灰度图、梯度图以及HOG特征作为输入.网络主体结构C1的输入为64×64大小的灰度图片，经过一系列的卷积池化操作在Fc1层得到1024×1的特征向量F1.Grad-Channel(C2)的输入为64×64大小的梯度图片，利用映射层Flatten2将图片展平为4096×1的向量形式，通过两层全连接层Fc2，Fc3降维至1024×1大小得到F2.

　　HOG-Channel(C3)直接输入大小为1764×1的HOG[14-15]特征向量，利用全连接层Fc4先映射成2048×1大小的向量形式，再利用Fc5同样降维至大小为1024×1的一维特征向量F3.的融合向量F4，利用全连接层Fc6，Fc7降维至1024×1后送入Softmax进行8分类.

　　2结果与分析

　　2.1数据库图片的收集整理

　　草地贪夜蛾处于不同的形态，且拍摄角度也各不相同.真实场景中草地贪夜蛾的自动识别需要从各种与草地贪夜蛾相似的昆虫中做出有效识别，为此数据库中包含17张玉米粘虫的图片.这些粘虫具有与草地贪夜蛾极为相似的头部或花纹特征.我们以红色圆圈标出了头部与身体的花纹特征，可以看出草地贪叶蛾头部具有“Y”型纹，而尾部上具有较为明显的正方形黑点排列.粘虫身体上有浅色排列的黑点，并且这些粘虫的照片也是从不同角度进行随机活体拍摄，以保证识别算法的鲁棒性.

　　2.2数据处理结果及分析

　　完成这些数据增强操作之后，每类得到480张灰度图片.是进行梯度转换后的结果，第1行的8张图片为每个种类中随机选取的1张灰度图片，第2行是对应的梯度图片，梯度图片更好地显示了不同状态及地域草地贪夜蛾的纹理特征.CNN对数据集进行了训练测试.每一折交叉验证的识别率均在95%以上，平均识别率达到97.31%，最高达到99.22%.

　　本文研究的是8分类，处于不同地域和不同生长时期的草地贪夜蛾数据，对现有的草地贪夜蛾具有较好的识别效果，利用本文提出的T-CNN模型可以有效地对草地贪夜蛾进行辨别，并及时展开预防工作.

　　3讨论

　　草地贪叶蛾对世界范围的粮食作物造成了极大的危害，它作为一种入侵害虫，很容易与当地一些害虫如玉米粘虫混淆，造成防治时间上的延误，因此建立草地贪夜蛾的自动识别数据库和识别程非常重要.本文以草地贪夜蛾的自动识别为研究目标，及时就近采集不同地域与不同生长区间的草地贪夜蛾幼虫，结合来自于联合国粮食与农业组织(FAO)的若干图片数据，建立了西南大学草地贪夜蛾识别数据库.

　　经过随机裁剪、随机旋转、镜像3种形式的数据增强后，利用三通道T型深度卷积神经网络T-CNN对数据进行分类，平均识别率达到97%.深度学习的一个明显优势在于训练集数据的增加会大大提升模型的准确率及鲁棒性，由于草地贪叶蛾准确标记的数据较少，课题组将继续进行草地贪叶蛾数据采集，同时在T-CNN的基础上对各个平台采集到的疑似草地贪叶蛾图片进行分类，将分类正确的结果作为训练集数据的更新，基于更新后的草地贪夜蛾数据，对T-CNN模型进行进一步学习训练.

　　此外，课题组将会把T-CNN开发成一款新的实时识别平台，以针对全国范围内的草地贪叶蛾进行监控、数据采集、训练及分类工作.在本研究开展期间据人民网报道，北京普惠三农科技有限公司开发出了“很准识蛾”应用工具，识别率达到92%，可以针对卵、幼虫、成虫进行有效识别[20].目前，我们开发的数据库平均识别率虽然达到97%，但还需要进一步的田间应用加以完善.

　　参考文献：

　　[1]CHIANGTY.FallArmywormMigrationAcrosstheLesserAntillesandthePotentialforGeneticExchangesBetweenNorthandSouthAmericanPopulations[J].PlosOne，2017，12(2)：E0171743.1-18.

　　[2]UNBEHENDM，H�FNNIGERS，MEAGHERRL，etal.PheromonalDivergencebetweenTwoStrainsofSpodopteraFrugiperda[J].JournalofChemicalEcology，2013，39(3)：364-376.

　　[3]NAGOSHIRN，MEAGHERRL.BehaviorandDistributionoftheTwoFallArmywormHostStrainsinFlorida[J].FloridaEntomologist，2004，87(4)：440-449.

　　相关草地论文投稿期刊：环境昆虫学报(双月刊)原刊《昆虫天敌》创办于1978年。是由广东省科学技术协会主管、广东省昆虫学会中国昆虫学会主办昆虫类学术期刊。