基于RNN,和多重注意力机制的高光谱图像分类

郑凯东，李阿莹

（西安石油大学 计算机学院，西安 710065）

高光谱遥感是指用大量狭窄的电磁波通道获取地物的空间、辐射和光谱三重信息的技术［1］。高光谱成像遥感技术可以获取地物的光谱、辐射和空间信息，是通过电磁波谱中可见光、红外线的波段范围获取地物的数据信息，构成图像数据立方体［2］。

在研究早期，科研人员主要把关注点放在光谱特征的提取上，相关的方法包括主成分分析、独立成分分析、线性判别式分析等，利用这些方法来提取高光谱图像的光谱特征，并使用分类器进行分类，比较常用的有支持向量机（Support Vector Machine，SVM）［3］、随机森林［4］、多项式逻辑回归分类［5］等方法。

卷积神经网络（Convolutional Neural Network，CNN）是深度学习的代表算法之一，已有众多学者在应用CNN 及改良的网络结构对高光谱图像分类进行研究，如Chen 等人［6］利用高光谱图像的像素信息作为输入，显著提高了结果精度。然而由于高光谱图像具有二维空间信息和一维光谱信息，因此在利用CNN 模型对高光谱图像分类时会因为这些冗余信息而对精度造成影响［7］。在此基础上，Xu 等人［8］提出了3D Octave 卷积模型，能够从高光谱图像中提取空间-光谱特征，并引入注意力机制来加强重要区域的空间-光谱信息的提取，但该模型在网络训练方面耗费了更多的时间成本。由于高光谱图像的光谱数据本质上是一类序列数据［9］，Venkatesan 等人［10］首次把循环神经网络（Recurrent Neural Network，RNN）引入到高光谱图像分类中，并提出了一种激活函数和参数校正函数，用于分析高光谱图像中的数据序列。Zhou 等人［11］提出了一种基于光谱-空间长短时记忆网络的高光谱图像分类方法，大大减少了网络模型的训练时间，但精度略逊于改良后的CNN 模型。

基于以上研究，本文提出了一种基于RNN 及多重注意力机制融合网络（LZ-Bidirectional Recurrent Neural Network，LZ-BRNN），用双向循环神经网络BRNN 来处理高光谱图像的序列数据，减少时间成本，并引入三重注意力机制来提升网络模型的精确度。

本文提出一种基于RNN 及多重注意力机制融合的网络模型（LZ-BRNN），网络框架流程如图1 所示。图1 中，模型用双向循环神经网络（BRNN）来处理高光谱图像的序列数据，减少时间成本，同时引入三重注意力机制，通过三分支结构捕获跨维度交互来计算注意力权重，用来提高整个网络模型分类的精确度。

图1 LZ-BRNN 网络框架流程图Fig. 1 LZ-BRNN network framework flowchart

1.1 双向循环神经网络

BRNN 的基本思想是提出每一个训练序列向前和向后分别是2 个循环神经网络（RNN），而且这2个都连接着一个输出层。该结构给输出层输入序列中提供每一个点的完整的过去和未来的上下文信息。文中给出BRNN 隐藏层和输出层的计算公式分别如下：

1.2 Triplet Attention 模型

深度学习中的注意力机制（Attention Mechanism，AM）是根据重要性给图像不同部分分配不同的权重，有助于忽略掉不重要的特征信息。本文引用三重注意力机制（Triplet Attention，TA），由3 个分支组成。其中，2 个用于捕获通道C和空间H或W之间的跨维交互，第3 个分支发挥着类似卷积注意力模块（CBAM）的作用。TA 模型设计原理如图2 所示。

图2 Triplet Attention 模型原理图Fig. 2 Schematic diagram of the Triplet Attention model

所有实验的硬件设备均在Intel（R）Core（TM）i7-10870H CPU ＠ 2.20 GHz 2.21 GHz 处理器，Nvidia GeForce RTX 2070MQ 显卡的系统上运行的。同时，主机选用Windows10 操作系统，运行环境为Python3.6，Torch1.10.0＋CU102。

2.1 实验数据集描述

为了验证本文方法的有效性，在高光谱图像的2 个公开数据集、即Botswana 和PaviaC 上进行实验。其中，Botswana 数据集像素分辨率为30 m，包含145 个可用于高光谱图像分类的波段，数据涵盖了14 种地物类别，分别是Water、Hippo grass、Floodplain grasses1 等。PaviaC 数据集经过处理后共有102 个可用波段，数据包含了9 种地物类别，分别是Water、Trees、Asphalt 等。

2.2 实验参数设置以及对照实验

本次实验的主要评价指标有：迭代次数（epoch）、训练集划分（training_sample）以及学习率（learning_rate），经过多次实验，最终将测试集和训练集各取样本数据的50%，epoch取200，learning_rate设置为0.001，在实验中能取得更好的结果。

本文实验主要与传统分类方法、如SVM［12］，以及近年来在高光谱图像分类问题中常用的算法进行比较，如RNN［13］、3D-FCN［14］、3D-CNN［15］。根据高光谱常用的衡量精度指标：总体分类精度（Overall Accuracy，OA）以及Kappa系数进行分类精度比较［16］，同时还要计算每次分类所用时间，用来验证分类的实时性。

2.3 实验结果与分析

在参数设定的基础上，分别在Botswana、PaviaC数据集上各进行10 次实验，最终实验结果取平均值，表1 为Botswana 数据集实验分类结果。

表1 Botswana 数据集分类结果Tab.1 Classification results of the Botswana dataset

由表1 可以得出，在Botswana 数据集上，本文所提出的方法在精度上高于SVM 和普通的循环神经网络以及3D-FCN 网络模型，在OA和Kappa值上高于三者，比改进后的3D-CNN 略高一点。在分类耗费时间成本上，RNN 用时最短，也表现出了RNN处理时序数据的优越性，随着网络层数的增加，3DCNN 虽然在精度上要高于3D-FCN、但用时更长，LZ-RNN 在RNN 基础上进行改良，使得整体时间成本仍在可接受范围内。图3 为不同模型在Botswana数据集上的分类结果。

图3 不同模型在Botswana 数据集分类结果图Fig. 3 Classification results graph of different models in the Botswana dataset

图3（a）是在Botswana 数据集取波段为（75，33，15）得到的真值图。用红色选框标注的是通过模型分类与真值有偏差的区域，随着模型的不断优化，出错区域明显越来越少，这也与表1 得出的数据相吻合。

第二组实验是在Pavia Center 数据集上进行，由于该数据集像素点远高于Botswana 数据集，分类所需时间也有所增加，在本次实验中将迭代次数epoch设为100，其他参数不变，表2 为PaviaC 数据集实验分类结果。

表2 PaviaC 数据集分类结果Tab.2 Classification results of the PaviaC dataset

从表2 可以得出，在PaviaC 数据集上，本文提出的LZ-RNN 模型在OA值和Kappa值上高于其他算法。由于PaviaC 图像的像素点远高于Botswana数据，但RNN 模型仍能在较短的时间内进行分类，且在精度上略高于CNN 模型。而通过改良得到的LZ-RNN 提升了原模型的精度。图4 为不同模型在PaviaC 数据集上的分类结果。

图4（a）是在PaviaC 数据集取波段为（55，41，12）得到的真值图。用红色选框标注的是通过模型分类与真值有偏差的区域。随着模型的不断优化，出错区域明显越来越少，图像上冗余斑点也越来越少。实验证明，本文提出的LZ-RNN 模型对于大部分地物类别的分类均取得了良好的效果，有多个地物类别的效果达到99.9%，既保证了精度，又将时间成本控制在可接受的范围内。

图4 不同模型在PaviaC 数据集分类结果图Fig. 4 Classification results graph of different models in the PaviaC dataset

本文提出了一种基于循环神经网络和多重注意力机制的高光谱图像分类模型，网络结构简单且有效，模型用双向循环神经网络（BRNN）来处理高光谱图像的序列数据，降低了时间成本，引入多重注意力机制来提升分类精度，通过实验对比，证明本文提出的方法能够在较短的时间内完成高光谱图像分类任务，且展现出优秀的分类性能。

猜你喜欢 注意力光谱神经网络 基于三维Saab变换的高光谱图像压缩方法北京航空航天大学学报(2022年8期)2022-08-31让注意力“飞”回来小雪花·成长指南(2022年1期)2022-04-09高光谱遥感成像技术的发展与展望空间科学学报(2021年1期)2021-05-22神经网络抑制无线通信干扰探究电子制作(2019年19期)2019-11-23基于神经网络的中小学生情感分析电子制作(2019年24期)2019-02-23“扬眼”APP:让注意力“变现”传媒评论(2017年3期)2017-06-13A Beautiful Way Of Looking At Things第二课堂(课外活动版)(2016年2期)2016-10-21基于神经网络的拉矫机控制模型建立重型机械(2016年1期)2016-03-01星载近红外高光谱CO2遥感进展中国光学(2015年5期)2015-12-09基于支持向量机回归和RBF神经网络的PID整定海军航空大学学报(2015年4期)2015-02-27

推荐访问:光谱 注意力 图像