基于子区域多标签学习的露天煤矿区场景识别

赵银娣，卫虹宇，董霁红，董畅

1.中国矿业大学 环境与测绘学院,徐州221116;

2.自然资源部退化及未利用土地整治工程重点实验室,西安710075

露天煤矿区场景识别是露天矿地质环境监管工作的重要内容之一。露天开采对生态环境的破坏极其严重，容易导致地质灾害和环境污染等一系列问题，利用高分辨率遥感影像识别露天煤矿区，一方面可以为突发灾害提供决策依据，另一方面有利于为矿区的土地管理和土地复垦规划提供相应帮助（胡振琪和谢宏全，2005；
张凯翔，

2018）。

在遥感影像上识别露天煤矿区，早期的方法主要依赖目视解译（毕如田等，2008），但是存在识别精度不高、工作效率较低等问题。针对这些问题，国内外学者提出了许多方法，主要分为基于像元的分类方法（程璐，2017）和面向对象的分类方法（祝振江，2010）。这两类方法有效提高了露天煤矿区的识别精度和识别效率，但也存在一些问题（张峰极，2019）。基于像元的分类方法无法从整体上解译影像的空间、纹理等特征，容易产生信息冗余，面向对象的分类方法需要人为确定分类规则，受人的主观因素影响较大。随着遥感影像分辨率的不断提高，场景中包含的语义信息愈加丰富，给露天煤矿区识别带来了更多挑战。

近年来，场景识别技术（姜啸远，2017）不断发展，可以更好的提取露天煤矿区场景中包含的多类特征。起初，研究者采用各种底层特征用于场景识别，例如SIFT（Scale-Invariant Feature Transform）、HOG（Histogram of Oriented Gradient）、BoW（Bag of Words）等，这些方法具有良好的逻辑性，但是提取的特征泛化性不强，且在大量、多类场景信息的特征提取中效率较低（Zuo等，2014）。自AlexNet（Krizhevsky等，2012）使用卷积 神 经 网 络CNN（Convolutional Neural Network）大幅提高了图像分类的准确率，VGG（Simonyan和Zisserman，2015）、Inception（Szegedy等，2015；
Ioffe和Szegedy，2015）、ResNet（He等，2016）等深度卷积网络相继提出，在特征提取（钱晓亮等，2018）、图像分类（张康等，2018）、场景识别（许夙晖等，2016）等领域取得了不错的成效。与传统方法相比，CNN提取的特征能够包含丰富的语义信息和结构信息，且对于平移、缩放等变形具有高度不变性，泛化能力强（杨鹏等，2018），因此本文采用场景识别技术，利用CNN模型提取的深层特征进行场景分类，从而识别出露天煤矿区。

露天煤矿区占地面积大且地物类别丰富，在高分辨率遥感影像上具有特征量大、特征多样的特点（张成业等，2022），对整个矿区场景进行特征学习并识别，给设备的计算能力提出了更高的要求。为了减少计算损耗，本文将场景划分为多个子区域，对露天煤矿区场景和非露天煤矿区场景的子区域进行特征学习，通过识别属于露天煤矿区场景的子区域从而识别出该场景。目前场景识别广泛使用单标签学习的策略（冯权泷等，2022），由于露天煤矿区场景子区域包含的地物在类别、位置、大小和形状等方面存在较大差异，并且不同地物间还存在遮挡问题，难以提取有效特征。

随着计算机视觉任务趋于多样化和复杂化，多标签学习（Tsoumakas和Katakis，2007；
Zhang和Zhou，2014；
陈智，2015）已逐渐成为机器学习领域的热点研究问题之一。不同于单标签学习中每个样本仅属于一个类别标签，多标签学习是通过学习有多个类别标签的数据来预测未知样本所属的标签集合。基于此，本文提出一种基于子区域多标签学习的露天煤矿区场景识别方法，通过学习露天煤矿区场景子区域中包含的多类标签的特征并进行多标签分类，再基于该场景区别于其他场景的标签进行分析，从而识别出所有属于该场景的子区域以构成整个场景。矿产资源开发要素（宋亚婷等，2016）主要包括采掘区、剥离区、边帮、排土场、废渣场、中转场地，这6类矿区标签是露天煤矿区场景区别于非露天煤矿区场景的主要标签，另外，还设置了道路、水域、耕地、林地、草地、裸地、建筑物这7类非矿区标签与矿区标签进行区分，将露天煤矿区场景和非露天煤矿区场景的子区域都标注13类标签构成多标签数据集。鉴于Inception-v3（Szegedy等，2016）模型在ImageNet数据集上具有良好的特征提取能力，对Inception-v3模型进行改进，使其能够自动学习并提取多类标签的有效特征，训练该模型从而对子区域包含的多类标签进行预测。数据集中具有矿区标签的子区域即为露天煤矿区场景的子区域，但是在多标签预测时存在误差，需要分析子区域中的多标签预测结果对子区域进行判定，为此设计了一种场景子区域判定算法，结合地理学第一定律，根据矿区标签的标签相关性和标签完整性以判定该子区域是否属于露天煤矿区场景，识别出的子区域构成露天煤矿区场景。

本文方法主要由基于多标签学习的卷积神经网络和场景子区域判定算法两部分组成。用基于多标签学习的卷积神经网络对数据集中子区域包含的多类标签进行学习，将输入影像划分为相同大小的子区域并进行多标签分类，采用场景子区域判定算法，根据分类结果判定子区域是否属于露天煤矿区场景，识别出的子区域构成露天煤矿区场景。

2.1 基于多标签学习的卷积神经网络

CNN在单标签学习任务中获得了优异的性能，然而，由于底层图像的复杂性和多标签训练数据的缺乏，如何更好地利用CNN处理多标签图像仍然是一个有待解决的问题（Shahriyar等，2018），本文对CNN模型进行改进以适应多类标签。

如图1所示，将CNN中经典模型之一的Inception-v3模型作为源模型，使用公开数据集ImageNet预训练模型对CNN模型的参数进行初始化，将露天煤矿区多标签数据集导入该模型，将最后一层全连接层的输出节点数调整为实验数据集的类别数，采用反向传播算法训练最后一层，通过参数迁移以得到更丰富的图像特征表示。为了使CNN模型可以学习多个语义标签并加快参数的更新速度，在CNN模型输出层采用Sigmoid函数作为输出层的激活函数（Kurata等，2016），并且使用Sigmoid交叉熵损失函数代替单标签损失函数对模型进行训练优化。对于N个样本和K类标签，损失函数J表达式如下：

图1 基于多标签学习的卷积神经网络Fig.1 Convolutional neural network based on multi-label learning

其反向传播导数为

式中，xn表示第n个样本，表示xn对应标签集合中的第k个标签，h(xn)表示Sigmoid函数，其数学表达式为

2.2 场景子区域判定算法

设某类场景A共有p类核心标签，多标签数据集共标注q（q＞p）类标签，为了判定每个子区域是否属于场景A，本文设计了一种场景子区域判定算法，图2为算法流程，算法的主要思想如下：

图2 场景子区域判定算法流程Fig.2 Flowchart of the scene sub-region determination algorithm

（1）获取相关标签集合。给定包含I个样本的多标签训练集Dtrain={(xi，Yi)|i=1，2，…，I}，其中Yi={yi1，yi2，…，yiq}是样本xi的q类标签集合。所有样本的标签集合L={l1，l2，…，lq}是一个q维的随机变量，任意la和lb的相关系数ρab(a，b=1，2，…，q)计算公式为

式中，D(la)、D(lb)分别为la、lb的方差，E(la)、E(lb)分别为la、lb的期望。

为了确定标签间的关联程度，对于每类标签la，取其所有相关系数（除1以外）的平均值作为阈值θ，仅考虑ρab大于等于阈值θ的标签，因此，标签la的相关标签集合为

（2）获取子区域的多标签分类结果。将输入图像划分为相同大小的子区域，得到包含T个子区域的多标签测试集将其输入训练好的基于多标签学习的CNN模型进行q类 多 标 签 分 类，得 到 子 区 域的 预 测 标 签

（3）根据核心标签的标签相关性对子区域进行第一次判定。根据地理学第一定律，在空间上越靠近的事物或现象就越相似，对每个子区域分析其是否存在核心标签以及子区域周边是否存在该核心标签的相关标签，若是则提取该子区域。子区域关于核心标签的预测标签对于每个标签其相关标签集合为子区域的8个邻域集合为关于核心标签的预测标签假设γt为每个子区域与其8个邻域的关于核心标签的相关标签总数，计算公式如下：

（4）根据核心标签的标签完整性对提取的子区域进行第二次判定。由于多标签分类存在误差，需要过滤掉一部分有误的数据。将DA中相连的子区域x͂t分别合并到一个集合，得到包含R个独立区域的子区域集合DR={Dr|r=1，2，…，R}。由于场景A包含p类核心标签，遍历集合DR中每个独立的区域Dr，若p类标签都存在，则判定Dr中的每个子区域属于场景A。

3.1 研究区和数据集

3.1.1 研究区概况

选择胜利煤田（马萧，2011）的西露天煤矿区作为研究区，该区域煤炭资源丰富，露天煤矿分布比较集中。研究区所处位置为内蒙古高原中部，大兴安岭西侧的北坡，整体地形分布西北高、东南低，东西两侧高差较大。该区域属中温带半干旱大陆性季风气候，年均气温1.7℃、降水量294.74 mm。研究区大都是高台阶开采，容易诱发坍塌、高空坠落等事故，并且开采过程中产生的废渣会对地形地貌景观造成不同程度的破坏。研究区影像为谷歌影像，如图3所示。

图3 研究区遥感影像图Fig.3 Remote sensing image of the study area

3.1.2 数据集

本文数据集可用在多标签学习和单标签学习中，实验数据裁剪自谷歌影像，数据集由露天煤矿区场景和非露天煤矿区场景的子区域构成，共9768张图像。如图4所示，若采用多标签学习，共包含13类标签，其中有6类矿区标签：采掘区、剥离区、边帮、排土场、废渣场、中转场地，有7类非矿区标签：道路、水域、耕地、林地、草地、裸地、建筑物。图4显示了每张图像包含的多类标签，图像由独热编码的方式进行标注。若采用单标签学习，数据集分为露天煤矿区场景子区域和非露天煤矿区场景子区域这两类，其中具有矿区标签的数据属于露天煤矿区场景子区域。为了使一张图像涵盖多类标签，数据均裁剪为500×500像素大小的图像，每类图像数量不均衡，标签分布如图5所示。

图4 多标签数据集示例Fig.4 Demonstration of the multi-label learning dataset

图5 标签分布图Fig.5 Distribution of labels

3.2 评价指标

本文使用的评价指标包括准确率（Precision）、召回率（Recall）、F1分数（F1-Score）和F2分数（F2-Score），定义如下：

式中，p是准确率，r是召回率，TP为真正样本，FP为假正样本，FN为假负样本。

在子区域多标签分类中采用F2分数进行多标签阈值优化，采用准确率、召回率评估各标签的分类效果，以分析多标签分类对后续数据处理的影响。采用召回率、准确率和F1分数来评估露天煤矿区场景子区域的识别效果（宋仁忠等，2022），F1分数的值若等于1，说明所有属于露天煤矿区场景的子区域被识别出来，即识别出整个露天煤矿区场景。

3.3 结果分析

3.3.1 子区域多标签分类

将多标签数据集按8∶2划分为训练集和测试集，在训练集上采用5折交叉验证法训练模型。实验采用I5处理器，运行内存为10 G，结合NVIDIA GTX 1060（6 GB显存）GPU，在Ubuntu16.04系统上搭建CUDA9.0和CUDNN7.5的GPU运行环境，采用Pytorch深度学习框架训练模型。训练时先使用公开数据集ImageNet预训练模型对Inception-v3模型参数进行初始化，再将最后一层全连接层的类别参数调整为实验数据集的类别数，将输出层的激活函数替换为Sigmoid函数。采用随机梯度下降优化器进行参数优化，动量为0.9，初始学习率为0.001，权重衰减系数为0.1（Dogo等，2016）。由于本实验需要将测试集的大部分类别预测出来以进行后续分析，每次训练结束后对每个类别基于F2分数进行阈值优化，搜索从0.01到1的100个潜在值作为每个标签的阈值，找到使F2分数最高的相应类别的阈值，根据阈值进行判定得到分类结果（Williams，2021）。

分析基于多标签学习的Inception-v3模型在测试集上生成的每类标签的准确率和召回率，如图6所示，大部分标签的召回率明显高于准确率，这是由于本文选择了专门针对F2分数优化的阈值，确保大部分标签分类正确以提高后续数据处理的精度。采掘区、中转场地和建筑物这3类标签的准确率和召回率相差较小，是因为这3类的特征明显，提取的特征表征能力强且在分类过程中不容易与其他类特征混淆。相比于矿区标签，大部分非矿区标签的准确率和召回率偏高，主要是本文数据集的标签分布不均衡，非矿区标签在数据集中的占比较大造成的。

图6 子区域多标签分类结果Fig.6 Results of sub-region multi-label classification

将研究区遥感影像划分为相同大小的子区域，用训练的基于多标签学习的Inception-v3模型对子区域进行多标签分类，图7展示了部分子区域的多标签预测结果，黄色框代表错误预测的标签，蓝色框代表没有预测出来的标签。可以看到每个子区域包括多类标签，大部分标签分类正确，说明该多标签分类模型能从具有多类标签的样本中提取出有效的特征。对于分类有误的标签，模型对采掘区、水域和废渣场容易混淆，对边帮容易误分为道路，由于本文方法主要基于矿区标签进行分析，矿区标签预测错误对场景子区域判定的精度有一定影响。

图7 研究区遥感影像的子区域多标签分类部分结果Fig.7 Partial results of multi-label classification of remote sensing image sub-regions in the study area

3.3.2 露天煤矿区场景识别

对研究区遥感影像的子区域进行识别，得到的结果如表1所示。表1中对比了本文方法和单标签学习算法对露天煤矿区场景子区域的识别结果。可以看到，单标签学习算法的最优F1分数为0.777，而本文子区域多标签分类F1分数达到0.857，其与单标签学习中性能最好的ResNet50模型相比，提高了8个百分点，说明该方法在露天煤矿区场景子区域识别中具有明显优势，识别能力更强。分析其原因，若采用单标签学习算法，把子区域分为露天煤矿区场景子区域和非露天煤矿区场景子区域，由于露天煤矿区场景子区域中包含非露天煤矿区场景子区域的一些地物，在特征提取中容易混淆，从而影响识别结果。而本文方法采用了多标签学习策略，能够学习到露天煤矿区场景子区域中区别于非露天煤矿场景子区域的矿区标签，再结合矿区标签对子区域进行判定从而识别出露天煤矿区场景子区域。

此外，表1中本文方法的准确率达到最优精度，而召回率比准确率低了0.085，这主要是受子区域多标签分类的影响，结合图6进行分析，多标签分类模型对各类标签的召回率偏高，可以保证大部分标签预测正确，从而在露天煤矿区场景子区域识别中与非露天煤矿区场景子区域更好地区分，所以对露天煤矿区场景子区域识别的准确率较高，但是多标签分类中预测矿区标签的准确率不高，若没有预测出子区域包含的矿区标签，场景子区域判定算法就会将该子区域识别为非露天煤矿场景子区域，使得召回率降低。

表1 露天煤矿区场景子区域识别结果对比Table 1 Comparison of scene sub-region recognition results in opencast coal mine areas

本文通过识别属于场景的子区域从而识别出整个场景，图8显示了研究区遥感影像的露天煤矿区场景识别结果，红色区域代表由识别出的子区域构成的露天煤矿区场景。将每种方法得到的识别图与真值图进行对比，单标签学习算法误将多个非露天煤矿区场景的子区域识别为露天煤矿区场景的子区域，而本文方法的识别结果接近真值，证明该方法在露天煤矿区场景识别中的有效性。

图8 露天煤矿区场景识别结果对比Fig.8 Comparison of scene recognition results in opencast coal mine areas

本文将露天煤矿区场景划分为多个子区域进行特征学习和识别，针对单标签学习算法在场景子区域识别中识别率较低的问题，将多标签学习策略和地理学第一定律相结合，提出一种基于场景子区域多标签学习的场景识别算法。将场景划分为相同大小的子区域并标注多类标签，为了学习子区域内多类标签的特征，对Inception-v3模型进行改进使其适用于多类标签的数据。为了对子区域包含的多标签预测结果进行分析从而识别出属于露天煤矿区场景的子区域，设计了一种场景子区域判定算法，判定子区域是否属于露天煤矿区场景从而识别出露天煤矿区场景。实验结果表明：

（1）基于多标签学习的Inception-v3模型能够自动学习并提取有效的多类标签的特征，但该模型对矿区标签的预测错误会导致露天煤矿场景子区域识别的召回率降低；

（2）利用地理学第一定律对多标签分类结果进行分析从而识别露天煤矿区场景子区域，相比单标签学习算法的最优F1分数，本文方法的F1分数提高了8个百分点；

（3）在研究区遥感影像上对露天煤矿区场景进行识别，本文方法的识别结果接近真值，证明该方法在露天煤矿区场景识别中的有效性。

本文方法是先进行多标签分类，再对分类结果进行分析以完成识别任务，后续还可以尝试算法优化以实现框架一体化；
子区域多标签分类结果对露天煤矿场景子区域识别有一定影响，可以尝试其他算法提高多标签分类精度，以获得更好的场景识别效果；
实验所用数据集标签分布不均衡，可以通过优化样本以提高模型精度。另外，本文提出的方法也可以对研究区的多时相数据进行识别，以探究露天煤矿区范围的变化情况，为露天煤矿开采管理提供数据支撑。

猜你喜欢 露天煤矿矿区准确率 美准备将矿区转变为清洁能源中心国外核新闻(2022年7期)2022-11-25露天煤矿电气系统的事故隐患与安全措施电力设备管理(2022年5期)2022-11-25黄土丘陵区露天煤矿复垦土壤熟化过程中团聚体碳氮演变特征农业工程学报(2022年11期)2022-08-22基于RF和连续小波变换的露天煤矿土壤锌含量高光谱遥感反演农业工程学报(2022年10期)2022-08-22煤炭矿区耕地土壤有机质无人机高光谱遥感估测农业工程学报(2022年8期)2022-08-08乳腺超声检查诊断乳腺肿瘤的特异度及准确率分析健康之家(2021年19期)2021-05-23多层螺旋CT技术诊断急性阑尾炎的效果及准确率分析健康之家(2021年19期)2021-05-23不同序列磁共振成像诊断脊柱损伤的临床准确率比较探讨医学食疗与健康(2021年27期)2021-05-13颈椎病患者使用X线平片和CT影像诊断的临床准确率比照观察健康体检与管理(2021年10期)2021-01-03德国露天煤矿三联生活周刊(2015年52期)2015-12-25

推荐访问:露天 煤矿 识别