基于双通道自监督编码器的机械声音异常检测*

万智勇，周松斌，刘忆森，肖 明，李 昌，邱泽帆

(1.广东省科学院智能制造研究所广东省现代控制技术重点实验室，广州 510070；
2.广东工业大学自动化学院，广州 510006)

随着工业无人化、智能化的快速发展，工厂中的机械设备运行状态监测与诊断显得尤为重要。传统人工巡检手段存在检测效率低、费时费力等问题。因此基于振动、声发射等传感手段的机械设备状态识别与故障诊断方法被广泛研究。声学传感通过麦克风采集声音来判断被测目标状态，具有成本低、非接触、可在线等优势，在音频监控[1]、机械产品质量检测[2]、设备预测性维护[3]、机械运行状态监测等领域展现出应用潜力，受到研究者的广泛关注。

实际中，机械设备故障率低、种类多且发散，想要穷举采集各类型、工况下的机械异常声，从而构造有监督的异常检测模型十分困难。因此研究无监督机械异常声检测算法，预测识别未知异常据有重要的实际意义。无监督异常检测算法主要包含基于分布估计、基于重建、基于分类等几种方法[4]。其中典型的基于分布估计的方法包括高斯混合模型(GMM)[5]及基于距离度量聚类的k-means[6]算法等；
常用的基于分类的方法如单类支持向量机(OC-SVM)[7]等。而基于重建的方法则是通过压缩-重构数据，假设异常数据会具有更大的重构误差实现异常检测[8]。例如采用主成分分析(PCA)[9]对数据压缩-重构来进行异常检测。

自动编码器[10-13](AE)是一种基于深度学习的异常检测方法。由于其网络结构相对简单、泛化性能好等优点被广为研究与应用。许多学者也提出其各种变体，用于各类异常检测问题研究。如尹爱军等[14]用变分自编码器(VAE)实现对轴承运行健康状态的定量评估；
戴俊等[15]将生成对抗网络(GAN)与自动编码器融合用于机械系统异常检测；
TOUATI等[16]用改进的稀疏自编码器(SAE)实现了对异构遥感图像随时间变化的检测；
ZONG等[17]更是将深度自编码器与高斯混合模型相结合，提出深度高斯混合模型(DAGMM)用于无监督异常检测。

当前，采用AE进行机械异常声检测存在两个方面的挑战。一是工业场景下采集的机械声音信号特征提取较为困难。AE提取到的低维特征有效性不高，导致异常检测精度低[18]。二是一些机械设备运行声音存在明显的非稳态特征，而一般AE由全连接网络组成，难以有效地提取时序变化特征，导致对于非稳态异常声识别效果差。

针对上述两个问题，本文提出基于双通道自监督编码器的异常检测方法。该方法利用循环神经网络和自监督分类器，提升AE对声音信号的时频特征提取能力，增强其面向异常检测的区分能力，提升检测精度。通过MIMII数据集[19]中4种机械异常声检测验证该算法的有效性。

1.1 自编码器原理

自编码器是一种典型的无监督深度学习模型，其能够从无标签样本中学习样本的低维特征，并重建信号。其由两个基本结构组成：编码器ε(·)和解码器D(·)，编码器通过多层神经元将输入数据压缩、降维。解码器则是将由编码器压缩的低维表示重构样本。其表达为：

z=ε(x|θε|)

(1)

(2)

1.2 BiGRU基本原理

门控循环单元(GRU)网络[20]是循环神经网络(RNN)的一种，它是长短期记忆(LSTM)网络[21]的一种改进形式。GRU网络解决了普通RNN网络存在的梯度消失问题，并且相比于使用遗忘门、输入门和输出门来控制隐含层的输入输出和状态信息的LSTM网络，GRU拥有更简单的结构，其内部只有更新门和重置门。在大多数实验下，GRU都能得到与LSTM相似的结果，并且其计算性能比LSTM更好[22]。GRU的内部结构图如图1所示,其计算过程如式(3)～式(6)所示。

zt=σ(Wzht-1+Uzxt+bz)

(3)

rt=σ(Wrht-1+Urxt+br)

(4)

(5)

(6)

式中，Wz、Wr、Wh、Uz、Ur、Uh为权重矩阵；
bz、br、bh为偏置；
σ为sigmoid函数；
tanh为双曲正切函数。

声音数据的处理应包含当前时刻前后时序的全部信息，而普通的GRU网络只计算一个方向上的时序信息。因此在本文中采用双向GRU(BiGRU)网络，来计算声音数据的前后向时序信息。

图1 GRU内部结构图

2.1 异常检测器的网络结构

双通道特征融合自监督编码器(DCSS-AE)结构如图2所示。该算法由3个部分组成：双通道特征融合编码器(double channel encoder)、解码器(decoder)和自监督分类器(self-supervised classifier)。

图2 双通道特征融合自监督编码器网络结构

DCSS-AE的工作原理如下：①输入信号进入BiGRU网络构成的时序通道提取声音信号时序特征，并将每层将得到的时序特征通过跳接结构，传递给频域通道中对应的层；
②频域通道由全连接网络构成，每个全连接层将上一层的输出与跳接时序特征以级联方式融合，作为下一全连接层的输入，共同提取声音信号的低维表示；
③将双通道特征融合编码器从正常数据学得的低维表示输入自监督分类器和解码器中；
④解码器将声音数据的低维表示重构输出；
⑤自监督分类器学习区分不同编号的机器声音数据，并输出数据所属编号的分类概率；
⑥在训练过程中对双通道自编码器和自监督分类器进行联合优化。

双通道特征融合编码器εd(·)由于BiGRU网络的参与，使得它学习到的低维特征包含了时序信息，从而令解码器对于声音的时序关系能够很好的重建，而对于时序关系异常的声音信号则会有较大的重构误差，从而实现非稳态声音的异常识别。双通道特征融合编码器可表示为：

zt=εd([x,xt]|θεd)

(7)

式中，θεd为双通道特征融合编码器的参数；
zt为双通道特征融合编码器学得的正常样本低维表示；
[,]为矩阵拼接；
xt为声音时序特征数据。

自监督分类器C(·)以双通道特征融合编码器得到的正常声音低维表示zt作为输入，通过学习区分输入数据所属于的机器编号来引导自编码器学习机器声音的时频特征，提升双通道编码器提取特征的有效性。自监督网络可表示为：

(8)

2.2 异常检测器的训练与测试

训练过程中，以所有机器编号的机器声音数据作为输入，训练目标编号机器的异常检测模型。为了使得自监督分类器和双通道自编码器能够联合优化，DCSS-AE的训练损失函数定义为：

Loss=LAE+LSS

(9)

式中，LAE为双通道自编码器的损失函数；
LSS为自监督分类器的损失函数。

LAE为正常数据重构误差。为了让自编码器只学习目标编号机器声音的时频特征，该损失仅计算该编号的机器声音重构误差，定义为：

(10)

LSS为所有输入信号的机械声编号分类交叉熵，定义为：

(11)

检测过程中，将双通道自编码器的重构误差损失作为目标编号测试样本的异常分数：

(12)

为了验证本文所提出方法在机械系统异常声检测中的有效性，使用公开数据集进行实验，并与4种现有异常检测方法进行性能对比。对比方法包括自编码器(AE)、变分自编码(VAE)、深度高斯混合模型(DAGMM)、单分类支持向量机(OC-SVM)。

3.1 数据集

实验采用公开数据集MIMII进行验证,该数据集包括四种不同的机器在运行状态下的声音，每种共4台机器编号为0、2、4、6，并且采集的声音样本包含有真实环境下的工业背景噪音。采样率为16 kHz，每个声音样本长约10 s。数据集中包含有训练集和测试集。训练集中只有对应机器正常运行状态下的声音样本，而测试集中则包含机器正常状态下运行的声音样本和在各种异常状态下运行的声音样本。数据集的具体描述如表1所示。

表1 声音数据样本划分

3.2 实验参数设置

实验中对原始声音数据进行与DCASE2020 Challenge Task2中相同的预处理：将原始声音时域数据转换成对数梅尔谱，其中快速傅里叶变换点数设置为1024，滑窗512，梅尔特征取128维。以5 fps，每次滑动1 fps数据作为一个训练样本。因此每个声音样本处理成约344个长度为640的训练样本输入网络，DCSS-AE的网络参数设置如表2所示。对比方法中的AE与VAE均采用与DCASE2020 Challenge Task2中基线系统相同的网络结构。网络训练使用Adam优化器，学习率0.000 1，迭代次数为100次，批大小512。

表2 网络参数

本文实验均在Linux系统下开展，编程使用python3.6，基于神经网络的模型采用pytorch1.2框架搭建，OCSVM模型采用sklearn库实现。实验所用计算机搭载TITAN V显卡，12 G内存。

3.3 评价指标

为了从多个角度评价模型性能，使用测试集样本异常分计算AUC指标[21]，并基于测试集样本正常/异常判定结果，计算精确度(Precision)、召回率(recall)、F1分(F1-socre)作为模型检测效果的评价指标。

其中正常/异常的判定采用基线系统所提出的异常分数阈值确定方法：将所有训练样本输入训练好的模型中，得到训练样本的异常数进行Γ分布统计，取该Γ分布百分比函数(ppf函数)0.9处的异常分数作为测试样本的正常/异常的判定阈值φ。

3.4 实验结果分析

3.4.1 对比实验

本文提出DCSS-AE网络与对比方法在测试集上计算AUC、精确度、召回率、F1分进行性能评估，测得结果如表3所示。由表中结果可知，与对比方法比较，DCSS-AE最终取得了最优的异常检测性能，其在fan、valve、slider、pump 4个数据集上的AUC结果分别为0.722，0.896，0.905，0.719，平均AUC为0.811。DCSS-AE在4个数据集的平均AUC较AE、VAE、DAGMM、OCSVM等方法分别提升了11.8%，6.2%，35.7%和38.5%。此外，对比4种机械声数据集，DCSS-AE在非稳态声音数据集上的提升显著高于稳态数据集：在fan和pump两个稳态声数据集上相对于AE的AUC提升为3.8%，而在valve和slider这两个非稳态声数据集上，相对于AE的AUC结果提升达到19.2%。

表3 DCSS-AE与对比方法在MIMMI异常声检测数据集上的结果对比

为了进一步说明本方法相对于AE的改进作用，将稳态声音(fan、pump)及非稳态声音(valve、slider)声音样本的异常分数可视化，如图3所示。

图3 各模型对四种数据集异常检测分数可视化对比

由图3可见，对于fan、pump数据集，其正常声呈现稳态特征，各帧数据之间没有明显的时序相关性。而该数据集的异常样本，也呈现稳态，其异常主要体现在频域。从异常分数对比可见，时序特征提取通道和自监督器的加入，能够令编码器有效学习到其频域特征，DCSS-AE相比于一般AE，在样本频域异常处的异常分数明显增大。另一方面，slider和valve数据集的正常声和异常声都为非稳态声，呈现出明显的周期性时序变化，DCSS-AE由时序特征提取通道的加入，能够记住正常样本的时序特征，然而正常声和异常声样本的时序特性并不相同，因此该方法与其他对比方法相比，能够更有效地检测出非稳态声音异常。

从异常分数的结果可见，4种对比方法在非稳态的异常样本的异常帧处，异常分会有不同程度的提高，但都没有能够实现显著的误差区分性。而DCSS-AE通过两种策略结合，有效提取非稳态正常样本的时序特征与频域特征，DCSS-AE在样本异常帧处(亮线处)产生的重建误差明显增大，而在正常帧处的异常分仍然保持一个较低的水平，异常检测表现提升显著。异常分数的可视化结果与表3中的异常检测结果也表现出高度的一致性。

3.4.2 消融实验

为了验证方法中自监督分类器和时序特征提取通道的有效性，本节进行消融实验验证，3种模型结构分别为：

(1)双通道自编码器(DC-AE)。该自编码器由双通道编码器和解码器组成，未添加自监督分类器结构。

(2)自监督编码器(SS-AE)。该模型由单通道编码器，解码器和自监督分类器组成，没有添加时序特征提取通道。

(3)双通道自监督编码器(DCSS-AE)。该模型为本文提出方法，包含有双通道时频特征融合编码器、解码器和自监督分类器3个部分。

以上3种模型在MIMII数据集上的AUC结果如表4所示。

表4 消融实验结果对比

由表4可知，加入BiGRU跳接结构的DC-AE在4种数据上的平均AUC指标比基线系统(AE)提升了5.7%，尤其在非稳态异常较多的valve数据集上提升了16.1%。表明跳接结构的BiGRU网络使得传统自编码器能够获得更好的时序特征。而加入自监督分类器的SS-AE模型在四种数据上与基线系统(AE)相比有不同程度的提升，平均AUC指标提升了8.5%，尤其在稳态异常较多的pump数据集上提升了17.8%。说明自监督分类器的加入能够引导传统自编码器学得正常声音更好的频域特征。本文提出的方法在四种数据集上的平均AUC指标比基线系统提高了11.8%，与DC-AE和SS-AE相比分别提高了5.7%和3.1%。证明传统自编码器在跳接BiGRU网络结构加入和自监督分类器的引导后，学得了声音数据更好的时序特征和频域特征，在AUC上实现了检测性能的提升。

本文提出了基于双通道特征融合的自监督编码器的机械声音异常检测算法。该算法设计双通道自编码器，两个通道分别用于时序信息与频域信息提取，并通过双通道的多层级跳接结构实现时频特征融合；
此外，本方法设计机械声自监督分类器引导双通道自编码器的训练,通过编号分类的附属任务提升自编码器提取的低维特征有效性。相比于一般自编码网络，该网络能够更好地提取声音数据，尤其是非稳态声音数据的时频特征，达到更好的异常检测效果，在机械声异常检测领域展现出良好的应用前景。

猜你喜欢 双通道时序编码器 顾及多种弛豫模型的GNSS坐标时序分析软件GTSA导航定位学报(2022年5期)2022-10-13融合CNN和Transformer编码器的变声语音鉴别与还原网络安全与数据管理(2022年1期)2022-08-29清明小猕猴智力画刊(2022年3期)2022-03-28基于GEE平台与Sentinel-NDVI时序数据江汉平原种植模式提取农业工程学报(2022年1期)2022-03-25设定多圈绝对值编码器当前圈数的方法锻压装备与制造技术(2021年5期)2021-11-13近端胃切除双通道重建及全胃切除术用于胃上部癌根治术的疗效昆明医科大学学报(2021年4期)2021-07-23福建省医保局率先上线省级“双通道”电子处方流转服务就业与保障(2021年23期)2021-04-06转炉系统常用编码器选型及调试科学技术创新(2021年5期)2021-03-17你不能把整个春天都搬到冬天来意林·作文素材(2021年23期)2021-01-22——编码器">舞台机械技术与设备系列谈（二）
——编码器演艺科技(2020年7期)2020-08-13

推荐访问:编码器 双通道 异常