卷积神经网络金相组织自动识别

王佳锐，刘能锋，曲鹏

（1.廊坊燕京职业技术学院 机电工程系，河北 廊坊 065200;2.哈尔滨工业大学 实验与创新实践教育中心，广东 深圳 518055）

钢铁材料是目前工业中应用最广、用量最大的金属材料[1]。钢铁材料受加热条件、轧制工艺、冷却速度、热处理工艺等因素的影响，其显微组织类型及形貌特征等呈现出多样性和复杂性，也决定着材料的性能，因此对钢铁材料显微组织进行正确分类尤其重要[2]。其中铁素体和马氏体的结构和性能差别较大。铁素体[3]显微组织呈明亮的多边形晶粒组织，各晶粒位向不同，受腐蚀程度略有差异，因而稍显明暗不同。铁素体组织具有良好的塑性和韧性，但强度和硬度很低。铁素体不锈钢因性价比高而应用广泛。430 铁素体不锈钢[3]可作为洗衣机滚筒制造材料，洗碗机内壁材料等。439 铁素体不锈钢[3]具有焊接性和成型性佳的特点，在制糖和能源产业中作为热交换管使用。马氏体[3]的立体组织有片状和板条状，在金相中多为针状组织。相比铁素体而言马氏体具有高强度和硬度，但塑性几乎为零。420 马氏体不锈钢[3]用作外壳手术刀具。铁素体和马氏体组织对钢铁材料的工艺性能和使用性能有着重要影响，区分与辨识二者尤为关键。

不同材料元素在一定条件下可以制备出相应的金属材料，每种金属材料由于各组份呈现不同的分布状态和具有特定形态的金相组织图像。通过金相组织图像可以观察该材料的宏观组织形貌。金相组织主要是通过光学显微镜拍摄相应图像，通过人工观察与分析金相图片可获得材料信息，如通过确定金相组织可推测该材料的力学性能、评判工艺措施是否合理等，是最常规的一种材料表征方法[4]。该表征方法需要技术人员具有较高的专业知识储备以及丰富的实践经验。现实中往往由于从业人员专业水平不高、人工观察不细致，导致分析的结果不准确，效率较低。因此，利用自动辨识技术对金相组织图像进行计算机辅助鉴别，将有效提高评判的准确度和效率，对金相组织相关的科研分析、生产检测以及相关教学工作都具有重要意义。

计算机图像识别技术是人工智能技术的重要领域之一，在许多领域都有成熟的应用，对金属材料领域也有一定的应用。张勇等[5]改进BP 神经网络对AZ91 镁合金晶粒尺寸进行预测，使误差降低5%。张鹏等[6]提出了一种预测Gd2O3/6061Al中子屏蔽材料力学性能的卷积神经网络模型，捕捉晶粒并统计晶粒大小、数目等信息。曹卓等[7]研究发现卷积神经网络模型中梯度与材料性能之间有一定的关联性，并进一步验证了卷积神经网络具有较好的材料性能预测能力。李维刚等[8]采用扫描电子显微镜（scanning electron microscope，SEM）获得钢铁材料微观组织图片进行自动辨识，取得了较好的效果，然而训练样本数量过小，容易造成模型过拟合现象，对于不同尺度的微观组织图并未做深入研究。目前针对金属表面形貌的自动识别研究主要集中于通过SEM 扫描电镜得到清晰度较高的某种特定微观组织图像，采用传统的数字图像处理方法，拟合晶粒边界，实现晶粒分割[9]；
获取晶粒尺寸信息、对晶粒尺寸及性能预测[5-7]；
采取手动提取图像特征，利用数据挖掘或机器学习实现图像分类或结构性能分析等[10-13]。然而利用卷积神经网络技术对金相组织图像自动识别的研究却非常少，有效研究成果更是寥寥无几。

本文建立金相组织图像数据集，改进LeNet-5、AlexNet、VGGNet 3 种不同卷积神经网络模型，实现自动辨识铁素体与马氏体的金相组织。通过实验结果分析改进卷积神经网络模型特点，使卷积神经网络算法可在金属材料组织的自动辨识领域推广应用。该技术可在工业原材料检测、材料制备检测、成本检测及教学科研等领域实现铁素体与马氏体金属材料组织的自动辨识，不受人为因素影响，有效提高二者的识别率，为后续材料性能分析、工艺研究以及材料的使用等奠定理论依据。

数据集是影响卷积神经网络准确度的重要因素之一，数据集的整理也是本文需要解决的首要问题。卷积神经网络等算法模型要得到高的准确度，需要大量的样本训练，然而实验数据有限，很难获得大量相同材料的金相组织图像。通过标准金相样块，利用奥林巴斯BX 系列正置金相显微镜获取金相图像。图1 为收集的金相显微组织图像。

图1 金相组织图像Fig.1 Metallographic structure images

虽然在同一平面内晶粒大小不同，但金相组织分布相对均匀，整体特征与局部特征相似，分割后的图像也具有较高的辨识度。训练卷积神经网络模型需要大量样本集，如果输入的图像尺寸较大，则训练过程中会产生较大的计算量和大量的参数，这会影响模型训练的速度，甚至对计算机硬件提出很高的要求，实验室无法实现其模型训练过程。小尺寸图像样本有助于提高模型的训练速度，对计算机的硬件要求相对较低。有些图像的局部特征不明显或清晰度不高，影响模型训练的准确度，采用图像分割可以将其去除，避免不必要的影响。因此，本文采用金相组织图像分割的方法增大样本数量。

图2 为采集的金相组织图像经过改变分辨率和分割的方法获得大小为(32×32) dpi 的对比图像。

图2 金相组织图像分辨率统一及分割图像对比Fig.2 Resolution unification of metallographic structure images and image segmentation comparison

图2 中(a)图为将图1 中(a)图铁素体的金相组织图像分辨率归一化为(128×128) dpi，将(a)图分割成(64×64) dpi 的四分图像得到图2 中的(b) 图，(c) 图为将(a) 图分割成16 份(32×32)dpi 的图像，(d)图中将(b)图(64×64) dpi 的图像缩小成(32×32) dpi 的图像。由所得图像可以观察到，(c)图中大部分晶粒被分割，图像中信息无法反映晶粒特征，(d)图中的晶粒特征被保留下来，本文采用此类图像建立样本数据集。

金相组织图像的清晰度受光线等影响，在参与模型训练前需进行图像预处理。本文运用归一化[14]方法将图像灰度值范围扩大以提高图像的对比度。实验发现该方法同时会产生一定的干扰点，本文通过高斯平滑处理[15-17]进行降噪，得到较理想的图像，如图3 所示。因金相组织图像放大倍数不同，在分割成相同尺寸的图像时，放大倍数较大的金相组织晶粒较少，有些图像甚至只有某个晶粒的一部分，为使模型具有一定的实用性，本文将一些图像进行缩小处理，从而替代无法反应晶粒真实特征的图像。

图3 金相组织图像灰度值归一化、平滑处理对比Fig.3 Comparison of normalization and smoothing of gray value of metallographic structure image

图3 中(a)和(d)分别是铁素体和马氏体经过分割后的图像，(b)和(e)分别是(a)与(d)经过灰度值归一化后所得的图像，晶粒特征更加清晰，但同时产生一些噪点，干扰图像信息，(c)和(f)分别是(b)与(e)经过高斯平滑处理后所得图像，可看出图像降噪处理后，其特征信息同时得到保留。本文所建数据集为原图像经过上述图像预处理操作。

综上所述，本文的数据集图像分为两类：铁素体和马氏体，每类图像的训练样本集有1000 张，测试集为150 张，分辨率为(32×32) dpi，均为1 通道灰度图像。

人工神经网络[18-19]是模拟动物神经网络连接方式处理数据的一种算法模型，它由多个神经元结构连接组成。神经网络的学习，是通过计算机自主学习找到一组权重，使得神经网络的输出与目标越来越接近[18]。

卷积神经网络（convolutional neural network,CNN）[20-22]的层与层之间通过卷积计算的方式连接。图4 反应了全连接与卷积连接的区别。

图4 全连接与卷积连接方式比较Fig.4 Comparison of fully connection and convolutional connection

卷积神经网络主要包含卷积层、池化层和全连接层。输入数据经过卷积层的卷积计算后，得到特征图像，具体计算为

式中：wi j为权重值，xm+i,n+j为输入值，b为偏置，ymn为特征值。

特征图像经过池化层[24-25]后可缩小尺度。池化层的采样方式有均匀采样、最大下采样等。最大下采样（max pooling）是在采样区域取最大值作为输出。如果进行S1×S2的均匀采样，取S1×S2内输入值x的 平均值为该区域的输出值y，具体计算为

式中：ymn为S1×S2区域的 输出值，xm×S1+i,n×S2+j为S1×S2区域内的任意输入值。

全连接层是一个浅层感知机，起到分类的作用。输出层采用softmax 分类器，通过计算概率来判别样本种类，可完成多种类别的分类，具体计算为

式中：k表示某个分类表 示该分类的值，p(y(i)=k|x(i),θ)表 示第k类的概率，θ为权重。

通过训练集样本的学习，softmax 分类器学习最优参数，使得损失函数的损失值达到最小，最常用的为交叉熵函数，具体计算为

式中：1 {y(i)=j}表示若样本i的真实分类为j，则取值为1。

训练的过程中损失函数的值逐渐减小，准确度逐渐增高，卷积神经网络模型逐渐收敛，当损失函数小于允许的范围，即得到训练模型。

3.1 LeNet-5 网络结构及改进

LeNet-5 网络[26]结构中使用BP 算法训练模型，采用Sigmoid 作为激活函数，提取原始图像上的有效表征。Sigmoid 激活函数具体计算为

该函数平滑、易与求导，将输入值映射到[0,1]。

本文改进LeNet-5 网络模型记为LeNet-Met-Str，输入层为(32×32) dpi 的1 通道灰度图像，第1 层为卷积层，包含6 个5×5 的卷积核，步长为1，与输入图像进行卷积计算，得到6 个(28×28) dpi的特征图像；
第2 层为池化层，池化核尺寸为2×2步长为2，采用均值下采样方式得到6 个(14×14)dpi 特征图像；
第3 层为卷积层，16 个5×5 的卷积核，步长为1，采用局部连接的方式得到16 个(10×10) dpi 的特征图像；
第4 层为池化层，池化核尺寸为2×2，步长为2，采用均值下采样方法得到16个(5×5) dpi 的特征图像；
第5 层为全连接层，使用120 个神经元做全连接；
第6 层为全连接层，含有84 个隐藏单元；
最后的输出层为2 个，用以实现铁素体和马氏体的自动识别。图5 为本文运用LeNet-MetStr 网络结构训练金相组织模型示意图。

图5 LeNet-MetStr 网络结构Fig.5 LeNet-MetStr network structure

3.2 AlexNet 网络结构及改进

AlexNet 网络[27-28]结构采用了Relu 激活函数；
池化尺寸比步长大，产生覆盖的池化操作，使结果更准确；
引入Dropout 随机删除网络中的一些隐藏神经元，有效避免过拟合现象，模型训练时间也相对缩短。

Relu 激活函数[29]的具体计算为

该函数为非零线性函数，有效克服梯度消失，加快训练速度。

AlexNet 网络输入的图像是能反应颜色特征的三通道彩色图像，且分辨率是(224×224) dpi。而本文所研究的金相组织图像并不需要彩色来反应其特征，所以输入图像仍为(32×32) dpi 的单通道灰度图像。

本文将AlexNet 改进网络记为AlexNet-Met-Str，网络结构共6 层，其中2 层卷积层，2 层池化层，2 层全连接层。第1 层为卷积层，采用7×7 的96 个卷积核，步长为1，得到(26×26) dpi 的96 个特征图像；
第2 层为池化层，采用3×3 的池化核，步长为2 的最大值下采样法进行池化；
第3 层为卷积层，采用5×5×256 的卷积核，步长为1，得到(9×9) dpi 的256 个特征图像；
第4 层为池化层，采用3×3 的池化核，步长为1 最大值下采样法进行池化；
第5 层和第6 层为全连接层，全连接层采用Dropout (丢弃概率rate=0.5)来随机删除一些隐藏神经元以提高效率，降低过拟合现象。

3.3 VGGNet 网络结构及改进

VGGNet[29]通过采用3×3，步长为1 的小卷积核多次扫描的方法，加深了网络的深度，其优点是有较好的泛化能力，良好的迁移学习能力。

本文根据所研究图像特性对VGG16 网络结构进行改进，记为VGG-MetStr。该模型中采用的激活函数为ELU 函数[30]，具体计算为

式中：α为可调节的参数。ELU 函数将Sigmoid 函数和Relu 函数相结合，有效解决Relu 函数在负数时不被激活、梯度消失的情况，更具鲁棒性，收敛速度更快。

VGG-MetStr 网络结构共有17 层，分为6 段，前5 段每段由两层卷积层和一层池化层组成，卷积层采用3×3，步长为1 的卷积核进行卷积，池化层采用大小为2×2，步长为1 的池化核进行池化计算。最后一段为2 层全连接层。

本实验的硬件支持CPU 为intel i7-9750H，GPU 为NVIDIA GTX1650，内存8 GB，操作系统为Unbuntu18，环境为Pycharm，平台使用Tensorflow 与keras，语言使用Python。网络模型的参数采用随机生成，实验所得数据结果采用Tensor-Board 可视化。经过预处理后的数据集图像作为输入，经过3 种改进网络结构训练，得到本文主要统计的2 个指标，准确度(acc)和损失函数(loss)。图6 为LeNet-MetStr 网络模型在不同迭代次数训练样本模型时所得的准确度。

图6 LeNet-MetStr 网络模型在不同迭代次数训练样本模型所得的准确度Fig.6 Accuracy of LeNet-Metstr network model in training sample model with different iteration times

图6(a)为采用LeNet-MetStr 网络模型在训练次数为20 时所得训练样本准确度，图6(b)为采用LeNet-MetStr 网络模型在训练次数为50 时所得训练样本准确度。由图6 可以看出，随着训练次数及迭代次数增多，模型收敛速度加快，准确度也有所增长。后续的模型训练中，本文均采用训练次数为50。

本文将3 种改进网络训练模型的准确度与损失函数值做对比得出结果如表1 所示，其中LeNet-MetStr 网络和VGG-MetStr 网络训练模型的准确度均可达到最高值100%，AlexNet-MetStr 网络训练模型的准确度可达到97%；
对比损失函数值，AlexNet-MetStr 网络训练模型的损失函数值最大，LeNet-MetStr 网络训练模型的损失函数值其次，VGG-MetStr 网络训练模型的损失函数值最小。

表1 LeNet-MetStr、AlexNet-MetStr、VGG-MetStr 训练模型准确度和损失值对比Table 1 Comparison of accuracyand loss value of LeNet-MetStr,AlexNet-MetStr and VGG-MetStr training models

图7 为3 种改进网络模型训练过程所得准确度的变化过程。

图7 3 种改进网络模型训练所得准确度变化过程Fig.7 Change process of accuracy obtained from training of three improved network models

对比图7 中3 种模型训练过程中准确度的变化过程，可以观察到LeNet-MetStr 网络模型在迭代约300 次后，准确度开始快速上升，迭代次数至500 次左右，准确度达到约0.8，能较快的趋于收敛，随后准确度缓慢上升；
AlexNet-MetStr 网络模型在迭代次数约500 次之前，训练过程与LeNet-MetStr 网络模型训练过程相似，其后收敛效果较优，准确度提升相对较慢；
VGG-MetStr 网络模型在迭代约600 次后，准确度开始快速上升，迭代次数至500 次左右，准确度达到约0.8，训练过程稍长，迭代次数在4500 至5000 次左右时，收敛效果更优，准确度更高。该结果与网络结构设置及相关参数设置相符。

本文将测试集数据传入3 种网络训练好的模型，得到测试集的准确度如表2 所示。

表2 LeNet-MetStr、AlexNet-MetStr、VGG-MetStr 模型测试集准确度Table 2 Test accuracy of LeNet-MetStr,AlexNet-MetStr and VGG-MetStr models

由表2 可以看出，VGG-MetStr 网络所得训练模型能够100%识别测试集的图像，LeNet-Met-Str 网络和AlexNet-MetStr 网络所得的训练模型识别测试集图像的准确度均为94.99%。VGG-Met-Str 网络模型要优于LeNet-MetStr 网络模型和AlexNet-MetStr 网络模型。

在实际使用中，会出现未经过预处理的图像作为输入，检测材料类别。为此，将未经预处理的150 张测试集图像进行测试，所得结果如图8所示。

图8 3 种改进网络模型对未经预处理测试集判断结果Fig.8 Judgment results of three improved network models on non preprocessed test sets

由结果可见，150 个测试图像中，LeNet-Met-Str 网络模型可以准确识别134 个，AlexNet-Met-Str 网络模型可以准确识别128 个，VGG-MetStr 网络模型可以准确识别141 个。表3 为3 种模型未经预处理测试集准确度对比。

表3 LeNet-MetStr、AlexNet-MetStr、VGG-MetStr 模型未经预处理测试集准确度Table 3 Unprocessed Test accuracy of LeNet-MetStr,AlexNet-MetStr and VGG-MetStr models

由此可见，对未经预处理的图像测试，VGGMetStr 网络模型仍可得到较高的准确度。

本文对3 种改进网络层级进行比较，如表4所示。可以看出LeNet-MetStr 和AlexNet-Met-Str 的网络层级相同，AlexNet-MetStr 比LeNet-MetStr 的卷积核和池化尺寸较大，VGG-MetStr 网络的卷积核小，层级比LeNet-MetStr 和AlexNet-MetStr 两种网络模型更深。

表4 LeNet-MetStr、AlexNet-MetStr、VGG-MetStr 网络层级比较Table 4 Comparison of network levels of LeNet-MetStr,AlexNet-MetStr,VGG-MetStr

经过实验数据对比可以看出，LeNet-Met-Str 网络结构简单，由于卷积核尺寸较小，网络层级较深，对本文所研究的小尺寸图像训练有很好的效果。AlexNet-MetStr 网络模型卷积核尺寸相对较大，对大数量样本和大尺寸彩色图像有很快的计算速度和很高的准确度，而本文由于样本数量有限，输入的图像尺寸相对较小，AlexNet-Met-Str 网络在训练过程中会丢失图像部分细节特征，从而没有得到较好的准确度。VGG-MetStr 网络模型采用更深的层和更小的卷积核计算特征图像，能提取图像中细小的特征，VGG-MetStr 比Le-Net-MetStr 和AlexNet-MetStr 具有更高的准确度，更好的收敛效果。

本文通过对金相组织图像特征分析，改进卷积神经网络实现铁素体和马氏体两种金相组织图的自动识别，模型训练及测试准确度最高均可达到100%。结论总结如下：

1）分析铁素体与马氏体的金相组织图像特点，采用图像增强、图像裁剪、尺寸缩放等方法进行图像预处理，得到能够反映铁素体和马氏体金相组织特征的训练样本集和测试集。

2）提出金相组织自动识别卷积网络模型。结合金相组织训练样本图像特征，优化卷积神经网络模型，对各层网络结构和参数进行调整，获得训练模型准确度优异的LeNet-MetStr、AlexNet-MetStr、VGG-MetStr 3 种改进网络模型。

3）通过对比3 种改进卷积神经网络模型，分析其性能，得出VGG-MetStr 网络模型优于LeNet-MetStr、AlexNet-MetStr 网络模型的结论，与理论相符。本文验证了使用卷积神经网络实现金相组织图像自动识别的可行性和准确性，为今后更多金相组织种类的自动识别奠定基础，笔者今后将对双相金相组织图像分析及自动辨识做进一步研究。

猜你喜欢 金相铁素体准确度 10Ni5CrMoV钢焊缝针状铁素体相变热力学分析电焊机(2022年8期)2022-09-09影响重力式自动装料衡器准确度的因素分析科海故事博览·下旬刊(2022年4期)2022-05-07铁素体含量测试方法及通用性焊接(2021年2期)2021-05-07Phosphatidylinositol-3,4,5-trisphosphate dependent Rac exchange factor 1 is a diagnostic and prognostic biomarker for hepatocellular carcinomaWorld Journal of Clinical Cases(2020年17期)2020-09-18高强低合金钢中针状铁素体转变研究进展中国金属通报(2019年6期)2019-08-20球墨铸铁件金相组织分析与控制山东工业技术(2017年9期)2017-05-16论提高装备故障预测准确度的方法途径价值工程(2016年32期)2016-12-20纳米析出低碳钢时铁素体和贝氏体的应力-应变行为汽车文摘(2016年3期)2016-12-09黄金制品的金相研究科技创新导报(2014年36期)2015-03-11对GB 17167实施过程中衡器准确度要求问题的探讨中小企业管理与科技·中旬刊(2014年10期)2015-02-03

推荐访问:金相 卷积 神经网络