面向纤维显微成像的图像清晰度评价算法

瞿瑞德，李子印，汪小东，叶 飞，金 君

(1.中国计量大学 光学与电子科技学院，浙江 杭州 310018；
2.湖州市质量技术监督检测研究院(湖州市纤维质量监测中心)，浙江 湖州 313099)

在羊毛、羊绒纤维的特征提取、分类和评级过程中，纤维图像的清晰度十分重要。清晰度较高的图像是特征提取和分类识别的基础。目前，我国大多数纤维检验部门主要采用人工调焦方法来寻找同一XY平面上的最清晰图像，通过反复调节光学显微镜透镜到载玻片的距离来实现，当距离不合适(离焦)时，纤维纹理很模糊；
当距离适中(准焦)，纤维纹理很清晰。人工调焦方法由于结果不稳定、效率低下而不适合大规模纤维对焦。随着计算机技术的不断发展，图像处理技术逐渐被应用于无参考图像的清晰度评价，许多学者对此进行了深入研究。王健等[1]针对传统Brenner评价函数的评价准确性取决于阈值设定的缺点，用图像的中频能量减去高频能量的能量差值作为图像清晰度。张霞等[2]提出点锐度算法，通过计算图像中各边缘的灰度变化来进行图像清晰度评价，但缺乏对图像平坦区域的表征。王鸿南等[3]提出改进的点锐度算法，考虑边缘梯度的各向异性，将边缘的梯度计算改为每个像素邻域梯度的计算。曾海飞等[5]针对传统的灰度梯度算法具有抗噪性差等缺点，提出改进的梯度阈值图像清晰度评价算法，利用边缘分割阈值T筛选出图像的边缘点，对其采用四方向Sobel算子模板进行卷积运算得到梯度，以所有边缘点梯度的总和作为图像清晰度。

除灰度梯度算法外，很多学者通过对清晰图像和模糊图像分布特征的大量分析，得出一些变化规律，研究出其他可行算法，从另一个角度解决灰度梯度算法的缺陷。Wang等[6]提出基于图像结构相似度(SSIM)的图像质量评价方法，认为图像质量评价包括亮度的比较、对比度的比较和结构信息的比较3部分，图像质量等于这三者的乘积，将待评价的原图经过模糊得到对应的降质图，对二者进行分块处理，对每个子块按照上述3部分进行评分计算，最后将三者评分相乘得到最终评分。该方法综合利用图像的许多关键信息，具有较高鲁棒性。薛万勋[7]通过BP-GA神经网络对图像清晰度进行评价，将待评价图像的特征描述子作为输入向量，图像质量评价值作为输出向量，通过网络大量训练得到图像清晰度评价模型，但缺点是图像清晰度对应的标签打分具有人为不确定因素。

上述算法经过实验测试，在同一XY平面采集的Z轴图像序列(不同Z位置的图像)中找出来的“最清晰图像”是由于过曝光导致的纤维边缘出现粗黑边线，纹理模糊的图像。原因是这些算法主要利用目标像素点邻域中的灰度梯度信息构造一个评价函数，未考虑到显微图像的特性。虽然纤维边缘出现粗黑边线的情况对应的评价函数的得分是最高的，但这不是GB/T 10685—2007《羊毛纤维直径试验方法 投影显微镜法》所定义的清晰图像，所以用基于灰度梯度函数的评价方法不适用图像的清晰度评价。

为解决羊毛、羊绒图像的清晰度评价问题，本文提出一种面向纤维显微成像的图像清晰度评价算法，该算法先利用图像预处理去噪，再利用目标分割提取完整的纤维ROI(感兴趣区域)。然后，通过基于Z轴图像序列二值边缘直方图的清晰度算法进行图像清晰度的计算。利用面向纤维显微成像的图像清晰度评价算法能在同一XY平面拍摄的Z轴图像序列中找到符合GB/T 10685—2007的最清晰图像，提高纤维显微成像对焦的准确率和效率。

1.1 图像采集

先将显微镜移动到预先粗略设定好的焦距中心，在焦距中心拍摄1张图像(记为0)，在同一XY平面下，先沿Z轴负方向每隔1个单位连续拍摄9张图像(分别记为-1～-9之间的整数)，再沿Z轴正方向每隔1个单位连续拍摄9张图像(分别记为1～9之间的整数)，不同XY平面的图像如图1所示。

图1 不同XY平面的图像 (×800,Z=-9)Fig.1 Fiber images of different Z positions XY plane (×800,Z=-9)

1.2 整体算法流程

整体算法流程如图2所示。先进行图像采集获取不同XY平面的Z轴图像序列，再进行图像预处理对图像去噪，然后通过融合形态学和连通域的目标分割提取纤维目标ROI，最后通过基于二值边缘直方图的清晰度算法对同一XY平面的Z轴图像序列进行图像清晰度计算，完成图像清晰度评价。

图2 整体算法流程图Fig.2 Overall algorithm flow chart

1.3 图像预处理

图像预处理的目的是利用图像降噪过滤掉图像背景中的一些受灰尘、气泡等因素影响而产生的噪声，以此来消除噪声对纤维目标ROI提取产生的干扰，纤维预处理效果如图3所示。

图3 纤维预处理过程图Fig.3 Diagram of fiber pretreatment process.(a)Original image;(b) Downsampling image;(c) Median filter image

为提高目标分割的运行效率，先采用双线性插值法对纤维原图(本文取XY=1，Z=-9的图像作为示例，如图3(a)所示)，进行下采样(宽度比例1/2，高度比例1/2)得到下采样图，如图3(b)所示。

为滤除图3(b)的背景中的小亮斑(噪声)并保护纤维的边缘信息，采用中值滤波将其滤除，得到中值滤波图，如图3(c)所示。

1.4 融合形态学和连通域滤波的目标分割

融合形态学和连通域滤波的目标分割的流程图如图4所示。

图4 融合形态学和连通域滤波的目标分割的流程图Fig.4 Flow chart of target segmentation combining multiple morphology and connected domain filtering

为去除背景区域噪声，使图像清晰度评价更准确，通过目标分割提取纤维目标ROI，实现纤维目标与背景区域分离，纤维目标分割过程如图5所示。

Canny算子能够标识出尽可能多的实际边缘，同时尽可能地减少噪声产生的误报[8]，Canny边缘检测图如图5(a)所示。针对Canny算子检测纤维边缘存在线条断裂、杂质线段多等问题，对Canny边缘检测图进行闭运算处理，将纤维边缘与内部纹理连接构成连通域，闭运算图如图5(b)所示。图5(b)中，由于小亮斑的边缘也会在闭运算的作用下构成连通域，因此，采用基于面积的连通域滤波方法将其滤除，连通域的标签为：1,2,…，第1次连通域滤波的公式为：

(1)

图5 图像目标分割过程Fig.5 Target segmentation process of fiber image.(a) Canny edge detection iamge;(b) Closing operation image;(c) First connected domain filter image;(d) Reverse image;(e) Second connected domain filter image;(f) Repair image of internal holes in fibers;(g)Opening operation image;(h) Third connected domain filter image

式中：flag_delete1i为第1次连通域滤波中的第i个连通域的删除标志位，1表示删除，0表示保留；
Area1i表示第1次连通域滤波中的第i个连通域的面积(i=1,2,…)；
thVal_Area1表示第1次连通域滤波中的面积阈值。第1次连通域滤波图如图5(c)所示。图5(c)中，小亮斑已被较好去除，但纤维内部存在黑色孔洞，需填补修复，具体步骤为：先对图5(c)进行取反，取反图如图5(d)所示，再进行第2次连通域滤波。然后将图5(c)(e)叠加，得到纤维内部孔洞修复图，如图5(f)所示。至此，已修复好纤维内部的小孔洞，但图5(b)的闭运算会导致距离纤维较近的小亮斑与纤维黏连，需对图5(f)进行开运算处理，将小亮斑分离，开运算图如图5(g)所示。再通过第3次连通域滤波就可以将其滤除。处理后只保留纤维目标，第3次连通域滤波图如图5(h)所示。

目标分割的目的是得到同一XY平面的Z轴图像序列的每张原图的纤维ROI。由于Z轴图像序列经过目标分割得到的二值蒙版图有所差异，为能准确地进行清晰度评价，需要一个包含纤维黑(白)边线的蒙版作为评价区域。

对Z轴图像序列分别应用上述图像预处理、目标分割，得到对应的二值蒙版图，再将这些Z轴二值蒙版图序列按照同一像素点位置上出现白点的频次是否高于稳定目标区域阈值Tsta而进行像素点位置筛选；
若高于Tsta，则将此位置取为白点；
若低于Tsta，则将此位置取为黑点；
最终得到一张目标区域较为精确的蒙版叠加图，如图6所示。通过调整Tsta的大小可以控制纤维目标ROI冗余区域的大小，Tsta的计算公式为

Tsta=α×N

(2)

式中：Tsta为稳定目标区域阈值；
α为比例系数；
N为同一XY平面的Z轴图像序列的图片数量。

经实验测试，当α取0.3时，纤维目标ROI冗余区域较小，目标分割效果最优。

图6 目标区域较为精确的蒙版叠加图Fig.6 A more accurate overlay of target area

然后，以图6为该XY平面图像的最终蒙版，对同一XY平面的纤维原图进行筛选拷贝，筛选拷贝的公式见式(3)。

(3)

式中：W为最终蒙版叠加图中位于白色背景区域的像素点的集合；
B为最终蒙版叠加图中位于黑色纤维目标区域的像素点的集合；
(x,y)为最终蒙版叠加图中坐标为(x,y)的像素点；
f(x,y)为纤维原图中坐标为(x,y)的像素点的灰度值；
dst(x,y)为纤维ROI图中坐标为(x,y)的像素点的灰度值。

不同XY平面的纤维原图(Z=-9)经过相应蒙版叠加图筛选拷贝得到的纤维ROI图如图7所示。

图7 不同XY平面的纤维ROI图Fig.7 ROI image of fibers at different XY planes

评价图7所示ROI的提取质量的方法如下：让纤维检验人员通过人工锚定方法提取出纤维的ROI，以此作为评价标准。本文的目标分割算法提取的纤维ROI比实际偏大，定义一个公式对ROI的提取质量进行衡量：

(4)

式中：ROI_accuracy为ROI区域准确度；
mae_area为人工锚定方法提取出纤维ROI的大小，像素；
pae_area为本文的目标分割算法提取出纤维ROI的大小，像素；
ROI_accuracy位于[0,1]范围，该值越趋近于1说明本文的目标分割算法提取纤维ROI的效果越好。

采用人工锚定方法提取的ROI的效果图如图8所示。其中，人工锚定方法提取的ROI用灰色透明蒙版表示，结合图7、8的ROI，计算出ROI_accuracy分别为0.887,0.857,0.871,0.840，具有较高的准确度。

图8 不同XY平面的人工锚定方法提取ROI区域的效果图Fig.8 Rendering of extracting ROI by manual anchoring method at different XY planes

1.5 基于二值边缘直方图的清晰度算法

图像清晰度计算的流程图如图9所示。

图9 基于二值边缘直方图的清晰度算法的流程图Fig.9 Flow chart of sharpness algorithm based on binary edge histogram

当Z从-9到9变化时，纤维边缘先显示黑色边线，再显示清晰锐利的细线，最后显示白色边线。根据GB/T 10685—2007，待寻找的最清晰图像其边缘显示1条与背景相近的细线。

本文采用基于Z轴图像序列二值边缘直方图的清晰度算法进行图像清晰度的计算。以下步骤均是在图7的Z轴图像序列的基础上进行，先通过设定4个阈值筛选出纤维ROI的边缘白黑点并分别对其计数，其中2个阈值用于筛选边缘白点，另2个阈值用于筛选边缘黑点，公式如下：

(5)

式中：label(x,y)为点(x,y)的标记；
1表示点(x,y)属于边缘黑点；
2表示点(x,y)属于边缘白点；
f(x,y)为点(x,y)的灰度值；
thValblack_low为筛选边缘黑点的低阈值；
thValblack_high为筛选边缘黑点的高阈值；
thValwhite_low为筛选边缘白点的低阈值；
thValwhite_high为筛选边缘白点的高阈值。

筛选出的边缘白黑点，其位置与纤维边缘的细线区域基本重叠，相当于利用纤维的边缘信息进行清晰度评价，符合实际情况。本文列举Z=-9和Z=9分别对应的纤维ROI图及边缘白(黑)点图，如图10所示(为方便可视化，边缘黑点用灰色表示，边缘白点用白色表示)。

图10 纤维ROI图及边缘白(黑)点图Fig.10 Fiber ROI diagram and white and black edge dot diagram.(a) Fiber ROI image (Z=-9)；
(b) Edge white (black) dot image (Z=-9)；
(c) Fiber ROI image (Z=9)；
(b) Edge black (white) dot image (Z=9)

Z从-9到9变化对应的纤维边缘白黑点数量统计图和归一化后的统计图如图11所示。

图11 纤维边缘白黑点数量统计图Fig.11 Statistical graph of number of white and black points on fiber edge.(a) Before normalization; (b) After normalization

为了统一上述数据的数量级，需要分别对边缘白黑点数量分别进行归一化处理，采用式(6)进行数据归一化处理，将数据压缩至[0,1]范围。

(6)

式中：xnorm和x分别表示归一化后和归一化前的边缘白黑点数量，xmax和xmin分别表示归一化前的边缘白黑点数量的最大值和最小值，归一化后的边缘白黑点数量之和统计图如图12所示。

图12 归一化后的边缘白黑点数量之和统计图Fig.12 Normalized statistical graph of sum of white and black points on fiber edge

结合图11、12并从中发现，当边缘白点和黑点数量之和为最小时，此时对应的Z位置(Z=-4)拍摄的图像最清晰，如图13所示。但找出来的“最清晰图像”缺少Z轴图像序列中纤维白黑色边线变化的不平衡约束，不能保证严格意义上的最清晰，所以需对归一化后的边缘白黑点数量进行白黑边线变化不平衡校正(即分别减去各自的阈值)。

图13 最清晰的图像(Z=-4)Fig.13 Clearest fiber image (Z=-4)

由于观察、分析采集的大量Z轴图像序列发现同一XY平面的Z轴图像序列中由于存在白色边线在平均宽度上明显大于黑色边线的现象，所以需要对归一化结果进行如下校正：设定2个阈值，使归一化后的边缘白点数量减去一个较大的阈值Twhite，归一化后的边缘黑点数量减去一个较小的阈值Tblack，若减去阈值后的结果小于0，则将其置为0。校正后的边缘白点和边缘黑点数量叠加，叠加后的数值在真正的焦距中心附近呈现一个凹型曲线的形状，该凹型曲线的最低点对应的图像就是最清晰的。归一化后的边缘白黑点数量分别校正后的统计图和叠加后的统计图如图14所示。

图14 校正后和叠加后的边缘白(黑)点数量统计图Fig.14 Statistical graph of number of white (black) points on edge after correction and superposition.(a) after correction;(b) after superposition

由图14可知，Z=-4拍摄的图像最清晰，符合实际情况。图像清晰度计算公式为：

(7)

式中：Snorm为归一化后的图像的清晰度；
norm()为归一化到[0,1]范围的函数；
S为归一化前的纤维图像的清晰度；
Ntotal为分别减去各自阈值后的归一化后的边缘白点黑点数量之和，其计算公式为

Ntotal=Nwhite_corrected+Nblack_corrected

(8)

式中：Nwhite_corrected为校正后的边缘白点数量；
Nblack_corrected为校正后的边缘黑点数量。

Nwhite_corrected的计算公式为

(9)

式中：Nwhite表示归一化后的边缘白点数量；
Twhite表示边缘白点的阈值。

将边缘白点替换为边缘黑点，则式(9)变为

Nblack_corrected=Nblack-Tblack=

(10)

前4个XY平面的图像清晰度变化曲线如图15所示。

图15 前4个XY平面的图像清晰度变化曲线(本文算法)Fig.15 Change curve of image sharpness at the first 4XY planes(proposed algorithm)

对本文算法进行定量化分析与计算，同时与部分基于传统或改进的灰度梯度函数的图像清晰度评价算法进行对比。实验软件：Visual Studio 2019，电脑硬件配置为：i7-8759H CPU，16G内存，进行测试的羊绒图像是由CX40P显微镜拍摄所得，实验图像分为20组，每组图像在不同的XY平面进行拍摄且共计19张，均按照远焦到正焦、正焦到近焦的顺序变化，每张图像的分辨率为1 536像素×1 024像素，JPG格式。

将本文算法与Tenengrad算法(算法1)、改进的点锐度算法[3](算法2)、改进的Brenner算法[1](算法3)和改进的梯度阈值图像清晰度评价算法[5](算法4)进行对比。为简要表现对比结果，仅放置图7(a)～(d) 4个XY平面的图像序列对应的结果图。

算法1～4在同一XY平面的Z轴图像序列中找到的“最清晰图像”一致，均是纤维边缘出现粗黑边线的图像，原因是这些算法的原理是利用图像的梯度信息进行清晰度评价，而纤维边缘出现粗黑边线的纤维目标，其平均梯度却是最大的。算法1～4找出的“最清晰图像”分别如图16(a)～(d)所示，对这些“最清晰图像”计算清晰度并归一化，结果分别为0，0，0.287，0，清晰度评价并不准确。

图16 算法1～4找到的“最清晰图像”Fig.16 "Sharpest image" found with other 4 algorithms

本文算法找出的最清晰图像如图17所示，归一化后的清晰度均为1，清晰度评价准确。经过纤维专业人员的人工调焦方法找到的最清晰图像如图18所示。

图17 本文算法找到的最清晰图像Fig.17 "Sharpest image" found with proposed algorithm

图18 人工调焦方法找到的最清晰图像Fig.18 Clearest image found by manual focusing method

为更好说明本文算法在羊毛、羊绒纤维显微图像上表现出的优越性，分别利用算法1～4和本文算法寻找并提取纤维目标ROI图像的最清晰的局部区域，将这些最清晰的局部区域通过多层多区域的拼接，形成整幅纤维目标ROI图像的全局清晰重建，合成5张全局清晰的图像进行对比。

对图7所示的4个XY平面的纤维目标ROI图进行寻找和提取最清晰的局部区域，具体重建方法为：将纤维目标ROI图按照一定步长和尺寸进行图像分块，对每个XY局部区域的Z轴图像子块序列进行清晰度计算，并取清晰度最大的图像子块作为最清晰的局部区域，以此类推，求得所有最清晰的局部区域，将这些最清晰的局部区域按照其在原先纤维目标ROI的具体位置进行拼接，得到一幅全局清晰的纤维目标ROI图。图像分块的示意图如图19所示。

单位：像素。图19 图像分块的示意图Fig.19 Sketch map of image block

图像分块的相关公式如下：

Wblock=4

Hblock=4

(i∈[0,XNumblock-1]；
j∈[0,YNumblock-1]；

k∈[-9,9]；
i,j,k∈Z)

(11)

式中：Wblock为图像子块的宽度；
Hblock为图像子块的高度；
XNumblock为纤维目标ROI图在X方向上的图像子块的数目；
YNumblock为纤维目标ROI图像在Y方向上的图像子块的数目；
i,j分别为图像子块在纤维目标ROI图中X方向；
Y方向的索引号；
k为同一XY局部区域的图像子块在Z轴图像子块序列中的索引号；
f()为图像清晰度评价函数；
在给定的i,j下；
计算不同k值的清晰度分数；
maxscore为最大的清晰度分数；
bestblock为最大清晰度分数对应的图像子块。

由于篇幅有限，且算法1～4构建的全局清晰的纤维目标ROI图相似，因此选算法1的结果作为代表与本文算法进行对比，前4个XY平面的全局清晰的纤维ROI图如图20所示。其中，左侧纤维为算法1的结果，右侧纤维为本文算法的结果。

图20 不同XY平面的全局清晰的纤维ROI图(算法1与本文算法的对比)Fig.20 Globally clear fiber ROI at different XY position(comparison between algorithm 1 and proposed algorithm)

定义清晰点数占比Sg来衡量不同算法构建的全局清晰纤维ROI图的清晰度，具体公式为：

(16)

前4个XY平面的全局清晰的纤维ROI图的清晰点数占比对比图如图21所示。

图21 全局清晰的纤维ROI图的清晰点数占比对比图Fig.21 Clear points ratio comparison diagram of globally clear fiber ROI

结合图20、21可以看出：本文算法构建的全局清晰的纤维ROI图，锯齿效应较弱，对纤维边缘信息的破坏程度较小，清晰点数占比极高(接近1)，构建的全局清晰的纤维ROI图，其边缘大多数都是与背景颜色相近的细线，符合GB/T 10685—2007；
而算法1～4构建的全局清晰的纤维ROI图，具有很明显的锯齿效应，基本上破坏了纤维边缘信息，清晰点数占比不是很高，构建的全局清晰的纤维ROI图仍然具有大量粗黑和粗白边缘，不符合GB/T 10685—2007。

本文算法和算法1～4对应的XY=1的图像清晰度对比如表1所示(由于篇幅限制，仅展示羊绒纤维图像的计算结果)。其中，本文算法和算法1～4的图像清晰度计算的数值都进行归一化处理，变换至[0,1]范围，方便不同算法之间进行对比分析。

从表1可以看出：算法1～4针对羊绒图像的清晰度无单峰性；
而本文算法计算出来的图像清晰度具有单峰性，与实际结果吻合。

表2是关于算法1～4、本文算法、专业人员鉴定在每个XY平面的Z轴图像序列中找出的最清晰图像的序号以及准确率，表2中的小数数据表示最清晰图像的序号。其中，小数点的左边数字表示XY平面的编号，小数点的右边数字表示Z轴图像的序号。从表2可以看出，本文算法寻找最清晰图像的平均准确率达到94.5%，算法1～4的准确率不超过50%，不适用于纤维图像的清晰度评价，本文算法与算法1～4相比有较大提高。

表1 本文算法与算法1～4的清晰度计算对比(第1个XY平面的图像)Tab.1 Sharpness calculation of the proposed algorithm is compared with algorithm 1-4 (First XY plane)

表2 本文算法与算法1～4寻找最清晰图像的准确率对比(前20个XY平面的图像)Tab.2 Accuracy of proposed algorithm compared with algorithm 1-4 in finding clearest image (First 20 XY positions)

针对灰度梯度算法无法准确对纤维图像进行清晰度评价的情况，本文提出了一种面向纤维显微成像的图像清晰度评价算法。该算法先后通过图像预处理、目标分割提取纤维目标ROI，再通过二值边缘直方图进行清晰度评价，同一XY平面的Z轴图像序列对应清晰度曲线，该曲线的最大值对应的图像最为清晰，符合GB/T 10685—2007《羊毛纤维直径试验方法 投影显微镜法》。试验结果表明：该算法能够有效改善灰度梯度算法的不足，更适用于纤维显微成像的清晰度评价，运行效率和准确率较高，鲁棒性强，为后续的自动对焦和羊毛与羊绒纤维分类识别工作提供技术支持。

猜你喜欢 黑点清晰度边缘 新入职护士工作价值观、未来工作自我清晰度与心理弹性研究医院管理论坛(2022年8期)2022-10-14白菜长黑点还能吃吗?今日农业(2022年4期)2022-06-01茄子四种『黑点子』病巧防治今日农业(2021年19期)2022-01-12鲜明细腻，拥有更好的清晰度 Ascendo Immersive Audio CCRM-12 MKII/CCRM-6P/SMS-15家庭影院技术(2020年11期)2020-12-28救命的黑点学生天地(2020年31期)2020-06-01修身的效果，改善声像和定位的清晰度 意大利新一代架皇 BAS AS-S4/AS-B4避震脚钉家庭影院技术(2020年4期)2020-05-21嘈杂语噪声下频段增益对汉语语言清晰度的影响电声技术(2020年10期)2020-03-24果蔬上长了黑点还能吃吗中国生殖健康(2019年10期)2019-01-07一张图看懂边缘计算通信产业报(2016年44期)2017-03-13在边缘寻找自我雕塑(1999年2期)1999-06-28

推荐访问:显微 清晰度 成像