基于改进红绿色差和Otsu的葡萄果穗图像分割*

周文静，赵康，马晓晓，田志芳

(1. 新疆科技学院信息科学与工程学院，新疆库尔勒市，841000；
2. 石河子大学机械电气工程学院，新疆石河子，832003)

我国葡萄种植历史悠久，是世界第四大水果[1]。由于其本身适应性强、经济效益高等特点，栽培区域遍布全国各个省份，是人民增收致富的主要来源[2]。然而葡萄收获依旧靠人工采摘，费时费力[3]，急需自动化采摘来解决这一问题[4-5]。自动化采摘中，采摘机器如何准确识别田间葡萄果穗是采摘的关键，因此需要快速准确地检测田间的葡萄果穗目标。

近年来，随着机器视觉的不断发展，国内外学者纷纷对葡萄果穗图像准确分割的问题展开了研究。如，Xiao等[6]曾采用BP神经网络对田间苹果图像像素进行训练，实现了与背景颜色相近的绿色苹果分割，He等[7]采用支持向量机实现了对田间荔枝的分割，乔虹等[8]将Mask R-CNN应用于田间葡萄叶的分割。周文静等[9]采用KNN法实现了葡萄果穗的分割，但图像分割精度有限。然而，此类机器学习算法需要获取大量数据进行训练，耗时过长，且对设备要求较高[10]。此外有关图像背景分割方法最大类间方差(Ostu)法也常用于果蔬背景分割，且该方法不需要大量数据进行训练，对设备要求较低。尹建军等[11]对田间自然光照条件下采用色差R-G对番茄图像进行自动阈值分割，实现了背景有效分割且具有很好的鲁棒性。司永胜等[12]采用色差比(R-G)/(G-B)进行自动阈值分割实现了对不同光照下拍摄的苹果图像。2010年，司永胜等[13]又提出归一化的红绿色差(R-G)/(R+G)进行绿色苹果的阈值分割，识别率可达92%，齐锐丽等[14]也通过对数字图像的分析，采用H通道进行Otsu分割实现了田间环境下花椒的分割。如此可见，通过对数字图像的分析，采用合适的特征图进行分割，能够实现目标的分割。

因此，本文拟对数字图像进行分析，选择合适的特征图并采用Otsu方法进行田间葡萄背景的准确分割。

最大类间方差(Otsu)法根据图像的灰度直方图以最佳阈值将图像分割成两部分，该阈值使两部分的方差取得最大值，即分离性最大。首先选取合适的分割特征进行图像分割，图像分割后通过形态学处理来连通目标。然后再提取各连通区域的面积作进一步分析处理，判断出目标区域。

1.1 选取颜色空间

传统的图像分割通常是基于灰度图像进行处理的，相比于灰度图像，彩色图像含有更丰富的信息依据其进行图像分割得到的分割性能更高。CIE(国际照明委员会)提出的CIE-1931-RGB彩标准色度系统演变出的颜色空间包括RGB、HIS、LAB等[15]，其中RGB颜色空间表示颜色的方法简单形象、易于理解，几乎涵盖人们看到的所有颜色，最适于人类视觉观察。因此本文选取RGB颜色空间对图像进行分析。

RGB图像有红色(R)、绿色(G)、蓝色(B)三个通道，是工业界的颜色标准，这个标准几乎可以将人们看到的所有颜色都涵盖进去。如图1所示为RGB彩色空间的三维空间结构，三个坐标轴分别表示红色、绿色、蓝色三基色，立方体中的每一个点都代表一种颜色，原点(0,0,0)表示黑色，坐标点(1,1,1)表示白色。

图1 RGB颜色空间模型

1.2 葡萄图像直方图分析

研究人员常用的红绿色差一般为(R-G)特征或归一化的红绿色差特征，然后采用Otsu进行分割，但分割方法并不适用于田间的复杂情况。Otsu自动阈值分割要求图像的直方图具有明显的两类，可以直接分割图像。因此，本文对红色葡萄果穗和图像的R、G、B三个通道的直方图进行分析，如图2所示。葡萄图像3个通道的直方图均不具有该特征。需要进一步对3个通道的图像进行运算使其直方图的分布具有明显的两类，且最好葡萄为其中一类，背景为其中一类，进而能够较准确地实现葡萄果穗图像的分割。从图中可以看出，R、G、B 3个通道的峰值并不在同一灰度范围内，因此可选取与田间葡萄果穗图像颜色相关的R通道和G通道作为主要特征图。结合以往的研究，不断进行不同运算的测试，发现除图像的灰度图、R-G图像、归一化红绿色差图像之外，(R-G)·(R+G)得到的直方图同样具有明显的两个类别，如图3所示分别为灰度图、R-G图像、归一化红绿色差图像以及红绿色差点乘图像的直方图。观察图3(c)和图3(d)可发现，归一化红绿色差和红绿色差点乘的直方图甚至只在一个灰度值有像素，则这两种方法几乎能够直接完成图像的分割。因此本文研究了红绿色差点乘((R-G)·(R+G))图像作为分割特征，然后对该特征进行Otsu分割即可得到葡萄果穗的图像。

(a) 原图 (b) R通道直方图 (c) G通道直方图 (d) B通道直方图

(a) 灰度图直方图 (b) R-G图像直方图 (c) 归一化红绿色差直方图 (d) 红绿色差点乘图像直方图

2.1 图像分割结果

采用1.2节分析得到的红绿色差点乘的分割特征对图2(a)进行Otsu分割，得到的分割图像如图4所示，尽管图中存在些许枝干、树叶等背景的干扰，但葡萄果穗几乎被完整地从背景中分割出来。

图4 改进红绿色差特征与Otsu分割结果

根据该分割结果，本文对其进行膨胀、腐蚀、删除小面积对象等操作，得到如图5所示的结果。

图5 葡萄果穗图像分割结果

从图5可以看出除了葡萄果穗右下角有少量背景，葡萄果穗已被完整分割出来，可见本文改进的红绿色差分割特征进行Otsu分割能够实现葡萄果穗的较完整分割。

2.2 背景分割性能评价

根据式(1)和式(4)计算图像分割的准确率(Accuracy，%)、查准率(Precision，%)、查全率(Recall，%)和F1值(F1-score，%)4个性能评价指标，并采用准确率和F1值进行背景分割性能评价。

(1)

(2)

(3)

(4)

式中：TP——目标像素被准确判别为目标像素的数量，对应图5中绿色区域；

TN——背景像素被准确判别为背景像素的数量，对应图5中黑色区域；

FP——背景像素被判别为目标像素的数量，对应图5中白色区域；

FN——目标像素被判别为背景像素的数量，对应图5中红色区域。

2.3 不同特征Otsu分割结果

为测试改进红绿色差分割特征的分割性能，本文对葡萄图像的灰度图、R-G图像、归一化红绿色差图像3种特征图分别采用Otsu法分割，将其分割结果与改进方法得到的分割结果进行对比，如图6所示，图6(a)为直接对灰度图进行分割的结果，可以看出分割出的区域为图中颜色亮度较高的区域，因此部分亮度较高的背景同样被分割出来。可见该特征图分割受光照影响无法对田间复杂多样环境下的葡萄果穗进行分割；
图6(b)为采用色差(R-G)作为分割特征得到的分割结果，该方法一定程度上可避免光照不均的影响，分割出了葡萄果穗，虽有少部分颜色较暗的葡萄果粒未能分割出来，却完全祛除了图像的背景，可见该特征图对分割光照强度不一的图像具有较好的鲁棒性该方法可以用于机器视觉的识别，但若要准确定位葡萄果穗还需进一步提高图像分割的准确度；
图6(c)的分割结果采用的特征图为归一化的红绿色差(R-G)/(R+G)，从结果图不难看出，该方法与图6(b)同样将所有背景去除，但对于要分割的葡萄果穗这一目标，对比6(b)，该特征图进行Otsu分割后仅分割出了葡萄的高亮部分；
而在采用红绿色差点乘特征图的图6(d)中，Otsu将葡萄果穗更完整地从背景中分割出来，且背景中仅有少量枝干一同分割出。总体而言，采用红绿色差点乘特征图进行Otsu分割得到的分割结果虽有少量背景，但分割出的主体最为完整。

(a) 灰度图分割 (b) (R-G)特征分割

2.4 不同特征图Otsu分割效果分析

不同特征图Otsu分割后的分割效果如图7所示，图中黑色区域表示正确去除的背景，绿色表示正确分割的葡萄果穗，总体来看，图7(c)中黑色面积最大，图7(b)次之，图7(d)黑色面积少于图7(b)、图7(c)，图7(a)最少；
而图7(d)绿色面积最大，图7(b)次之，接下来是图7(a)和图7(c)，按照正确分割的准确率，图7(b)、图7(d)分割效果最好。

(a) 灰度图分割效果 (b) (R-G)特征分割效果

本文对每种分割特征分割效果图中不同颜色像素的数目进行统计，其准确率、查准率、查全率和F1值如表1所示。根据表1中结果来看，采用灰度图进行分割得到的分割效果最差，主要是由于灰度图分双峰分别为亮部区域和暗部区域，只能分割出图像的亮暗，无法完整分割葡萄果穗。从查准率上来看(R-G)特征和归一化特征得到的分割效果更好，分别达到了97.42%和98.77%，但两种方法所得到的查全率并不高，分别为60.19%和18.49%。由此分析得，这两种特征分割得出图像虽然不会分割出较多背景，但有较多葡萄未能分割出，这与图7(b)和图7(c)所示的分割结果一致。而红绿色差点乘特征分割得到的查准率和查全率相对较高，若要全面了解不同分割特征的分割效果，还需综合查准率和查全率得值，而F1值为我们提供了查准率、查全率的调和平均值。红绿色差点乘特征分割的准确率及F1值都是最高的，分别为92.37%和90.13%。(R-G)特征分割图像的准确率及F1值仅次于红绿色差点乘特征，其分割准确率为85.30%，但F1值却低了很多，仅为74.40%，结合分割图像分析其主要原因是分割目标中部分较暗区域未分割出来；
归一化色差的准确率为71.56%，而F1值仅为51.15%，主要是因为该分割方法只分割出了葡萄中的高亮部分，其余较暗部分均未分割出来。综上所述，本文提出的红绿色差点乘特征Otsu分割得到的分割效果最好，优于其他3种分割特征。

表1 不同分割特征分割性能Tab. 1 Segmentation performance of different segmentation features %

2.5 改进红绿色差分割法的验证

为验证本问题出的葡萄果穗分割方法，选择了不同光照强度及不同角度拍摄的50幅葡萄果穗图像作为测试图像，采用此方法对其进行测试。对50幅图像测试结果的像素进行了统计，分别统计正确去除的背景、正确分割的葡萄果穗、错误去除的背景和错误分割出的葡萄果穗的像素数目，依据准确率的计算公式计算所得图像的准确率如图8所示，50幅测试图像准确率最高为97%，准确率最低为79%，其平均准确率为88.75%。

图8 50幅图像的准确率

选择光照强度变化更大的典型图像进行分割，其分割结果如图9所示。

(a) 原图

从图9中可以看出，即使光照强度差异较大，或者逆光拍摄葡萄，提出的葡萄果穗分割方法均能准确将葡萄果穗从背景中分割出来。

本文提出了一种分割葡萄果穗的方法，并对比葡萄图像的灰度图、R-G图像、归一化红绿色差进行Otsu分割的分割效果，采用准确率和F1值作为分割性能指标进行分析。

1) 提出了红绿色差点乘图像作为图像分割的特征图，采用该特征图进行Otsu方法能够准确分割田间的红葡萄果穗图像。

2) 通过对不同特征图分割结果的对比发现，不论是分割的准确率还是F1值，红绿色差点乘的Otsu分割法的分割结果都是最优的，准确率为92.37%，F1值90.13%。

3) 采用50幅不同光照强度及不同角度拍摄的葡萄果穗图像进行验证，试验结果表明，50幅测试图像准确率最高为97%，准确率最低为79%，其平均准确率为88.75%。本文提出的方法能够准确分割出田间复杂环境的葡萄果穗。能够为本文的分割方法可为葡萄果穗的识别、定位提供研究基础。

猜你喜欢 果穗直方图灰度 符合差分隐私的流数据统计直方图发布湘潭大学自然科学学报(2022年2期)2022-07-28采用改进导重法的拓扑结构灰度单元过滤技术北京航空航天大学学报(2022年6期)2022-07-02Bp-MRI灰度直方图在鉴别移行带前列腺癌与良性前列腺增生中的应用价值天津医科大学学报(2021年1期)2021-01-26设施番茄果穗弯折影响因素的研究西北农业学报(2020年3期)2020-05-11用直方图控制画面影调摄影之友(影像视觉)(2018年12期)2019-01-28日光温室春番茄果穗弯折现象调查与分析河南农业科学(2018年4期)2018-06-05基于最大加权投影求解的彩色图像灰度化对比度保留算法自动化学报(2017年5期)2017-05-14中考频数分布直方图题型展示初中生世界·八年级(2017年3期)2017-03-24果穗挂钩在番茄生产中的应用技术蔬菜(2017年4期)2017-02-01圆投影及直方图不变矩在多视角产品检测中的应用现代工业经济和信息化(2016年19期)2016-05-17

推荐访问:果穗 色差 分割