基于深度学习的鲜食葡萄叶片品种识别研究

潘博文1,2#,林美苓1#,鞠延仑2,苏宝峰3,孙 磊1,樊秀彩1,张 颖1,张永辉4,刘崇怀1,姜建福1*,房玉林2*

1中国农业科学院郑州果树研究所,郑州 450009;2西北农林科技大学葡萄酒学院,陕西杨凌 712100;3西北农林科技大学机械电子与电子工程学院,陕西杨凌 712100;4云南省农业科学院热区生态农业研究所·元谋干热河谷植物园,云南元谋 651300)

摘 要:【目的】建立基于深度学习的鲜食葡萄叶片品种识别模型,为中国鲜食葡萄品种的保护、开发和系统分类工作奠定科学基础,并为其他农作物品种的鉴别工作提供借鉴。【方法】聚焦于68个常见鲜食葡萄成熟叶片的图像分析,通过图像采集技术,构建一个包含29 713 张图像的鲜食葡萄叶片数据集。采用4 种先进的卷积神经网络模型——GoogleNet、ResNet-50、ResNet-101和VGG-16对这些图像进行深入的自动识别研究。【结果】在所有测试的网络模型中ResNet-101表现最为出色,其在最佳参数配置下达到了97.99%的分类精度。在对68个葡萄品种的叶片图像进行检测时,对23个品种的预测准确率达到了100%,对整体的平均预测准确率则为94.90%。此外,对18个品种的召回率也达到了100%,对整体的平均召回率为94.19%。采用Grad-CAM技术分析的结果显示,所有模型都能精确地识别叶片的关键特征,叶片的表面纹理、叶脉和叶缘部分在品种识别过程中起到了至关重要的作用。【结论】深度学习网络模型可以很好地对鲜食葡萄进行自动实时识别。

关键词:鲜食葡萄;深度学习;品种识别;叶片

中国是世界上最大的鲜食葡萄生产国之一[1],产量约占全球的50%[2]。中国大多数地区均有鲜食葡萄规模栽培,鲜食葡萄以其强大的适应性、广泛的种植范围和高产量,已经成为一种高效的经济作物。近年来,它不仅成为农民增收的重要来源,也是地方经济发展和消费市场上不可或缺的特色水果。鲜食葡萄产业的繁荣,对巩固和扩大脱贫成果以及推动乡村振兴战略具有不可替代的作用[3]。优良品种在中国葡萄产业中发挥着越来越重要的作用[4]。但随着葡萄品种持续更新,其面临的问题也日益突出。全世界已有的葡萄品种有上万种[5],在实际生产、科研工作中会出现品种混淆、识别不准确等问题,准确识别葡萄品种变得愈发困难。葡萄品种的准确识别对资源统计、新品种鉴定及遗传资源的保护具有极其重要的意义。当前,迫切需要开发一种无损、高效且环境友好的鉴定技术,以快速筛选出特定的葡萄类型。

不同作物品种的叶片均具有独特的纹理特征、形状、颜色等,因此可以根据这些特征来进行品种的识别[6-8],但有些品种间叶片的区别十分细微,通过肉眼人工很难识别分辨[9]。随着计算机、人工智能等技术的迅速发展,机器识别在农作物领域的应用潜力日益增大。决策树[10]、卷积神经网络[7]、支持向量机[11]和k 近邻[12]等方法均可以用于植物品种识别[13]。深度学习可以在保证高准确率的前提下快速提取图像的深层特征,提取的特征具有更强的泛化能力,有效地解决人工分类带来的问题。利用计算机作为辅助工具,可以提升鉴别工作的效率,降低科研工作者的劳动强度,加速科研工作的进程,并且实现表型指标的自动化量化[14]

神经网络在智能识别领域的使用已经十分广泛。在番茄中,尹义志等[15]使用小波变换与BP神经网络相结合的方式来预测产量,构建产量预测模型,其中WNN 模型预测结果与实际产量的误差仅为1.02%;宁景苑等[16]以红富士为研究对象,构建SNVBP-RS 苹果损伤检测模型,该模型准确率为91.48%,用时仅需0.291 s,这种检测方法大大降低了光谱检测系统对检测波段的需求;在苹果中,采集苹果表皮的损伤图像,使用经过迁移学习的Mobile Net-v2 模型对苹果表皮损伤的验证精度达92.23%[17];在荔枝的病虫害识别上,谢家兴等[18]通过对ShuffleNet V2 模型进行改进并通过使用ECA 等方法对网络层数等进行了优化,该模型对5 种荔枝病虫害的识别准确率达到了99.04%。

在品种识别方面,Bi 等[19]结合深度学习与机器视觉识别玉米种子,构建玉米种子图像的多尺度融合特征,MFSwin模型在测试集上的平均准确率、召回率和F1 值分别为96.53%、96.46%和96.47%。Wang 等[20]采用距离融合和分类器融合两种方法对大豆植株叶片图像模式的深度学习特征进行融合,该方法的分类正确率达到了83.55%。

本研究选取鲜食葡萄叶片作为研究对象,使用4 种不同的卷积神经网络模型来执行品种的识别任务。通过对识别精度的比较,笔者选定了精度最高的模型进行深入的测试与优化,进而确定了该模型在自动识别过程中的最佳参数配置。此优化后的模型展现出了对葡萄品种进行快速且准确识别的能力。这一成果不仅为加速葡萄品种的鉴定流程、提升农业管理效率奠定了坚实的基础,同时也为其他农作物品种识别领域的研究提供了有益的参考和借鉴。

1 材料和方法

1.1 葡萄图像数据集采集

在国家葡萄种质资源圃(郑州,东经113°67′、北纬34°75′)进行叶片图像的拍摄工作。树龄15~20 a(年),自根苗,栽培方式采用南北向单干双臂树形结构,行距为2.5 m,株距为1.0 m,架设高度为1.8 m,圃地的维护管理水平处于中等。

1.2 图像采集及预处理

在自然田间环境下,拍摄成熟且完全展开的无营养缺乏及明显病虫害的叶片图像,每个品种拍摄500 张(JPG 格式),像素为3456×4608。本研究中葡萄数据集包含68个鲜食葡萄品种(表1,图1)。对采集到的图像进行预处理,对原始图像中的局部特征进行提取且将分辨率统一调整为224×224像素。此外,对图片进行旋转、缩放以及等比例裁剪的处理。这些处理方法用来对深度学习模型进行高度训练,且具有高适用性和较高的计算效率。

图1 68 个鲜食葡萄品种叶片样图以及图像数量
Fig.1 Leaf samples and image number of 68 table grape varieties

表1 试验选取的鲜食葡萄品种信息
Table 1 Table grape variety information

编号Code品种名称Variety name种属Population来源地Source编号Code品种名称Variety name种属Population来源地Source 1 2 3 4 5 6 7 8 9维多利亚Victoria醉金香Zuijinxiang罗马尼亚Romania中国China 24藤稔Fujiminori欧亚种V.vinifera欧美杂种Hybrids of V.vinifera and V.labrusca欧美杂种Hybrids of V.vinifera and V.labrusca欧亚种V.vinifera欧亚种V.vinifera欧美杂种Hybrids of V.vinifera and V.labrusca欧亚种V.vinifera欧美杂种Hybrids of V.vinifera and V.labrusca欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧美杂种Hybrids of V.vinifera and V.labrusca欧亚种V.vinifera欧亚种V.vinifera欧美杂种Hybrids of V.vinifera and V.labrusca欧美杂种Hybrids of V.vinifera and V.labrusca欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧美杂种Hybrids of V.vinifera and V.labrusca欧美杂种Hybrids of V.vinifera and V.labrusca日本Japan 25巨玫瑰Jumeigui中国China 26无核翠宝Wuhecuibao月光无核Yueguangwuhe中国China中国China蜜红Sweet Scarlet红地球Red Globe沪培2号Hupei2美国America美国America中国China 27 28蒙丽莎无核Melissa Seedless妮娜皇后Ninahuanghou美国America日本Japan 29京香玉Jingxiangyu葡之梦Puzhimeng中国China美国America 30 31 32新郁Xinyu意大利Ltalia奥林匹亚Olympia金手指Golden Finger中国China意大利Italy匈牙利Hungary日本Japan 10 33阳光玫瑰Shine Muscat日本Japan 11 34 12巨峰Kyoho日本Japan 13 35 14瑞都科美Ruidukemei秋王Autumn King紫甜无核Zitianwuhe红艳无核Brilliant Seedless美人指Manicure Finger夏黑Summer Black中国China美国America中国China中国China日本Japan日本Japan 36 37 15马奶Manai里扎马特Rizamat茉莉香Molixiang中国China苏联Soviet中国China 16 38 17早黑宝Zaoheibao红果王Hongguowang郑艳无核Zhengyanwuhe中国China日本Japan中国China 39龙眼Longyan红亚历山大Flame Muscat欧美杂种Hybrids of V.vinifera and V.labrusca欧亚种V.vinifera欧美杂种Hybrids of V.vinifera and V.labrusca欧亚种V.vinifera欧美杂种Hybrids of V.vinifera and V.labrusca欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧美杂种Hybrids of V.vinifera and V.labrusca欧美杂种Hybrids of V.vinifera and V.labrusca欧美杂种Hybrids of V.vinifera and V.labrusca欧亚种V.vinifera欧亚种V.vinifera欧美杂种Hybrids of V.vinifera and V.labrusca欧亚种V.vinifera欧亚种V.vinifera中国China南非South Africa 18东方之星Dongfangzhixing日本Japan 40 41 19 42 20葡萄园皇后Queen of vineyard瑰宝Guibao布朗无核Bronx Seedless匈牙利Hungary中国China美国America 21 43 22黎明无核Dawn Seedless早康宝Zaokangbao秋红宝Qiuhongbao沪培1号Hupei1美国America中国China中国China中国China 44 45 23洛葡早生Luopuzaosheng中国China 46莎巴珍珠Pearl of csaba红色阳光Hongseyangguang大青葡萄Daqingputao牛奶Niunai欧亚种V.vinifera欧亚种V.vinifera欧美杂种Hybrids of V.vinifera and V.labrusca欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera匈牙利Hungary日本Japan中国China中国China

表1 (续) Table 1 (Continued)

编号Code品种名称Variety name种属Population来源地Source编号Code品种名称Variety name种属Population来源地Source 47 59着色香Zhuosexaing中国China 48 60 49 61 50 51 62 52 63 53 64 54 65 55爱神玫瑰Aishenmeigui绯红Zana李子香Lizixiang瓶儿Pinger京可晶Jingkejing高千穗Takachiho香妃Xiangfei秋黑宝Qiuheibao春光Chunguang中国China美国America不详Unknown中国China中国China日本Japan中国China中国China中国China 66黑色阳光Heiseyangguang克瑞森无核Crimson Seedless京红宝Jinghongbao玫瑰香Mascat Hamburg皇室红Scarlet Royal魏可Weike户太8号Hutai8日本Japan美国America中国China英国Britain美国America日本Japan中国China 56红富士Beni Fuji日本Japan 67先锋Pioneer日本Japan 57 68 58红脸无核Blush Seedless黑脆无核Heicuiwuhe欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧美杂种Hybrids of V.vinifera and V.labrusca欧美杂种Hybrids of V.vinifera and V.labrusca欧亚种V.vinifera不详Unknown美国America不详Unknown和田红Hetianhong欧美杂种Hybrids of V.vinifera and V.labrusca欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧亚种V.vinifera欧美杂种Hybrids of V.vinifera and V.labrusca欧美杂种Hybrids of V.vinifera a nd V.labrusca欧亚种V.vinifera中国China

1.3 卷积神经网络模型

前人已经开发了各种手动特征提取方法,包括SIFT(尺度不变特征变换)[21]、SURF(加速鲁棒特征)[22]等。SIFT 算法以在图像转换中对旋转、噪声、缩放、照明等的不变性而闻名。尽管SIFT 和SURF算法的性能相对较好,但由于计算效率低下,并不适合实时应用程序。因此本研究采用可以自动提取图像特征的卷积神经网络(CNN)[23],CNN 与传统图像识别技术有所不同,这种方法通过直接将二维图像输入网络,自动完成关键特征的识别和提取,避免了传统方法中复杂的预处理、人工特征提取和数据重建步骤。本研究以鲜食葡萄叶片数据集为材料,选择了GoogleNet[24]、ResNet-50[25]、ResNet-101[26]以及VGG-16[27] 4 个卷积神经网络进行训练验证。GoogleNet[28]采用Inceptionv1 模块,包含9 个深度序列的模块化结构,因复杂性较高更适合大规模数据集。其卷积核可捕捉不同尺寸目标物体,池化层与卷积层并行操作以保障效率与通道扩展。VGG-16[29]以小型堆叠卷积滤波器为基础,使用3×3 卷积核和2×2 池化核,网络深度增加时参数增长缓慢,多数参数集中在最后3 个全连接层。3 个3×3 卷积层感受野与7×7 卷积层相近但参数量减半,深度提升有助于增强分类效果和正则化。He 等[30]通过引入skip 连接和残差块结构解决了ResNet 深度网络训练难题,残差学习简化映射过程并缓解梯度消失问题。基于此结构衍生出ResNet-18、ResNet-50、ResNet-101等更深层网络,推动了深度学习模型的发展。

1.4 评价模型性能指标

通过下式对深度学习分类任务进行性能评估。

式中,A(精度,Accuracy)、L(损失值,LOSS)、P(精确率,Precision)、R(召回率,Recall);F1(F1 Score,调和精确率与召回率的综合指标)。TP(True Positive):预测与真值均为正;FP(FalsePositive):预测正而真值负;TN(Tre Negative):预测与真值均为负;FN(FalseNegative):预测负真值正。M:类别总数;yic:样本i的真实品种为c取1,否则取0;pic:样本i为品种c的概率。

1.5 基于Grad-CAM的可视化分析

卷积神经网络利用Grad-CAM(即梯度加权类别激活映射)技术来分析和可视化葡萄叶片样本在学习过程中的特征提取情况,可以直观地理解网络是如何根据叶片特征来区分不同葡萄品种的[31],通过热图清晰地展示模型在做出分类决策时所依赖的图像区域,从而增强模型的可解释性。类激活图可视化(CAM,class activation map)技术在可视化CNN中的特征激活方面非常表现优异,但局限于它的结构依赖性,如要求网络模型中必须包含池化层,多目标定位不准确,难以区分和定位每个目标。相比之下,Grad-CAM 技术更适用于那些没有池化层的网络结构,因此应用范围更为广泛。

1.6 试验平台

试验环境:采用64 位Windows 10 操作系统作为试验平台,TensorFlow 2.8.0深度学习框架,NVIDIA GeForce RTX 3090 GPU以及Python编程语言。

2 结果与分析

2.1 分类模型选择

首先对4 种分类模型的精度进行比较,当迭代次数、学习率、最小批次均相同时,ResNet-101 精度最高达到了97.13%,ResNet-50 次之,尽管这4 种模型中GoogleNet 精度最低,但也达到了91.82%(表2)。这4种模型的识别精度均超过90%。

表2 四种分类模型的准确率
Table 2 The accuracy of four classification models

分类模型Classification model VGG-16 GoogleNet ResNet-50 ResNet-101迭代次数Max epochs 50 50 50 50学习率Learning rate 0.001 0.001 0.001 0.001最小批次Mini-batch size 32 32 32 32精度Accuracy/%94.96 91.82 97.06 97.13

2.2 模型参数选择

2.2.1 最佳学习率选择 在2.1 的测试中,ResNet-101 表现出卓越的识别精度,因此对该模型进行模型参数的优化,以期获得更优的识别精度。对3 个参数中的学习率进行修改设定,分别设置为0.01、0.005、0.001,当学习率设为0.005 时精度最高,为97.99%(表3)。

表3 不同学习率下ResNet-101 的性能
Table 3 The performance of ResNet-101 at different learning rates

模型Model E1 E2 E3学习率Learning rate 0.001 0.005 0.010最小批次Mini-batch size 32 32 32迭代次数Max epochs 50 50 50精度Accuracy/%97.13 97.99 97.53

2.2.2 最佳最小批次选择 在之前的实验中确定了ResNet-101模型以及0.005的学习率,在这次的训练中笔者设置了不同的最小批次以调整训练效率。最小批次过大过小都会影响模型的训练结果,因此设置16、32、64、128 四个不同参数进行试验。结果如表4 所示,当最小批次为32 时识别精度达到最大,E4最小批次为16时识别精度略小于E5,为97.77%。

表4 不同最小批次ResNet-101 的性能
Table 4 The performance of ResNet-101 with different mini-batch sizes

模型Model E4 E5 E6 E7学习率Learning rate 0.005 0.005 0.005 0.005最小批次Mini-batch size 16 32 64 128迭代次数Max epochs 50 50 50 50精度Accuracy/%97.77 97.99 97.81 96.70

2.2.3 最佳迭代次数选择 将学习率、最小批次都设置为最优,进行迭代次数的选择,设置3个不同的迭代次数,分别为30、50、70 进行训练。结果表明(表5)在ResNet-101 模型训练中当迭代次数为50时,模型的识别精度最高。此时迭代次数增加或者降低都会导致识别精度的下降。

表5 不同迭代次数下ResNet-101 的性能
Table 5 The performance of ResNet-101 under different epochs

模型Model E8 E9 E10学习率Learning rate 0.005 0.005 0.005最小批次Mini-batch size 32 32 32迭代次数Max epochs 30 50 70精度Accuracy/%97.72 97.99 97.90

2.3 Loss及训练精度曲线

图2 展示了本研究中网络训练最优模型的LOSS 收敛曲线。观察结果如下:GoogleNet 模型初始损失度最高,约为3.0,随着迭代次数增加损失值降低,当迭代次数达到10 时开始趋于稳定,迭代20次后最终保持稳定在0.25左右。该模型的初始精度较低,约为30%,随迭代次数的增加精度迅速升高,在迭代20次后达到最大93%并保持稳定。VGG-16的初始损失值大概是2.48,在前10次的迭代中迅速减少,在10到15次的迭代过程中出现波动,而在15到20 次的迭代中,其减少幅度逐渐变小,最后保持在0.21 的水平。VGG-16 模型的初始精度与GoogleNet 相差无几,均较低,但在10 至15 次迭代期间出现波动,20次迭代后精度稳定在94.96%。

图2 训练Loss 变化曲线
Fig.2 Training Loss change curve

图3展示了ResNet-50 和ResNet-101 模型的训练收敛情况。ResNet-50模型初始精度为67%,在前5 次迭代中迅速提升,第10 次迭代后精度稳定在97.05%左右,波动较小。其初始损失为1.22,前10次迭代中稳定下降,之后稳定于0.09。ResNet-101模型初始精度更高,达到80%,精度变化幅度小,增长稳定,最终精度为97.99%。其初始损失为0.59,为所有模型中最低,前5次迭代中快速下降,之后稳定于0.06。ResNet-101模型在模型精度和损失值两方面的表现均显著高于GoogleNet、VGG-16 以及ResNet-50 模型,初始精度最高,收敛更快且更为稳定,最终精度最高,初始损失值最低,下降速度最快,且最终LOSS保持在更稳定的状态。

图3 分类精度变化曲线
Fig.3 Classification accuracy change curve

2.4 识别准确率、召回率及F1值分析

如图4-A 所示,在供试的68 个品种中,使用ResNet-101模型可对23个品种达到100%的预测准确率,分别为:大青葡萄、东方之星、绯红、高千穗、红艳无核、户太八号、巨峰、巨玫瑰、克瑞森无核、龙眼、洛葡早生、紫甜无核、瓶儿、秋红宝、醉金香、莎巴珍珠、郑艳无核、夏黑、先锋、新郁、意大利、早黑宝、着色香,供试品种的平均预测准确率达到了94.90%;使用ResNet-50 模型可对13 个品种达到100%的预测准确率,分别为:高千穗、和田红、红艳无核、沪培2号、巨峰、巨玫瑰、紫甜无核、妮娜皇后、莎巴珍珠、郑艳无核、新郁、月光无核、早黑宝,供试品种的平均预测准确率达到了90.38%;使用VGG-16 模型可对11个品种达到100%的预测准确率,分别为:布朗无核、红富士、沪培2号、巨峰、克瑞森无核、洛葡早生、茉莉香、妮娜皇后、醉金香、郑艳无核、先锋,供试品种的平均预测准确率达到了85.45%;GoogleNet 模型仅对巨峰、巨玫瑰、洛葡早生、郑艳无核、先锋这5个品种预测精确率达到100%,供试品种的平均预测准确率达到了78.79%。综合比较下,ResNet-101模型的预测精确度最优,识别的准确率最高,不同品种之间的识别精确率更相近且稳定。

图4 ResNet-101、ResNet-50、GoogleNet、VGG-16 模型的F1 值、召回率以及识别准确率
Fig.4 Recognition precision,recall rate,and F1 value of ResNet-101,ResNet-50,GoogleNet,and VGG-16 models

A.68 个品种在不同网络模型中的F1 值;B.68 个品种在不同网络模型中的召回率;C.68 个品种在不同网络模型中的准确率。
A.F1 values of 68 varieties in different network models;B.The recall rate of 68 varieties in different network models;C.The precision of 68 varieties in different network models.

ResNet-101 模型有18 个品种的召回率达到100%,分别为:奥林匹亚、布朗无核、黑脆无核、黑色阳光、红色阳光、金手指、京可晶、克瑞森无核、里扎马特、龙眼、美人指、茉莉香、葡之梦、维多利亚、夏黑、阳光玫瑰、月光无核、郑引0820,68 个品种的平均召回率达到了94.19%;ResNet-50模型有6个品种的召回率达到100%,分别为:金手指、里扎马特、龙眼、茉莉香、秋黑宝、阳光玫瑰,68 个品种的平均召回率达到了88.71%;VGG-16 有黑脆无核、京可晶、克瑞森无核、瑞都科美、无核翠宝,这5 个品种的召回率达到100%,68个品种的平均召回率为82.83%;GoogleNet 仅有克瑞森无核和阳光玫瑰2 个品种召回率达到100%,68 个品种的平均召回率为74.44%(图4-B)。4个模型中,ResNet-101的模型召回率最佳,各品种之间的召回率也更稳定。

ResNet-101 模型中克瑞森无核、先锋及龙眼3个品种的F1 值达到1,平均F1 值达到0.94,各品种间F1 值差距较小,且模型效果最稳定,可信性高。VGG-16 模型克瑞森无核F1 值达到1,平均F1 值达到0.82;ResNet-50 以及GoogleNet 模型未有品种F1值达到1,其平均F1值分别为0.88和0.74(图4-C)。

2.5 Grad-CAM可视化分析

使用Grad-CAM 算法对网络模型进行可视化,输出了最终卷积层权重的梯度热图。如图5 所示,分别为爱神玫瑰(A)、和田红(B)、巨峰(C)、夏黑(D)、阳光玫瑰(E)、绯红(F)、布朗无核(G)、奥林匹亚(H)8 个鲜食葡萄品种。热图中颜色越深的区域表示这些特征在品种分类中所起的作用越大。叶片的纹理、叶脉形状和叶缘类型,对葡萄叶片的品种鉴定有很大的影响。此外,4 个模型中ResNet-101 和ResNet-50在葡萄叶片识别上覆盖范围最广,准确性最高,能够有效识别出同品种叶片以及叶片表面的特征。

图5 不同模型下Grad-CAM 分类效果图
Fig.5 Grad-CAM classification effect diagram renderings under different models

2.6 综合评价

总体而言,在品种识别过程中ResNet-101 精度达到了97.99%,且模型精度和损失值两方面表现均显著高于GoogleNet、VGG-16 以及ResNet-50 模型,使用ResNet-101模型可对23个品种达到100%的预测准确率,对18个品种的召回率达到100%,平均F1值达到0.94。Grad-CAM可视化分析中,ResNet-101和ResNet-50 的表现最优,准确性最高,能够有效识别叶片表面的特征从而达到精确识别品种的效果。ResNet-101 模型在68 个葡萄叶片品种识别的各个指标中的表现均为最优,作为品种识别的首选模型。

3 讨 论

通过识别不同的葡萄品种有助于鉴定评价现有的葡萄优良种质资源,对确立引种价值以及保护重要种质资源都有重要意义。通过品种识别,可以优化种植结构,推广优良品种,提高葡萄的产量和品质,进一步推动葡萄业的发展。目前,人工鉴别和分子分析是鉴定葡萄品种的主要方法。但传统的人工鉴定葡萄多依赖鉴定人员的经验判断,因此对鉴定人员的要求较高,并且也存在主观性较强、费时、费力等缺点。分子分析在成本和时间方面要求也很高。深度学习由于具有准确性、客观性等优点,因此将其作为进行葡萄品种识别的重要方法。

叶片是能够快速直观地区分不同种质资源的性状[32]。梁长梅等[33]通过MobileNet-large 模型进行葡萄叶片的品种识别,识别准确率高达90.56%,平均准确率为97.50%。Terzi 等[34]开发了一个新的CNN模型,用于自动分类葡萄品种,该模型在叶子分类上达到了94.10%的准确率。本研究通过应用4种深度学习框架VGG-16、GoogleNet、ResNet-50和ResNet-101,分析了不同CNN 架构对图像识别分类的能力。研究发现,ResNet-101和ResNet-50在识别准确率和召回率方面表现突出,且在较低迭代次数下即可获得优异的模型性能。相较于另外两个卷积神经网络模型,识别效果更好且耗时更短。

Fernandes 等[35]融合光谱学与机器学习技术,开发了支持向量机和卷积神经网络模型,用于从63个品种中精确鉴定特定葡萄品种。分别从63 个品种中分离出特定葡萄品种,卷积神经网络模型准确率高达93.82%。Franczyk 等[36]利用KSM、Restnet 和ExtRestnet 葡萄识别模型正确识别葡萄品种的准确率达到99%。本研究在分类准确率上实现了显著提升,并且笔者的样本均来源于自然条件下的田间环境,这一做法使得分类结果与实际应用场景更为契合,从而大幅增强了研究结果的实用价值与可靠性。

由于葡萄叶片图像采集并未在实验室中的理想环境下进行,因此拍摄的葡萄叶片图像中,常会出现叶片未能完整呈现或由于光照不均匀而产生阴影等问题,这些问题作为潜在的干扰因素,可能会对葡萄品种的识别精度带来不利影响[37]。针对这一问题,陈新等[38]通过在番茄花果中使用卷积神经网络SSD算法中引入Mobile Net V3模块,一定程度上解决了不佳的环境问题,相比原始SSD算法平均识别率提高了7.9%,识别率和识别速度明显提高。Liu 等[39]基于葡萄近红外高光谱成像技术,采用支持向量机、随机森林和AdaBoost 三种机器学习算法构建了品种鉴别模型,该研究中红葡萄与白葡萄分类模型在验证集上的准确率分别达到90%和81%。本研究可以获得更好的分类结果,且在自然环境中采集的样本更接近于现实生活中的识别样本。后续研究可以在卷积神经网络架构中引入注意力机制和多尺度特征融合模块,以提升特征提取能力,并优化网络结构设计,在保持精度的同时降低模型复杂度。为了应对实际应用中种植环境的多样性,图像采集应在多种环境条件下进行,包括不同的天气、时期等,如夜间、早晨、雨天和干旱等。此外,为了提高深度学习模型的通用性,后续研究应选用不同拍摄设备采集不同种植区域、树龄阶段、栽培模式下的多种群、多品种的葡萄叶片图像,增强数据集对不同实际场景的代表性,提升模型的泛化能力,以适应不同的环境条件和图像采集设备所带来的挑战。

在本项研究中,构建了一个包含29 713 张鲜食葡萄叶片图像的数据库。为了提升数据集的质量,对原始图像进行了局部特征提取和增强,并通过裁剪和旋转等技术手段对图像进行了预处理。在此基础上,应用了4 种不同的模型算法来识别试验中涉及的68 种鲜食葡萄品种的叶片。通过不断调整和优化模型参数,发现所采用的卷积神经网络在品种识别的准确性上表现出色。特别是ResNet-101 模型,以97.99%的准确率在处理速度和模型复杂性上均显示出了优越性。此外,还利用Grad-CAM 算法对4 种模型的分类效果进行了评估,结果表明这些模型都能有效地识别出叶片的关键特征,包括对植物叶片识别至关重要的纹理、叶脉和边缘等。本研究的重点在于提取葡萄的形状和纹理等特征,为品种的准确识别奠定了基础。展望未来,计划探索更多特征参数的提取方法,比如结合葡萄的其他器官特征,以期提供更精确和全面的品种鉴定参考。鉴于葡萄品种的多样性,收集更多品种的图像,以扩充叶片数据集,深化对品种识别的研究。总体来看,这项研究不仅为葡萄品种识别提供了新的视角和方法,也为其他研究者开辟了新的研究方向和思考路径。

4 结 论

4 个深度学习网络中表现最优的为ResNet-101模型。当所有参数都被调整至最优状态时,其精确度可以达到97.99%,平均预测准确率为94.90%,平均召回率为94.19%。通过应用Grad-CAM技术对4种不同的卷积神经网络的分类性能进行了可视化分析,这些网络均能有效识别出叶片图像中的关键特征。

参考文献References:

[1] FENG J Y,YUAN B Y,LI X,TIAN D,MU W S.Evaluation on risks of sustainable supply chain based on optimized BP neural networks in fresh grape industry[J]. Computers and Electronics in Agriculture,2021,183:105988.

[2] 郑国富,朱念.中国鲜葡萄出口贸易发展的时空特征与前景展望[J].中国果树,2023(9):128-131.ZHENG Guofu,ZHU Nian. Spatiotemporal characteristics and prospects of China’s fresh grape export trade development[J].China Fruits,2023(9):128-131.

[3] 胡心意,戴芬,赵学平,徐明飞,王新全,王强,褚田芬.鲜食葡萄全产业链标准化探索与实践[J].农产品质量与安全,2023(6):10-13.HU Xinyi,DAI Fen,ZHAO Xueping,XU Mingfei,WANG Xinquan,WANG Qiang,CHU Tianfen. Exploration and practice on standardization of the whole industry chain of table grape[J].Quality and Safety of Agro-Products,2023(6):10-13.

[4] 姜建福,孙海生,刘崇怀,樊秀彩,张颖.2000 年以来中国葡萄育种研究进展[J].中外葡萄与葡萄酒,2010(3):60-65.JIANG Jianfu,SUN Haisheng,LIU Chonghuai,FAN Xiucai,ZHANG Ying. Research progress of grape breeding in China since 2000[J]. Sino-Overseas Grapevine & Wine,2010(3):60-65.

[5] 房玉林,王录俊,刘三军,孟江飞,张克坤,张鹏,王雪飞,张宗勤. 陕西葡萄产业现状及发展建议[J]. 中外葡萄与葡萄酒,2022(5):1-5.FANG Yulin,WANG Lujun,LIU Sanjun,MENG Jiangfei,ZHANG Kekun,ZHANG Peng,WANG Xuefei,ZHANG Zongqin. Current situation and development proposals of grape industry in Shaanxi[J]. Sino-Overseas Grapevine & Wine,2022(5):1-5.

[6] LI L,HU W Z,LU J,ZHANG C S.Leaf vein segmentation with self-supervision[J]. Computers and Electronics in Agriculture,2022,203:107352.

[7] 潘博文,魏冰心,苏宝峰,鞠延仑,刘崇怀,樊秀彩,张颖,孙磊,姜建福,房玉林.基于深度学习的葡萄砧木叶片识别研究[J].植物遗传资源学报,2024,25(4):668-677.PAN Bowen,WEI Bingxin,SU Baofeng,JU Yanlun,LIU Chonghuai,FAN Xiucai,ZHANG Ying,SUN Lei,JIANG Jianfu,FANG Yulin. Research on grape rootstock leaf recognition based on deep learning[J]. Journal of Plant Genetic Resources,2024,25(4):668-677.

[8] 许敬诚,吕新,林皎,张泽,姚秋双,范向龙,洪延宏.基于叶片纹理特征的棉花蚜害诊断模型研究[J]. 棉花学报,2020,32(2):133-142.XU Jingcheng,LÜ Xin,LIN Jiao,ZHANG Ze,YAO Qiushuang,FAN Xianglong,HONG Yanhong. The diagnostic model of cotton aphids based on leaf textural features[J]. Cotton Science,2020,32(2):133-142.

[9] ASLAM T,QADRI S,QADRI S F,NAWAZ S A,RAZZAQ A,ZARREN S S,AHMAD M,REHMAN M U,HUSSAIN A,HUSSAIN I,JABEEN J,ALTAF A. Machine learning approach for classification of Mangifera indica leaves using digital image analysis[J]. International Journal of Food Properties,2022,25(1):1987-1999.

[10] RUST S,STOINSKI B. Enhancing tree species identification in forestry and urban forests through light detection and ranging point cloud structural features and machine learning[J]. Forests,2024,15(1):188.

[11] HU T,CHEN Y N,LI D,LONG C F,WEN Z D,HU R,CHEN G H. Rice variety identification based on the leaf hyperspectral feature via LPP-SVM[J].International Journal of Pattern Recognition and Artificial Intelligence,2022,36(15):2350001.

[12] JIN S L,ZHANG F F,ZHENG Y,ZHOU L,ZUO X G,ZHANG Z Y,ZHAO W Y,ZHANG W D,PAN X P. CSKNN:Cost-sensitive K-Nearest Neighbor using hyperspectral imaging for identification of wheat varieties[J]. Computers and Electrical Engineering,2023,111:108896.

[13] PATRÍCIO D I,RIEDER R.Computer vision and artificial intelligence in precision agriculture for grain crops:A systematic review[J]. Computers and Electronics in Agriculture,2018,153:69-81.

[14] LI Z B,GUO R H,LI M,CHEN Y R,LI G Y.A review of computer vision technologies for plant phenotyping[J]. Computers and Electronics in Agriculture,2020,176:105672.

[15] 尹义志,王永刚,张楠楠,刘宇航.基于小波神经网络的温室番茄产量预测[J].中国瓜菜,2020,33(8):53-59.YIN Yizhi,WANG Yonggang,ZHANG Nannan,LIU Yuhang.Study on tomato yield prediction in greenhouse based on wavelet neural network[J]. China Cucurbits and Vegetables,2020,33(8):53-59.

[16] 宁景苑,叶海芬,孙雨玘,熊思怡,梅正昊,蒋晨豪,黄科涛,张苏婕,朱哲琛,李昱权,惠国华,易晓梅,郜园园,吴鹏.一种基于弛豫动态光谱技术的苹果损伤检测方法研究[J].传感技术学报,2022,35(8):1150-1156.NING Jingyuan,YE Haifen,SUN Yuqi,XIONG Siyi,MEI Zhenghao,JIANG Chenhao,HUANG Ketao,ZHANG Sujie,ZHU Zhechen,LI Yuquan,HUI Guohua,YI Xiaomei,GAO Yuanyuan,WU Peng.Study of apple slight damage detecting method based on dynamic relaxation spectrum[J]. Chinese Journal of Sensors and Actuators,2022,35(8):1150-1156.

[17] 付夏晖,王菊霞,崔清亮,张燕青,王毅凡,阴妍.基于轻量化卷积神经网络的苹果表皮损伤分级研究[J].果树学报,2023,40(10):2263-2274.FU Xiahui,WANG Juxia,CUI Qingliang,ZHANG Yanqing,WANG Yifan,YIN Yan. Research on apple epidermal damage grading based on lightweight convolutional neural network[J].Journal of Fruit Science,2023,40(10):2263-2274.

[18] 谢家兴,陈斌瀚,彭家骏,何培华,景庭威,孙道宗,高鹏,王卫星,郑代德,李君.基于改进ShuffleNet V2 的荔枝叶片病虫害图像识别[J].果树学报,2023,40(5):1024-1035.XIE Jiaxing,CHEN Binhan,PENG Jiajun,HE Peihua,JING Tingwei,SUN Daozong,GAO Peng,WANG Weixing,ZHENG Daide,LI Jun. Image recognition of leaf pests and diseases based on improved ShuffleNet V2 in litchi[J]. Journal of Fruit Science,2023,40(5):1024-1035.

[19] BI C G,HU N,ZOU Y Q,ZHANG S,XU S Z,YU H L.Development of deep learning methodology for maize seed variety recognition based on improved swin transformer[J].Agronomy,2022,12(8):1843.

[20] WANG B,LI H,YOU J W,CHEN X,YUAN X H,FENG X Z.Fusing deep learning features of triplet leaf image patterns to boost soybean cultivar identification[J]. Computers and Electronics in Agriculture,2022,197:106914.

[21] LOWE D G.Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision,2004,60(2):91-110.

[22] BAY H,ESS A,TUYTELAARS T,VAN GOOL L. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding,2008,110(3):346-359.

[23] 周飞燕,金林鹏,董军.卷积神经网络研究综述[J].计算机学报,2017,40(6):1229-1251.ZHOU Feiyan,JIN Linpeng,DONG Jun. Review of convolutional neural network[J]. Chinese Journal of Computers,2017,40(6):1229-1251.

[24] 薛勇,王立扬,张瑜,沈群.基于GoogLeNet 深度迁移学习的苹果缺陷检测方法[J].农业机械学报,2020,51(7):30-35.XUE Yong,WANG Liyang,ZHANG Yu,SHEN Qun.Defect detection method of apples based on GoogLeNet deep transfer learning[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(7):30-35.

[25] HUANG H Y,YOU Z J,CAI H Y,XU J F,LIN D X.Fast detection method for prostate cancer cells based on an integrated ResNet50 and YoloV5 framework[J]. Computer Methods and Programs in Biomedicine,2022,226:107184.

[26] KHAN R N M,HUSSAIN L,ALLUHAIDAN A S,MAJID A,LONE K J,VERDIYEV R,AL-WESABI F N,DUONG T Q.COVID-19 lung infection detection using deep learning with transfer learning and ResNet101 features extraction and selection[J].Waves in Random and Complex Media,2022,18:1-24.

[27] CHEN Y,HUANG Y Q,ZHANG Z Z,WANG Z,LIU B,LIU C H,HUANG C,DONG S Y,PU X J,WAN F H,QIAO X,QIAN W Q. Plant image recognition with deep learning:A review[J].Computers and Electronics in Agriculture,2023,212:108072.

[28] 林景栋,吴欣怡,柴毅,尹宏鹏.卷积神经网络结构优化综述[J].自动化学报,2020,46(1):24-37.LIN Jingdong,WU Xinyi,CHAI Yi,YIN Hongpeng. Structure optimization of convolutional neural networks:A survey[J].Acta Automatica Sinica,2020,46(1):24-37.

[29] SIMONYAN K,ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science,2014.DOI:10.48550/arXiv.1409.1556.

[30] HE K M,ZHANG X Y,REN S Q,SUN J. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:770-778.

[31] SELVARAJU R R,COGSWELL M,DAS A,VEDANTAM R,PARIKH D,BATRA D. Grad-CAM:Visual explanations from deep networks via gradient-based localization[J]. International Journal of Computer Vision,2020,128(2):336-359.

[32] 王碧君,章秋平,刘威生,刘硕,刘宁,张玉萍,张玉君,徐铭,马小雪,刘家成,赵海娟. 图像识别技术在杏品种资源叶片形态评估与多样性研究中的应用[J/OL]. 植物遗传资源学报,2024:1-21(2024-11-26). https://doi.org/10.13430/j.cnkijpgr.20240616001.WANG Bijun,ZHANG Qiuping,LIU Weisheng,LIU Shuo,LIU Ning,ZHANG Yuping,ZHANG Yujun,XU Ming,MA Xiaoxue,LIU Jiacheng,ZHAO Haijuan. Application of image recognition technology in the assessment of leaf morphology and diversity of apricot germplasm[J/OL]. Journal of Plant Genetic Resources,2024:1-21(2024-11-26). https://doi.org/10.13430/j.cnkijpgr.20240616001.

[33] 梁长梅,刘正乾,李艳文,杨华.基于MobileNetV3-large 模型的葡萄品种识别[J].山西农业科学,2023,51(7):824-831.LIANG Changmei,LIU Zhengqian,LI Yanwen,YANG Hua.Variety identification of grape based on MobileNetV3- large model[J]. Journal of Shanxi Agricultural Sciences,2023,51(7):824-831.

[34] TERZI I,OZGUVEN M M,YAGCI A. Automatic detection of grape varieties with the newly proposed CNN model using ampelographic characteristics[J].Scientia Horticulturae,2024,334:113340.

[35] FERNANDES A M,UTKIN A B,EIRAS-DIAS J,CUNHA J,SILVESTRE J,MELO-PINTO P. Grapevine variety identification using“Big Data”collected with miniaturized spectrometer combined with support vector machines and convolutional neural networks[J].Computers and Electronics in Agriculture,2019,163:104855.

[36] FRANCZYK B,HERNES M,KOZIERKIEWICZ A,KOZINA A,PIETRANIK M,ROEMER I,SCHIECK M. Deep learning for grape variety recognition[J]. Procedia Computer Science,2020,176:1211-1220.

[37] BARHATE D,PATHAK S,DUBEY A K.Hyperparameter-tuned batch-updated stochastic gradient descent:Plant species identification by using hybrid deep learning[J]. Ecological Informatics,2023,75:102094.

[38] 陈新,伍萍辉,祖绍颖,徐丹,张云鹤,董静.基于改进SSD 轻量化神经网络的番茄疏花疏果农事识别方法[J].中国瓜菜,2021,34(9):38-44.CHEN Xin,WU Pinghui,ZU Shaoying,XU Dan,ZHANG Yunhe,DONG Jing.Study on identification method of thinning flower and fruit of tomato based on improved SSD lightweight neural network[J].China Cucurbits and Vegetables,2021,34(9):38-44.

[39] LIU X,ZHANG E Y. Identification of wine grape varieties based on near-infrared hyperspectral imaging[J]. Applied Engineering in Agriculture,2019,35(6):959-967.

Research on leaf identification of table grape varieties based on deep learning

PAN Bowen1,2#, LIN Meiling1#, JU Yanlun2, SU Baofeng3, SUN Lei1, FAN Xiucai1, ZHANG Ying1,ZHANG Yonghui4,LIU Chonghuai1,JIANG Jianfu1*,FANG Yulin2*
(1Zhengzhou Fruit Research Institute, Chinese Academy of Agricultural Sciences, Zhengzhou 450009, Henan, China;2College of Enology,Northwest A&F University,Yangling 712100,Shaanxi,China;3College of Mechanical and Electronic Engineering,Northwest A&F University, Yangling 712100 China, Shaanxi, China;4Tropical Eco-Agriculture Research Institute, Yunnan Academy of Agricultural Sciences/Yuanmou Dry-Hot Valley Botancal Garden,Yuanmou 651300,Yunnan,China)

Abstract:【Objective】With the continuous development of grape varieties, problems such as variety confusion and inaccurate identification would occur in the actual production and scientific research work, and accurate identification of grape varieties has become more and more difficult It is urgent to explore a nondestructive, efficient and environment-friendly identification method.This work amied to provide reference for the protection, utilization, and classification research of table grape varieties.【Methods】In this study,the leaf images were taken in the National Grape Germplasm Nursery(Zhengzhou)of Zhengzhou Fruit Tree Institute,Chinese Academy of Agricultural Sciences.The images of mature leaves of the 68 common table grapes were taken under natural condition in the field. The leaves were fully expanded without obvious symptoms of nutrition deficiency, pathogen infection and insect damage.The sampling position was at the 7th-9th nedes of the new shoots.The front images of different leaves were taken,and a dataset of 29 713 fresh grape leaves was constructed.In the realm of automatic recognition, four distinct convolutional neural network models were deployed:GoogleNet,ResNet-50, ResNet-101, and VGG-16.【Results】Through fair comparison of all convolutional neural networks, under optimal parameters, ResNet-101 performed best in the identification of table grapes,with an accuracy of 97.13%, ResNet-50 was slightly lower, with an accuracy of 97.06%, and VGG-16 and GoogleNet models had an accuracy of less than 95%.When ResNet-101 was used as the classification model,the optimized parameters were the learning rate of 0.005,the minimum batch of 32,and the number of iterations was 50. Under this parameter, the classification performance was the best, and the classification accuracy was as high as 97.99%. The model accuracy and LOSS value of ResNet-101 model was significantly higher than those of other models.The initial accuracy was the highest,the convergence was faster and more stable, the final accuracy was the highest, the initial LOSS was the lowest,the LOSS decreased faster,and the final LOSS was relatively stable.Among the 68 varieties identified by the ResNet-101 model, the prediction accuracy of the 23 varieties was 100%, and the average recognition accuracy of the 68 varieties reached 94.90%;The prediction accuracy of the ResNet-50 for the 13 varieties was 100%, and the average recognition accuracy of the 68 varieties reached 90.38%;The prediction accuracy of the VGG-16 for the 11 varieties was 100%,and the average recognition accuracy of the 68 varieties was 85.45%;The prediction accuracy of the GoogleNet model was 100%for only 5 varieties, and the average recognition accuracy of the 68 varieties was 78.79%. In contrast, the prediction accuracy of the ResNet-101 model was significantly higher than that of the ResNet-50,GoogleNet and VGG-16 models, and the difference in recognition accuracy between varieties was smaller and more stable.In ResNet-101 model,the Recall rate of the 18 varieties reached 100%,and the average Recall rate of the 68 varieties reached 94.19%;In the ResNet-50 model,the Recall rate of the 6 varieties reached 100%,and the average Recall rate of the 68 varieties reached 88.71%;The average Recall rate of the 68 varieties of VGG-16 was 82.83%; The GoogleNet had only two varieties, Crimson Seedless and sunshine rose, with a Recall rate of 100%, and the average Recall rate of the 68 varieties was 74.44%.In contrast,the ResNet-101 model was significantly better than the ResNet-50 GoogleNet,VGG-16.The Recall rate among the varieties was more stable.The F1 value of creson seedless, Xianfeng and longan varieties in the ResNet-101 model reached 1, and the average F1 value reached 0.94.The difference of the F1 value among the varieties was small,the reliability of the model was high,and the model effect was more stable.The F1 value of VGG-16 model for Crimson Seedless reached 1,and the average F1 value reached 0.82; No F1 value of the ResNet-50 and GoogleNet models reached 1,and their average F1 values were 0.88 and 0.74,respectively.The Grad-CAM algorithm was used to output the weighted gradient heat map in the final accretion layer, and the network model was visualized.The results showed that the four convolutional neural networks could accurately identify the main characteristics of the leaves,and the leaf texture,vein and edge of the leaves had the greatest impact on variety recognition.【Conclusion】The ResNet-101 model had the highest overall recognition accuracy, the lowest LOSS value, the higher average recognition accuracy and Recall rate of varieties, and could get a better model with fewer iterations,which would take less time.The Grad-CAM algorithm was used to evaluate the classification effect of four convolutional neural networks,and all of them could accurately identify the main features of the leaves.The rapid and accurate recognition of the table grapes was realized.Therefore,the deep learning network model could complete the automatic real-time recognition of the table grapes.

Key words:Table grape;Deep learning;Variety identification;Leaves

中图分类号:S663.1

文献标志码:A

文章编号:1009-9980(2025)08-1883-14

DOI:10.13925/j.cnki.gsxb.20240350

收稿日期:2025-02-12

接受日期:2025-04-27

基金项目:广西重点研发计划(桂农科AB241484010);国家现代农业产业技术体系(CARS-29-yc-1);楚雄州“兴楚科技领军人才”培养项目(CXKJLJRC2023—06号);国家园艺种质资源库运行服务(NHGRC2021-NH00-2);中国农业科学院科技创新工程专项经费(CAAS-ASTIP-2017-ZFRI)

作者简介:潘博文,女,硕士,研究方向为葡萄品种识别。E-mail:panbw0824@163.com。#为共同第一作者

*通信作者Author for correspondence. E-mail:fangyulin@nwsuaf.edu.cn;E-mail:jiangjianfu@caas.cn