Plant Phenomics | 基于全監(jiān)督和弱監(jiān)督深度學(xué)習(xí)的病損葉片表型分析研究

深度學(xué)習(xí)和計(jì)算機(jī)視覺的組合是已成為一種高效智能的植物表型分析手段。在植物病害脅迫檢測(cè)領(lǐng)域，大多數(shù)已發(fā)表的研究都集中在圖像級(jí)別的疾病分類上。本文研究了基于深度學(xué)習(xí)的植物病斑分割方法，提取像素級(jí)病損相關(guān)表型特征。首先，收集植物病葉圖像數(shù)據(jù)集，并提供相應(yīng)的圖像級(jí)標(biāo)注（病葉/健康葉片）和像素級(jí)標(biāo)注（病斑像素區(qū)域）。其中，蘋果葉樣本數(shù)據(jù)集用于模型訓(xùn)練和優(yōu)化，葡萄葉片和草莓葉樣本被用作額外的測(cè)試數(shù)據(jù)集。而后，研究了基于全監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)的語義分割方法，分割葉片表面的病害損傷區(qū)域。探究了弱監(jiān)督深度學(xué)習(xí)算法用于植物葉片病斑分割的可能性，通過提供“健康”、“染病”兩種簡(jiǎn)單的人工標(biāo)簽訓(xùn)練模型，利用“染病”類別相關(guān)的神經(jīng)元權(quán)重和梯度構(gòu)建與“染病”類別高度相關(guān)的特征圖，通過超綠特征提取、自適應(yīng)閾值分割步驟得到精煉的病斑分割結(jié)果，并對(duì)比了基于全監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)及小樣本學(xué)習(xí)的語義分割方法的分割精度和普適性。
 

2022年12月，Plant Phenomics在線發(fā)表了南京林業(yè)大學(xué)題為Phenotypic Analysis of Diseased Plant Leaves Using Supervised and Weakly Supervised Deep Learning的研究論文。
 

文中將Grad-CAM算法與二分類ResNet-50網(wǎng)絡(luò)的結(jié)合定義為ResNet-CAM，作為基準(zhǔn)模型；將Grad-CAM與小樣本預(yù)訓(xùn)練的U-Net二分類器的結(jié)合用于弱監(jiān)督葉斑分割（定義為WSLSS，模型結(jié)構(gòu)見圖1），探索提升分割精度的可能性。提出的弱監(jiān)督學(xué)習(xí)模型均只使用圖像級(jí)標(biāo)注（病葉/健康葉片）進(jìn)行訓(xùn)練，以降低人工圖像標(biāo)注、訓(xùn)練計(jì)算的成本和復(fù)雜度。
 

圖1基于弱監(jiān)督學(xué)習(xí)的葉片病斑分割模型

研究結(jié)果表明：在蘋果葉片病斑分割數(shù)據(jù)集上，基于全監(jiān)督學(xué)習(xí)的DeepLab模型達(dá)到了最佳的分割性能，分割交并比IoU=0.829。弱監(jiān)督模式的WSLSS算法的精度為IoU=0.434。在處理額外測(cè)試數(shù)據(jù)集時(shí)，WSLSS實(shí)現(xiàn)了最佳的性能，IoU=0.511，高于全監(jiān)督學(xué)習(xí)模式訓(xùn)練的DeepLab模型（IoU=0.458）。不同模型對(duì)蘋果、葡萄、草莓葉片進(jìn)行病斑分割的結(jié)果見圖2，圖3。盡管全監(jiān)督模型和弱監(jiān)督模型在處理單一品種葉片數(shù)據(jù)集（蘋果葉片）的IoU存在一定差距，但在處理模型訓(xùn)練過程未涉及的葉片及病害類型時(shí)，弱監(jiān)督模型WSLSS表現(xiàn)出比全監(jiān)督模型更強(qiáng)的泛化能力。此外，本文涉及的帶有人工標(biāo)簽數(shù)據(jù)集已公開（原文中可查看下載鏈接），可供研究人員檢驗(yàn)設(shè)計(jì)的新的病斑分割方法。
 

圖2 WSLSS方法對(duì)蘋果葉片進(jìn)行病斑分割的結(jié)果示例
 

圖3不同模型對(duì)葡萄和草莓葉片進(jìn)行病斑分割的結(jié)果示例

該論文第一作者為南京林業(yè)大學(xué)教師周磊，主要研究方向?yàn)榛�于深度學(xué)習(xí)的植物表型分析技術(shù)。通訊作者為湖州師范學(xué)院張初副教授，研究方向?yàn)橹参锔咄�量表型分析技術(shù)與方法、農(nóng)產(chǎn)品品質(zhì)無損檢測(cè)以及智能信息處理。

論文鏈接：

https://doi/10.34133/plantphenomics.002‍2

——推薦閱讀——

Semi-Self-Supervised Learning for Semantic Segmentation in Images with Dense Patterns

https://doi.org/10.34133/plantphenomics.0025

Plant Phenomics | 密集模式下圖像語義分割的半自監(jiān)督學(xué)習(xí)

From Prototype to Inference: A Pipeline to Apply Deep Learning in Sorghum Panicle Detection 

https://doi.org/10.34133/plantphenomics.0017

Plant Phenomics | 從原型到推理：深度學(xué)習(xí)在高粱穗部檢測(cè)中的應(yīng)用

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)、遙感二區(qū)、生物大類一區(qū)（TOP期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。

特邀作者：張初、周磊

排版：薛楚凡（南京農(nóng)業(yè)大學(xué)）

審核：孔敏、王平