Plant Phenomics | 基于生成式深度學(xué)習(xí)網(wǎng)絡(luò)的柑橘表皮顏色可視化預(yù)測(cè)研究

柑橘是全球價(jià)值最高的水果之一，其果皮顏色對(duì)果實(shí)的生長(zhǎng)和成熟具有重要的指示作用。預(yù)測(cè)和監(jiān)測(cè)柑橘顏色轉(zhuǎn)變可以輔助農(nóng)作物管理和收獲安排的決策。目前，柑橘顏色預(yù)測(cè)方法存在準(zhǔn)確性不高且依賴人力資源的問題。為了解決這個(gè)問題，研究者們開始探索計(jì)算機(jī)視覺技術(shù)在柑橘顏色預(yù)測(cè)中的應(yīng)用，以實(shí)現(xiàn)非破壞性和客觀的預(yù)測(cè)方法。然而，現(xiàn)有方法受限于光照條件和視角的影響，難以實(shí)現(xiàn)準(zhǔn)確的柑橘顏色預(yù)測(cè)。
 

2023年5月，Plant Phenomics在線發(fā)表了華中農(nóng)業(yè)大學(xué)題為Predicting and Visualizing Citrus Colour Transformation Using a Deep Mask-Guided Generative Network 的研究論文。
 

本研究旨在提出一個(gè)框架，用于預(yù)測(cè)和可視化果園中柑橘類水果的顏色轉(zhuǎn)變。研究者們開發(fā)了一種基于深度神經(jīng)網(wǎng)絡(luò)的新框架，包括分割網(wǎng)絡(luò)、掩模引導(dǎo)生成網(wǎng)絡(luò)和感知損失網(wǎng)絡(luò)。該框架能夠在不同時(shí)間間隔內(nèi)準(zhǔn)確預(yù)測(cè)柑橘果皮的顏色。研究團(tuán)隊(duì)還開發(fā)了一款基于安卓平臺(tái)的應(yīng)用程序，方便在實(shí)際場(chǎng)景中的應(yīng)用。
 

本文核心內(nèi)容為提出的網(wǎng)絡(luò)框架如圖1所示，由三個(gè)模塊組成，一個(gè)分割網(wǎng)絡(luò)、一個(gè)生成網(wǎng)絡(luò)和一個(gè)損失網(wǎng)絡(luò)。為了定位視野中的柑橘類水果，我們采用了U-Net編碼器-解碼器的結(jié)構(gòu)作為分割網(wǎng)絡(luò)，因?yàn)樗��?jiǎn)單、高效，而且在數(shù)據(jù)量有限的情況下具有一定的魯棒性和泛化性。利用分割的結(jié)果，生成網(wǎng)絡(luò)可以保留背景的同時(shí)在圖中柑橘所在的位置生成其未來(lái)的顏色。與分割網(wǎng)絡(luò)類似，提出的生成網(wǎng)絡(luò)也采用了編碼器-解碼器結(jié)構(gòu)。我們使用Resize Convolution的方法代替Transposed Convolution的方法，這有助于獲得更高質(zhì)量的圖像，因?yàn)楹笳呖赡軐?dǎo)致棋盤效應(yīng)。此外，設(shè)計(jì)了兩個(gè)可訓(xùn)練的嵌入層（Embedding Layers），將輸入的時(shí)間間隔編碼為向量，分別與編碼器和解碼器中得到的特征圖進(jìn)行融合。通過(guò)我們的設(shè)計(jì)，生成的圖像由輸入圖像和時(shí)間間隔共同決定。損失網(wǎng)絡(luò)用于度量預(yù)測(cè)顏色和真實(shí)顏色之間的差異并作為損失函數(shù)對(duì)生成網(wǎng)絡(luò)的參數(shù)進(jìn)行更新。該網(wǎng)絡(luò)基于在ImageNet 數(shù)據(jù)集上進(jìn)行訓(xùn)練的VGG19 模型。我們將生成網(wǎng)絡(luò)的輸入圖像，輸出圖像以及真實(shí)圖像標(biāo)簽輸入到損失網(wǎng)絡(luò)中提取各層次的特征，構(gòu)造了由內(nèi)容損失和風(fēng)格損失組成的感知損失。其中風(fēng)格損失的計(jì)算利用了特征圖的Gram矩陣和分割網(wǎng)絡(luò)得到的柑橘語(yǔ)義掩碼，消除了生成圖像和真實(shí)標(biāo)簽中柑橘的大小、所在位置以及背景信息的影響。
 

圖1 The architecture of the proposed deep mask-guided generative network.

研究結(jié)果表明，對(duì)于柑橘圖像分割任務(wù)，測(cè)試集上的 MIoU達(dá)到了96% 以上。如圖2所示，即使遇到強(qiáng)光或不規(guī)則光光照時(shí)分割的性能仍然令人滿意。對(duì)于柑橘顏色預(yù)測(cè)任務(wù)，在測(cè)試集上獲得的PSNR （峰值信道噪聲比）為 30.01，表明生成的圖像質(zhì)量良好， MLSL （平均風(fēng)格損失）達(dá)到2.710并且CCI（柑橘顏色指標(biāo)）誤差僅有0.841，表明生成的圖像與真實(shí)圖像中的柑橘具有很高的相似性。
 

圖2The training process and results of the semantic segmentation task.

圖3分別展示了輸入同一柑橘圖像不同時(shí)間間隔和輸入不同柑橘圖像同一時(shí)間間隔的預(yù)測(cè)結(jié)果。第一種情形中隨著時(shí)間間隔的增加，果皮的顏色逐漸從黃綠色變?yōu)槌壬�，與實(shí)際場(chǎng)景中的觀察結(jié)果相符。此外，生成的圖像還保留了果皮不同區(qū)域的亮度、紋理特征和顏色變化，與輸入圖像相一致。這些豐富的特征體現(xiàn)了本模型在自然光條件下的魯棒性。第二種情形中對(duì)于相同的輸入時(shí)間，生成的圖像仍然能夠準(zhǔn)確地根據(jù)不同的輸入圖像預(yù)測(cè)其顏色變換。需要注意的是，輸入圖像中存在著不均勻的著色，例如黃色條紋和局部綠色斑點(diǎn)，這些特征也能夠在生成的圖像中得以保留使得圖像更加逼真。
 

圖3 The results generated from the same input image on the test set. N represents the input time interval. The results generated from different input images on the test set.

為了方便在現(xiàn)實(shí)場(chǎng)景中的應(yīng)用，研究團(tuán)隊(duì)將該模型移植到了安卓設(shè)備APP上，通過(guò)手機(jī)相機(jī)拍攝柑橘圖像并輸入感興趣的時(shí)間間隔即可完成預(yù)測(cè)，如圖4所示。
 

圖4 The testing of the Android-based application.

華中農(nóng)業(yè)大學(xué)信息學(xué)院碩士研究生鮑澤韓（主要研究方向?yàn)樯疃葘W(xué)習(xí)以及計(jì)算機(jī)視覺技術(shù)在植物表型分析上的應(yīng)用）和李偉夫副教授（主要研究方向?yàn)樯疃葘W(xué)習(xí)的理論、算法及其應(yīng)用）和為本文共同第一作者，華中農(nóng)業(yè)大學(xué)工學(xué)院陳耀暉副研究員（主要研究方向?yàn)橹腔蹐@藝技術(shù)與裝備體系的構(gòu)建）和海南大學(xué)生物醫(yī)學(xué)工程學(xué)院肖馳副教授（主要研究方向?yàn)榛�于深度學(xué)習(xí)的生物醫(yī)學(xué)圖像處理、海量大腦三維顯微成像數(shù)據(jù)的處理與分析等）為通訊作者。

論文鏈接：

‍https://spj.science.org/doi/10.34133/plantphenomics.0057

——推薦閱讀——

Phenotypic Analysis of Diseased Plant Leaves Using Supervised and Weakly Supervised Deep Learning

https://doi/10.34133/plantphenomics.002‍2

Plant Phenomics | 基于全監(jiān)督和弱監(jiān)督深度學(xué)習(xí)的病損葉片表型分析研究

From Prototype to Inference: A Pipeline to Apply Deep Learning in Sorghum Panicle Detection

https://doi.org/10.34133/plantphenomics.0017

Plant Phenomics | 從原型到推理：深度學(xué)習(xí)在高粱穗部檢測(cè)中的應(yīng)用

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。

特邀作者：鮑澤韓

排版：李芯蕊（南京農(nóng)業(yè)大學(xué)）

審核：孔敏、王平