Plant Phenomics | SegVeg通過深度和淺層方法的結(jié)合將RGB圖像分割成綠色和衰老植被

對作物結(jié)構(gòu)和生化性狀進行無損和及時的監(jiān)測對于評估植物的生理和物候狀態(tài)以及進一步了解其隨時間推移的功能非常重要。因此有必要對綠色以及衰老植被進行分類。先前的研究指出，可以通過閾值與植被指標方法，機器學(xué)習(xí)分類方法，對背景-植被，植被衰老部分-植被健康部分分類。先前的閾值與植被指標方法包括，使用植被分數(shù)（VF），對背景像素與植被像素進行劃分；使用綠色分數(shù)（GF）可以計算單位水平地面面積的綠色植被元素面積；衰老指數(shù)（SF）通過計算VF和GF之間的區(qū)別描述作物功能，突出了衰老部分部分（非光合部分）的差異，可以表征生物或非生物脅迫，描述養(yǎng)分循環(huán)，并監(jiān)測衰老過程。先前的機器學(xué)習(xí)方法通過原始圖像通道信息，計算并提取多種光譜指數(shù)與色彩空間變換信息，標注后作為機器學(xué)習(xí)分類器模型的輸入進行計算。當前觀測平臺有多個尺度，包過衛(wèi)星遙感、無人機遙感、車載傳感器、吊艙和手持平臺。
 

2022年11月，Plant Phenomics在線發(fā)表了法國國家農(nóng)業(yè)食品與環(huán)境研究院等單位題為SegVeg: Segmenting RGB Images into Green and Senescent Vegetation by Combining Deep and Shallow Methods 的研究論文。
 

作者分析，先前方法存在的問題在于：

（一）混雜效應(yīng)：根據(jù)照明條件和相機光學(xué)元件的質(zhì)量，由于色差，部分土壤可能呈現(xiàn)綠色。此外，圖像中飽和、具有強烈鏡面反射或非常暗的部分將難以僅使用像素的顏色進行分類。最后，當土壤含有藻類時，土壤也可能呈綠色。

（二）顏色的連續(xù)性：在細胞尺度上，衰老是由通常在細胞死亡之前發(fā)生的色素降解引起的。在葉片降解過程中，葉片色素成分的變化，導(dǎo)致RGB圖像中的葉片顏色色彩范圍在“綠色”和“衰老”狀態(tài)之間具有連續(xù)性。此外，當像素位于器官的邊界時，其顏色將介于器官和背景之間。當RGB圖像的空間分辨率過于粗糙時，這個問題明顯增強。

僅使用像素的顏色信息很難準確而穩(wěn)健地分割RGB圖像的綠色植被部分。同樣的限制也適用于衰老植被部分的分割。因此本文作者Mario Serouart提出使用SegVeg的兩步語義分割方法，該方法首先使用U-net 2C對植被和背景進行分割，接下來使用SVM對植物綠色部分和衰老部分進行分割。并且使用U-net 3C做分割性能的對比。
 

數(shù)據(jù)集：

數(shù)據(jù)集1：數(shù)據(jù)集1的圖像是用幾臺配備不同焦距光學(xué)元件，和距地面不同高度不同的相機采集的。所有模糊的圖像或質(zhì)量差的圖像都被。然后將原始圖像分成幾個方形的像素塊以保持足夠的上下文特征。共提取了2015個圖塊，數(shù)據(jù)及具有很大的多樣性。地面采樣距離 （GSD） 范圍在 0.3 到 2 毫米之間，以捕獲足夠的細節(jié)。

每個原始圖像都被仔細分割成植被（綠色和衰老組合）和背景像素。
 

Figure1數(shù)據(jù)集1中從八個子數(shù)據(jù)集中提取的512×512像素圖像樣本
 

Table1構(gòu)成最終數(shù)據(jù)集的子數(shù)據(jù)集的特征

數(shù)據(jù)集2：數(shù)據(jù)集2僅由帶注釋的像素組成。

該數(shù)據(jù)集用于訓(xùn)練和測試SegVeg方法的SVM階段。添加背景像素后，它還用于評估SegVeg和U-nets（2C和3C）的性能。
 

Figure2數(shù)據(jù)集2三個獨立數(shù)據(jù)集所使用的采集系統(tǒng)，以及它們各自從三個系統(tǒng)中提取的圖像
 

Table 2數(shù)據(jù)集2的測量參數(shù)
 

Table3數(shù)據(jù)集劃分

SegVeg模型結(jié)構(gòu)：

SegVeg第一階段使用U-net 2C在背景中提取植被像素，接下來使用SVM方法對作物綠色部分和衰老部分進行分類。第一階段可以準確的從圖像中提取植被像素信息，第二階段對比U-net 3C模型可以降低標注工作量。模型結(jié)構(gòu)如下圖所示。
 

Figure 3 SegVeg結(jié)構(gòu)的輸入和輸出示意圖

研究結(jié)果：

作者首先使用U-net 2C在背景中提取植被像素（SegVeg第一階段），結(jié)果如下。

Table 4 模型在測試數(shù)據(jù)集上對植被和背景像素的分類性能

接下來執(zhí)行SVM方法分割綠色與枯萎的像素（SegVeg第二階段），并與僅使用SVM方法進行對比，結(jié)果如下。
 

Table5僅用SVM分類法和使用完整的SegVeg方法在三個子數(shù)據(jù)集中的性能評價

接下來作者對比了SegVeg模型與U-net 3C的性能，結(jié)果如下。
 

Table6U-net 3C模型的性能和Similitude對SegVeg模型的評價

最后，作者在討論部分指出：

1. 眼睛靈敏度的差異會影響對顏色的感知。并且，衰老的第一階段也可能在操作員的標簽之間產(chǎn)生差異，因為觀察到的黃色和紅色與顏色空間中的綠色連續(xù)。作者通過雇傭多個標注員，并創(chuàng)建了一個的35^3個體素的3D RGB 包含立方體解決。

2. 應(yīng)增加其他色彩空間參數(shù)作為SVM模型的輸入，相機采集的原始信息提供的RGB色彩空間不足以區(qū)分，。

3. 光照條件會影響分割性能。在高亮度和飽和度下觀察到的少數(shù)綠色像素可能對應(yīng)于標記中的錯誤或非常接近綠色和衰老植被之間極限的混合像素。這既適用于標記過程，也適用于模型預(yù)測。
 

Figure 4 被SegVeg模型錯誤分類的像素的亮度和飽和度的分布
 

Figure 5 受控和自然光照條件下的性能分布

4. SVM在SegVeg模型中，作為從背景中提取植被像素后的進一步處理，對比U-net 3C的結(jié)果表明，可以在第二步使用SVM方法降低模型對標注數(shù)據(jù)量的依賴。
 

Figure 6 使用SegVeg（b）或U-net 3C（c）進行分割的結(jié)果

5. SegVeg模型提取綠色植被的性能更好，提取衰老植被的偏差更小。
 

Table 7 SegVeg和U-net 3C在網(wǎng)格上估計背景、綠色和衰老植被部分的表現(xiàn)
 

Figure 7 比較SegVeg方法預(yù)測的分數(shù)與測試數(shù)據(jù)集1上標記的分數(shù)

論文鏈接

https://doi.org/10.34133/2022/9803570

——推薦閱讀——

Wheat Ear Segmentation Based on a Multisensor System and Superpixel Classification

https://doi.org/10.34133/2022/9841985

Plant Phenomics | 基于多傳感器系統(tǒng)和超像素分類的麥穗圖像分割

High-Throughput Corn Image Segmentation and Trait Extraction Using Chlorophyll Fluorescence Images

https://spj.sciencemag.org/journals/plantphenomics/2021/9792582/

Plant Phenomics | 基于葉綠素熒光圖像的高通量玉米圖像分割和性狀提取

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會、�？�發(fā)布會等高質(zhì)量活動。
 

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進會（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點領(lǐng)域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？迫鹞ò睯CR2021影響因子為6.961，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)，生物大類一區(qū)（Top期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學(xué)》編輯部負責組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準。

特邀作者：李澍（實習(xí)）

編輯：蘇梓鈺（實習(xí)）

審核：孔敏、王平