Plant Phenomics | Eff-3DPSeg：使用高效標(biāo)注的深度學(xué)習(xí)方法進(jìn)行植物器官級(jí)分割

可靠且自動(dòng)化的三維植物分割是在器官水平上提取植物表型性狀的核心前提。深度學(xué)習(xí)和點(diǎn)云的結(jié)合可以提供有效的解決方案來(lái)應(yīng)對(duì)這一挑戰(zhàn)。然而，完全監(jiān)督的深度學(xué)習(xí)方法要求數(shù)據(jù)集按點(diǎn)標(biāo)注，耗時(shí)又費(fèi)力。
 

2023年11月，Plant Phenomics 在線發(fā)表了加拿大McGill University等單位題為Eff-3DPSeg: 3D Organ-Level Plant Shoot Segmentation Using Annotation-Efficient Deep Learning 的研究論文。
 

本研究提出了一個(gè)新的弱監(jiān)督框架Eff-3DPSeg（圖1），用于三維植物分割。首先，利用低成本的攝影測(cè)量系統(tǒng)重建大豆的高分辨率點(diǎn)云（圖2），并基于Meshlab開(kāi)發(fā)了植物點(diǎn)云標(biāo)注工具 Plant Annotator。其次，提出了一種用于植物器官分割的弱監(jiān)督深度學(xué)習(xí)方法（圖4）該方法包括：(1)利用視點(diǎn)瓶頸（Viewpoint Bottleneck）損失對(duì)自監(jiān)督網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，如圖5圖6，從原始點(diǎn)云中學(xué)習(xí)有意義的內(nèi)在結(jié)構(gòu)表示；(2)對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)，只標(biāo)注0.5%左右的點(diǎn)，實(shí)現(xiàn)植物器官分割（圖7）。之后提取了3個(gè)表型性狀(莖粗、葉寬和葉長(zhǎng))。為了測(cè)試所提方法的通用性，本研究還包括了了公共數(shù)據(jù)集Pheno4D。實(shí)驗(yàn)結(jié)果顯示，與完全監(jiān)督設(shè)置相比，本研究提出的弱監(jiān)督網(wǎng)絡(luò)獲得了類似的分割性能，為研究植物三維表型結(jié)構(gòu)提供了一種有效的方法，可以在https://github.com/jieyi-one/EFF-3DPSEG獲取到本研究中訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)模型。
 

圖1提出的Eff-3DSeg框架的整體工作流程。(A)利用Multi-view Stereo Pheno平臺(tái)重構(gòu)植物點(diǎn)云，利用基于meshlab的plant Annotator對(duì)點(diǎn)云進(jìn)行標(biāo)注。(B)提出的弱監(jiān)督植物器官分割網(wǎng)絡(luò)用于植物莖葉分割和葉實(shí)例分割。(C) 利用植物器官分割的結(jié)果提取三種植物表型莖粗、葉寬和葉長(zhǎng)等性狀。

圖22022年5月6日至27日拍攝的大豆點(diǎn)云。
 

圖4所提出的弱監(jiān)督植物器官分割框架。(A)使用視點(diǎn)瓶頸（Viewpoint Bottleneck）損失函數(shù)，用自監(jiān)督表示學(xué)習(xí)方法預(yù)訓(xùn)練骨干網(wǎng)。(B)利用弱標(biāo)注點(diǎn)云對(duì)預(yù)訓(xùn)練的植物莖葉分割模型和葉片實(shí)例分割模型進(jìn)行了修改和微調(diào)。
 

圖5自我監(jiān)督預(yù)訓(xùn)練方法的說(shuō)明:視點(diǎn)瓶頸。X為三維坐標(biāo)和顏色拼接表示的植物點(diǎn)云(M×6, M為點(diǎn)數(shù))。經(jīng)過(guò)兩次隨機(jī)幾何變換，我們得到了它的兩個(gè)增廣Xp和Xq。將它們輸入到共享的稀疏ConvUnet fθ中，得到兩個(gè)高維表示集Zp和Zq (M× D, D為表示維數(shù))。應(yīng)用了最遠(yuǎn)點(diǎn)采樣，以得到下采樣表示ZP'和Zq' (H×D)， H是下采樣表示的點(diǎn)號(hào)。最后，對(duì)ZP'和Zq'之間的互相關(guān)矩陣施加視點(diǎn)瓶頸，記為Z。

圖7 植物器官分割示意圖。首先，將一個(gè)植物點(diǎn)云X(坐標(biāo):M×3，顏色:M×3)輸入稀疏ConvUnet，以提取點(diǎn)未來(lái)F (M×K)。M是點(diǎn)的個(gè)數(shù)，K是未來(lái)點(diǎn)的維度。第二(莖葉分割):莖葉分支用F生成莖葉語(yǔ)義評(píng)分(M×n)，其中n為類數(shù)。一個(gè)點(diǎn)的預(yù)測(cè)莖葉標(biāo)簽S (M×1)是得分最高的類(Argmax)。第三(Leaf實(shí)例分割):偏移模塊產(chǎn)生偏移向量O (M×3)。然后，采用聚類方法在原始坐標(biāo)坐標(biāo)和移位坐標(biāo)上將點(diǎn)分組為葉簇，分別生成Cc和Cs。最后，我們將Cc和Cs的并集表示為最終的聚類結(jié)果C。
 

圖11 弱監(jiān)督番茄葉實(shí)例分割的定性可視化。所選的番茄樣本具有不同的生長(zhǎng)階段。番茄葉實(shí)例分割的真實(shí)實(shí)況和不同監(jiān)督設(shè)置的結(jié)果顯示在不同的行中。

本研究提出了一種新的標(biāo)注高效的用于3D植物器官分割的深度學(xué)習(xí)框架：Eff-3DPSeg。采用低成本的多視圖成像數(shù)據(jù)采集平臺(tái)（MVSP2）和新創(chuàng)建的點(diǎn)云標(biāo)注工具（MPA）來(lái)構(gòu)建大豆植株的點(diǎn)云數(shù)據(jù)集。然后使用了三種不同的標(biāo)注設(shè)置（50、100和200個(gè)標(biāo)注點(diǎn)）對(duì)大豆數(shù)據(jù)集和公共數(shù)據(jù)集Pheno4D進(jìn)行訓(xùn)練和測(cè)試，以評(píng)估提出的網(wǎng)絡(luò)Eff-3DPSeg�？傮w而言該研究提出的方法在植物點(diǎn)云分割任務(wù)中取得了與完全監(jiān)督設(shè)置相似的成績(jī)，成功提取了三個(gè)器官水平的表型特征。本文提出的弱監(jiān)督方法可以大大節(jié)省點(diǎn)云標(biāo)注時(shí)間。這將有助于提高高通量植物表型分析的效率，推動(dòng)智能農(nóng)業(yè)的發(fā)展。

論文鏈接：

‍https://spj.science.org/doi/10.34133/plantphenomics.0080

——推薦閱讀——

Generating 3D multispectral point clouds of plants with fusion of snapshot spectral and RGB-D images

https://doi.org/10.34133/plantphenomic‍s.0040

Plant Phenomics | 浙江大學(xué)發(fā)現(xiàn)一種融合快照光譜圖像和RGB-D圖像生成高質(zhì)量三維多光譜植物點(diǎn)云的新方法

Application of an Improved 2-Dimensional High-Throughput Soybean Root Phenotyping Platform to Identify Novel Genetic Variants Regulating Root Architecture Traits

‍https://doi.org/10.34133/plantphenomics.0097

Plant Phenomics | 應(yīng)用改進(jìn)的二維高通量大豆根系表型平臺(tái)鑒定調(diào)節(jié)根系結(jié)構(gòu)性狀的新遺傳變異

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開(kāi)展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。
 

添加小編微信，備注姓名+單位+PP，加入作者交流群

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開(kāi)放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
撰稿：李嘉琦（南京農(nóng)業(yè)大學(xué)）
排版：蘇梓鈺（南京農(nóng)業(yè)大學(xué)）
審核：孔敏、王平