Plant Phenomics | 基于深度學習的植物葉片在遮擋條件下的點云補全

植物的三維重建對于農業(yè)和植物科學研究非常重要，因為它可以幫助研究人員了解植物的形態(tài)、生長和發(fā)育情況。然而，深度相機在采集植物點云數據時常常面臨葉片遮擋和點云數據缺失的問題，這使得傳統(tǒng)的重建方法效果有限。因此，研究人員需要開發(fā)新的方法，以克服這些問題，以實現更準確和完整的植物三維重建。
 

2023年11月，Plant Phenomics 在線發(fā)表了華南農業(yè)大學蘭玉彬團隊題為Point cloud completion of plant leaves under occlusion conditions based on deep learning 的研究論文。研究提出了一種基于深度相機和深度學習點云補全的植物三維重建方法。該方法通過利用深度學習這一方法不僅解決了訓練數據不足的問題，還使得模型能夠有效地處理使用Azure Kinect捕獲的點云數據。
 

本文的研究流程分為兩個階段，首先，研究人員采用深度相機獲取了花菜植株的點云數據（圖1），并建立了驗證集，其中包括不同形狀的葉片，并模擬了葉片不完整的情況。這一步驟旨在評估我們的點云補全方法的效果。隨后，研究人員使用MeshLab軟件對這些點云數據進行了可視化分析（圖2），以觀察結果。實驗證明，點云補全方法能夠成功地完成不同形狀和彎曲程度的花菜葉片的點云補全，無論這些點云數據是通過MVS-SFM算法獲得還是通過Azure Kinect采集的。研究方法還表現出對目標點云的結構關系具有有效學習能力，因此在點云補全的完整性方面表現出強大的潛力。此外，還對不同遮擋情況下的補全效果進行了比較，結果顯示在遮擋區(qū)域集中時，補全效果更佳，而在遮擋區(qū)域分散時，補全效果較差。
 

圖1補全植物點云的工作流程
 

圖2具有不同缺失率的葉點云補全的可視化

在第二階段，針對完整植株的點云數據進行了三維重建（圖3），并與MVS-SFM算法的結果進行了對比。實驗結果表明，所提出的方法在提高植物點云數據的完整性方面取得了顯著的進展，尤其在存在多重遮擋或高缺失比例的情況下，本文的方法表現出更均勻的完整性。進一步進行了點云數據的精度分析，得到了具體的距離分布（圖4），結果顯示，兩種方法生成的點云具有適度的一致性。
 

圖3葉片點云的可視化補全
 

圖4距離分布的可視化

最后，研究對葉子面積提取的效果進行了評估，具體的評估結果（圖5），表明研究方法在葉子面積估計方面的有效性。
 

圖5葉面積估算與人工測量的相關性評估

論文鏈接：

‍https://spj.science.org/doi/10.34133/plantphenomics.0117

——推薦閱讀——

PSegNet: simultaneous semantic and instance segmentation for point clouds of plants 

https://spj.science.org/doi/10.34133/2022/9787643

Plant Phenomics 精選2022 | PSegNet：針對多品種作物點云的器官同步語義分割與實例分割深度學習網絡

Development and Validation of a Deep Learning Based Automated Minirhizotron Image Analysis Pipeline

https://doi.org/10.34133/2022/9758‍532

Plant Phenomics 精選2022 | 基于深度學習的微根管圖像自動化分析方法

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、�？�發(fā)布會等高質量活動。
 

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農業(yè)大學和美國科學促進會（AAAS）合作創(chuàng)辦的英文學術期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業(yè)實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統(tǒng)計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農藝學、植物科學、遙感一區(qū)。中科院農藝學、植物科學一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
撰稿：章?lián)P（南京農業(yè)大學）
排版：向雪薇（南京農業(yè)大學）
審核：孔敏、王平