傳統(tǒng)的果樹種植行業(yè)在很大程度上依賴勞動力的支持，具備強(qiáng)大感知和推理能力的智能農(nóng)業(yè)機(jī)器人被應(yīng)用于繁瑣重復(fù)的農(nóng)業(yè)生產(chǎn)工作，以解決勞動力短缺等問題。準(zhǔn)確的檢測和重建分支有助于收獲機(jī)器人的準(zhǔn)確性和植物表型信息的提取。然而，復(fù)雜的果園背景和藤蔓果樹扭曲生長的樹枝使這一設(shè)計(jì)具有挑戰(zhàn)性。與傳統(tǒng)方法相比，深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)大特征提取和自主學(xué)習(xí)能力更能適應(yīng)復(fù)雜的背景。目前深度學(xué)習(xí)方法應(yīng)用于果樹的特征提取研究大多集中在杉木果樹上，并且目標(biāo)和背景之間存在明顯的對比，相對較簡單。在早期階段，必須通過大量數(shù)據(jù)分析來獲得約束枝條重建的參數(shù)，并不會在生產(chǎn)實(shí)踐中帶來便利。
 

2023年9月，Plant Phenomics 在線發(fā)表了廣西師范大學(xué)教育部教育區(qū)塊鏈與智能技術(shù)重點(diǎn)實(shí)驗(yàn)室和上海農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息科學(xué)技術(shù)研究所等人合作完成的題為Detection and Reconstruction of Passion Fruit Branches via CNN and Bidirectional Sector Search 的文章。
 

為了解決這些問題，本研究主要進(jìn)行了兩方面的研究：第一，本研究開發(fā)了一種改進(jìn)的實(shí)例分割網(wǎng)絡(luò)，用規(guī)則形四邊形表示隨機(jī)生長的分支，有效降低了檢測原始分支的復(fù)雜性，以在自然果園環(huán)境下準(zhǔn)確檢測和分割果樹的枝條。第二，本研究提出了一種基于雙向扇區(qū)搜索的分支重建算法，基于生長姿態(tài)，對改進(jìn)模型得到的分段分支進(jìn)行自適應(yīng)重構(gòu)。需要注意的是，重構(gòu)算法中使用的扇區(qū)搜索策略在較長的距離上具有更寬的搜索區(qū)域，這在一定程度上彌補(bǔ)了由于檢測模型的分支過度彎曲或遺漏檢測而導(dǎo)致的低重構(gòu)率。
 

圖1 圖像采集和標(biāo)注：(A)相機(jī)的位置和角度，捕獲圖像的(B)示例，以及分叉（上）和分段（下）分支的(C)標(biāo)簽

本研究采用Mask R-CNN卷積神經(jīng)網(wǎng)絡(luò)(Mask Region-based convolutional neural network，Mask R-CNN)架構(gòu)，結(jié)合可變形卷積對復(fù)雜背景下的分支進(jìn)行分割�；�于生長姿態(tài)，提出了一種雙向扇區(qū)搜索的分支重建算法，對改進(jìn)模型得到的分段分支進(jìn)行自適應(yīng)重建。改進(jìn)的Mask R-CNN模型用于百香果的枝檢測的平均準(zhǔn)確率、平均召回率和F1分?jǐn)?shù)分別為64.30%、76.51%和69.88%，在測試數(shù)據(jù)集上的平均運(yùn)行時間為0.75秒，優(yōu)于對比模型。該研究從測試數(shù)據(jù)集中隨機(jī)選擇40張圖像來評估分枝重建。分枝重建精度為88.83%，平均誤差為1.98px，重建直徑平均相對誤差為7.98 px，均交并比(Mean intersection-overunion ratio，mIOU)為83.44%。單幅圖像的平均重建時間為0.38秒，本研究所提出的方法可以為檢測和提取果樹枝條的表型參數(shù)，尤其是類葡萄果樹的枝條，可以為后續(xù)果樹枝條表型研究提供良好的基礎(chǔ)，并為智能農(nóng)業(yè)設(shè)備提供必要的技術(shù)支持。
 

圖2 改進(jìn)了3種陽光條件下的Mask R-CNN檢測效果：(A)檢測早上采集的圖像的結(jié)果，(B)檢測中午采集的圖像的結(jié)果，(C)檢測下午采集的圖像的結(jié)果

本文的主要作者為鮑江川博士和陸聲鏈教授，所屬單位為廣西師范大學(xué)教育部教育區(qū)塊鏈與智能技術(shù)重點(diǎn)實(shí)驗(yàn)室和上海農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息科學(xué)技術(shù)研究所。基金資助：國家自然科學(xué)基金項(xiàng)目（第61662006號），廣西農(nóng)業(yè)科技計(jì)劃項(xiàng)目（Z201915)，上�？萍嘉瘑T會計(jì)劃（編號：21N21900700）。

論文鏈接：

‍https://doi.org/10.34133/plantphenomics.0088

——推薦閱讀——

Phenotyping Key Fruit Quality Traits in Olive Using RGB Images and Back Propagation Neural Networks

https://doi.org/10.34133/plantphenomics.0061

Plant Phenomics | 利用RGB圖像和反向傳播神經(jīng)網(wǎng)絡(luò)對橄欖果實(shí)關(guān)鍵品質(zhì)性狀進(jìn)行表型分析

High-Throughput Field Plant Phenotyping: A Self-Supervised Sequential CNN Method to Segment Overlapping Plants

https://doi.org/10.34133/plantphen‍omics.0052

Plant Phenomics | 利用自監(jiān)督序列卷積神經(jīng)網(wǎng)絡(luò)（SS-CNN）分割田間重疊植株的高通量植物表型分析

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會、�？�發(fā)布會等高質(zhì)量活動。
 

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進(jìn)會（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
撰稿：吳庚宸（南京農(nóng)業(yè)大學(xué)）
排版：蘇梓鈺（南京農(nóng)業(yè)大學(xué)）
審核：孔敏、王平