Plant Phenomics | Point-Line Net：一種自上而下的田間玉米葉脈生長(zhǎng)軌跡檢測(cè)模型

植物表型檢測(cè)在了解和研究植物生物學(xué)、農(nóng)業(yè)和生態(tài)學(xué)中起著至關(guān)重要的作用。通過(guò)對(duì)植物的各種物理性狀和特性的量化和分析，如株高、葉片形狀、數(shù)量和生長(zhǎng)軌跡等的精確檢測(cè)，研究人員可以深入了解植物的生長(zhǎng)發(fā)育、抗逆性以及環(huán)境因素的影響，對(duì)作物育種具有重要意義。

2024年7月，Plant Phenomics 在線(xiàn)發(fā)表了來(lái)自中國(guó)農(nóng)業(yè)科學(xué)院深圳農(nóng)業(yè)基因組研究所和太原理工大學(xué)合作完成的題為Recognition and Localization of Maize Leaf and Stalk Trajectories in RGB Images Based on Point-Line Net 的論文。

隨著計(jì)算機(jī)視覺(jué)技術(shù)和人工智能的快速發(fā)展，利用田間玉米圖像對(duì)植物相關(guān)信息進(jìn)行高通量表型分析，可以大大消除重復(fù)勞動(dòng)，提高植物育種效率。然而，由于田間環(huán)境中作物的背景復(fù)雜，遮擋問(wèn)題嚴(yán)重，將深度學(xué)習(xí)方法應(yīng)用于室外田間環(huán)境，確定田間玉米葉片數(shù)量并識(shí)別葉脈生長(zhǎng)軌跡仍然存在一定的困難。為應(yīng)對(duì)這一挑戰(zhàn)，本文基于Mask-RCNN網(wǎng)絡(luò)提出了一種自上而下的關(guān)鍵點(diǎn)檢測(cè)模型——Point-Line Net，用于田間玉米葉脈生長(zhǎng)軌跡表型檢測(cè)任務(wù)。

數(shù)據(jù)集來(lái)自中國(guó)農(nóng)業(yè)科學(xué)院深圳農(nóng)業(yè)基因組研究所，本文選取了其中使用手持相機(jī)拍攝的部分?jǐn)?shù)據(jù)集，包含9802張高分辨率RGB圖像和對(duì)應(yīng)的點(diǎn)線(xiàn)標(biāo)注文件。

圖1玉米數(shù)據(jù)集的4個(gè)拍攝角度3個(gè)生長(zhǎng)時(shí)期圖像:(A)早期、(B)中期和(C)后期。

針對(duì)數(shù)據(jù)集中待檢測(cè)目標(biāo)的表型特征，算法模型分別在自上而下的兩個(gè)階段做出了以下的改進(jìn)：首先，為了更好地適應(yīng)不同尺度物體的檢測(cè)需求，融合多尺度的特征信息，使用特征金字塔結(jié)構(gòu)（Feature pyramid network,FPN）結(jié)合更深層次的ResNet101作為目標(biāo)檢測(cè)階段的特征提取網(wǎng)絡(luò)；其次，考慮到數(shù)據(jù)集中目標(biāo)嚴(yán)重遮擋導(dǎo)致漏檢或者重復(fù)檢測(cè)的問(wèn)題，本文將D_IoU計(jì)算策略與Soft-NMS算法融合，替代了傳統(tǒng)的IoU+NMS篩選算法；最后在關(guān)鍵點(diǎn)檢測(cè)階段，本文提出了輕量級(jí)的關(guān)鍵點(diǎn)檢測(cè)分支，即針對(duì)每個(gè)目標(biāo)使用單一的熱力圖來(lái)推理目標(biāo)的關(guān)鍵點(diǎn)坐標(biāo)，用于擬合葉脈的生長(zhǎng)軌跡。

圖2基于Mask R-CNN網(wǎng)絡(luò)的Point-Line Net模型:在目標(biāo)檢測(cè)分支中，模型負(fù)責(zé)推理目標(biāo)的位置及其類(lèi)別；在關(guān)鍵點(diǎn)檢測(cè)分支中，結(jié)合目標(biāo)檢測(cè)結(jié)果對(duì)關(guān)鍵點(diǎn)的熱圖進(jìn)行模型推理。

另外，鑒于任務(wù)中特殊的關(guān)鍵點(diǎn)準(zhǔn)確率評(píng)估需求，即關(guān)注預(yù)測(cè)關(guān)鍵點(diǎn)是否位于“關(guān)鍵路徑”（本文指葉脈或者莖脈）上，本文提出了一個(gè)新的驗(yàn)證指標(biāo)——mean Line Distance(mLD)，通過(guò)反復(fù)的理論推導(dǎo)與實(shí)驗(yàn)驗(yàn)證了該評(píng)價(jià)指標(biāo)的有效性，為后續(xù)相關(guān)研究提供了參考。

最終，模型的目標(biāo)檢測(cè)準(zhǔn)確率（mAP50%）達(dá)到了81.5%，在自定義的距離驗(yàn)證指標(biāo)mLD上達(dá)到了33.5，實(shí)現(xiàn)了對(duì)田間玉米表型圖像中葉片和莖稈數(shù)量以及生長(zhǎng)軌跡的有效識(shí)別。

圖3 Point-Line Net在各種場(chǎng)景下的預(yù)測(cè)結(jié)果:(A)原始RGB圖像；(B) Labelme工具轉(zhuǎn)換的地面真實(shí)值；(C)預(yù)測(cè)邊界框（紅色框代表識(shí)別出的的根莖類(lèi)別，白色框代表識(shí)別出的的葉片類(lèi)別）；(D)預(yù)測(cè)關(guān)鍵點(diǎn)。

該研究由中國(guó)農(nóng)業(yè)科學(xué)院深圳農(nóng)業(yè)基因組研究所、太原理工大學(xué)合作完成。太原理工大學(xué)聯(lián)合培養(yǎng)學(xué)生劉秉文為該文第一作者，阮玨研究員和李燈熬教授為該文通訊作者。本文的研究受到了國(guó)家重點(diǎn)研發(fā)計(jì)劃（2022YFC3400300、2019YFA0707003）等項(xiàng)目支持。

作者及團(tuán)隊(duì)介紹

阮玨，研究員，博士生導(dǎo)師，農(nóng)業(yè)基因組學(xué)技術(shù)研發(fā)與應(yīng)用創(chuàng)新團(tuán)隊(duì)首席科學(xué)家。課題組主要從事組學(xué)算法研發(fā)：1）開(kāi)發(fā)快速精準(zhǔn)的序列比對(duì)與組裝算法開(kāi)發(fā)；2）開(kāi)發(fā)高效的圖基因組構(gòu)建與分析流程；3）制備圖像表型標(biāo)準(zhǔn)數(shù)據(jù)集，搭建共享平臺(tái)，開(kāi)發(fā)植物表型圖像識(shí)別算法；4）開(kāi)發(fā)具有高糾錯(cuò)能力的DNA數(shù)字存儲(chǔ)算法；5）拓展測(cè)序方法研發(fā)：如低頻突變檢測(cè)，宏基因組測(cè)序等；6）在組學(xué)算法研發(fā)的基礎(chǔ)上，進(jìn)一步開(kāi)展生物信息學(xué)研究，為組學(xué)算法的深入利用提供支撐。

李燈熬，太原理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院（大數(shù)據(jù)學(xué)院）教授，博士生導(dǎo)師，主要研究方向：大數(shù)據(jù)技術(shù)與應(yīng)用、物聯(lián)網(wǎng)關(guān)鍵技術(shù)及應(yīng)用、空間信息網(wǎng)絡(luò)技術(shù)。

論文鏈接：
‍https://doi.org/10.34133/plantphenomics.0199‍

——推薦閱讀——
Three-dimensional modelling of maize canopies based on computational intelligence
https://doi/10.34133/plantphenomics.0160
Plant Phenomics | 安徽大學(xué)聯(lián)合北京市農(nóng)林科學(xué)院信息技術(shù)研究中心提出了基于計(jì)算智能的玉米冠層三維建模方法
Analyzing Changes in Maize Leaves Orientation due to GxExM Using an Automatic Method from RGB Images
https://doi/10.34133/plantphenomics.0046
Plant Phenomics 精選2023 | 基于RGB圖像的基因型×環(huán)境型×管理相互作用下的玉米葉片方向變化分析

加入作者交流群
掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開(kāi)展作者分享會(huì)、專(zhuān)刊發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
特邀作者：阮玨、李燈熬
排版：蘇梓鈺（南京農(nóng)業(yè)大學(xué)）
審核：孔敏、王平