Plant Phenomics | 浙江農(nóng)林大學(xué)胡耀華教授團(tuán)隊(duì)基于MLG-YOLO的冬棗檢測(cè)和定位方法

開發(fā)冬棗采摘機(jī)器人對(duì)于實(shí)現(xiàn)冬棗機(jī)械化采收至關(guān)重要，而機(jī)器人采摘冬棗的過程也面臨著諸多挑戰(zhàn)，如冬棗常成簇生長(zhǎng)，數(shù)量眾多；冬棗體積較小，且經(jīng)常被枝干和葉片遮擋，這些因素都會(huì)影響機(jī)器人對(duì)冬棗的識(shí)別精度。因此，準(zhǔn)確地檢測(cè)和定位冬棗是實(shí)現(xiàn)機(jī)器人采摘的一項(xiàng)關(guān)鍵技術(shù)。

2024年9月，Plant Phenomics在線發(fā)表了浙江農(nóng)林大學(xué)單位等合作發(fā)表的題為MLG-YOLO: A Model for Real-Time Accurate Detection and Localization of Winter Jujube in Complex Structured Orchard Environments的研究論文。

本研究提出了一種基于MLG-YOLO模型的冬棗檢測(cè)與定位方法。首先，構(gòu)建了一個(gè)涵蓋不同光照條件和葉片遮擋場(chǎng)景的冬棗數(shù)據(jù)集來訓(xùn)練模型。隨后，以YOLOv8n為基線模型，進(jìn)行了以下主要改進(jìn)：使用MobileVit重構(gòu)主干網(wǎng)絡(luò)以降低模型重量。在頸部中引入LSKblock以獲取更廣泛的上下文信息，采用輕量級(jí)卷積技術(shù)GSConv以提高檢測(cè)精度。最后，提出了一種結(jié)合MLG-YOLO和RGB-D相機(jī)的冬棗三維定位方法。通過消融實(shí)驗(yàn)，對(duì)比實(shí)驗(yàn)以及三維定位誤差實(shí)驗(yàn)，驗(yàn)證了MLG-YOLO模型在冬棗檢測(cè)和定位方面的性能。實(shí)驗(yàn)結(jié)果表明，與基線模型YOLOv8n相比，MLG-YOLO的均值平均精度提高了3.50%，參數(shù)量減少了61.03%。與Faster RCNN，SSD，RT-DETR-L和YOLOv7-tiny等主流目標(biāo)檢測(cè)模型相比，MLG-YOLO在檢測(cè)精度和模型尺寸方面均表現(xiàn)最佳，其精確率為86.80%，召回率為84.50%，均值平均精度為92.70%，模型大小僅為2.52 MB，在保持高檢測(cè)精度的同時(shí)實(shí)現(xiàn)了模型的輕量化。這一方法能夠?qū)崿F(xiàn)冬棗的精確檢測(cè)與定位，為冬棗采摘機(jī)器人提供技術(shù)支持。

本文創(chuàng)新點(diǎn)如下：

(1) 提出了輕量化的冬棗目標(biāo)檢測(cè)模型MLG-YOLO，使用MobileVit重構(gòu)YOLOv8n的主干網(wǎng)絡(luò)，降低了計(jì)算的復(fù)雜度，使模型更加輕量化。

(2) 在YOLOv8n的頸部中引入LSKblock和GSConv模塊。其中，LSKblock通過其空間選擇機(jī)制和大核心的動(dòng)態(tài)調(diào)整，可以有效的處理目標(biāo)檢測(cè)中不同空間位置的上下文。GSConv模塊通過混合操作以簡(jiǎn)化特征融合。通過兩種模塊的結(jié)合，以提高模型對(duì)冬棗小目標(biāo)的檢測(cè)精度。

(3) 提出一種結(jié)合MLG-YOLO與RGB-D相機(jī)的冬棗三維定位方法，并設(shè)計(jì)實(shí)驗(yàn)對(duì)定位誤差進(jìn)行評(píng)估。結(jié)果表明，該方法能滿足機(jī)器人采摘系統(tǒng)準(zhǔn)確檢測(cè)與定位冬棗的要求。

圖1 MLG-YOLO模型架構(gòu)

圖2 機(jī)器人采摘系統(tǒng)檢測(cè)與定位冬棗流程

該研究由浙江農(nóng)林大學(xué)、西北農(nóng)林科技大學(xué)、日本筑波大學(xué)、荷蘭格羅寧根大學(xué)合作完成。浙江農(nóng)林大學(xué)俞晨浩為該論文第一作者，胡耀華教授為該論文通訊作者。浙江農(nóng)林大學(xué)碩士生施瀟逸、羅文凱、馮俊哲，西北農(nóng)林科技大學(xué)在讀博士鄭洲洲，日本筑波大學(xué)Ayanori Yorozu博士，荷蘭格羅寧根大學(xué)郭佳盼博士參與了研究工作。研究得到浙江農(nóng)林大學(xué)人才啟動(dòng)項(xiàng)目、國(guó)家自然科學(xué)基金面上項(xiàng)目和國(guó)家留學(xué)基金委項(xiàng)目的資助。

論文鏈接：
https://doi.org/10.34133/plantphenomics.0258

——推薦閱讀——
SCAG: A stratified, clustered, and growing-based algorithm for soybean branch angle extraction and ideal plant architecture evaluation
https://doi.org/10.34133/plantphenomics.0190
Plant Phenomics | 南京農(nóng)業(yè)大學(xué)基于點(diǎn)云的大豆分枝夾角提取算法開發(fā)與耐密植株型新性狀發(fā)掘
A multi-target regression method to predict element concentrations in tomato leaves using hyperspectral imaging 
‍https://doi.org/10.34133/plantphenomics.0146‍
Plant Phenomics | 東京大學(xué)利用高光譜圖像預(yù)測(cè)番茄葉片中元素含量的多目標(biāo)回歸方法

加入作者交流群
掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、專刊發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
特邀作者：俞晨浩
編輯排版：王平、張婕（上海交通大學(xué)）
審核：尹歡、孔敏