Plant Phenomics | FCOS-LSC: 針對復(fù)雜果園中綠色果實(shí)的檢測模型

實(shí)現(xiàn)自然場景下果實(shí)的快速識別和精準(zhǔn)定位，可為果實(shí)采摘機(jī)器人的機(jī)器視覺系統(tǒng)提供關(guān)鍵的技術(shù)支持。然而，自然環(huán)境下的果實(shí)生長呈現(xiàn)不同的形態(tài)，其果實(shí)、枝干樹葉表現(xiàn)多為隨機(jī)分布、相互遮擋的特點(diǎn)，果實(shí)圖像也因光照變化、拍攝角度距離的不同而動態(tài)變化。在這種非結(jié)構(gòu)化果園環(huán)境下，目標(biāo)視覺信息的獲取已成為農(nóng)業(yè)智能設(shè)備在生產(chǎn)應(yīng)用中的重大挑戰(zhàn)。

2023年6月，Plant Phenomics在線發(fā)表了山東師范大學(xué)、卡迪夫大學(xué)、山東理工大學(xué)與機(jī)械工業(yè)設(shè)施農(nóng)業(yè)測控技術(shù)與裝備重點(diǎn)實(shí)驗(yàn)室合作的題為FCOS-LSC: A Novel Model for Green Fruit Detection in a Complex Orchard Environment的研究論文。

本研究以綠色蘋果、柿子為研究對象，提出一種有效且準(zhǔn)確的果實(shí)檢測模型（圖1），能夠?qū)崿F(xiàn)對出現(xiàn)重疊遮擋、或受光照條件影響下綠色果實(shí)圖像的高識別和定位。創(chuàng)新的果實(shí)檢測模型具體做出如下貢獻(xiàn)：（1）骨干網(wǎng)絡(luò)引入形變卷積，更好地適應(yīng)模型檢測時(shí)出現(xiàn)的不同果實(shí)形狀特征；（2）在頸部網(wǎng)絡(luò)中，LSC注意力嵌入到特征圖的尺度、空間、通道三個(gè)維度上，抑制特征圖中的噪聲干擾，使模型更加關(guān)注有效的像素信息；（3）在檢測頭中，設(shè)計(jì)一種新的正負(fù)樣本分配方法，提高模型對監(jiān)督信號的鑒別能力；（4）FCOS-LSC在準(zhǔn)確性和魯棒性方面優(yōu)于其它先進(jìn)的模型，更適用于復(fù)雜果園中對綠色果實(shí)的檢測任務(wù)。
 

圖1 果實(shí)檢測模型FCOS-LSC的整體架構(gòu)

實(shí)驗(yàn)結(jié)果表明：提出的FCOS-LSC在Apple和Persimmon數(shù)據(jù)集上能夠提升果實(shí)檢測精度，預(yù)測結(jié)果展示見圖2和圖3。FCOS-LSC的檢測效果優(yōu)于Faster R-CNN、Mask R-CNN、RetinaNet與FoveaBox等當(dāng)前流行的深度學(xué)習(xí)網(wǎng)絡(luò)。研究發(fā)現(xiàn)，F(xiàn)COS-LSC能夠?qū)崿F(xiàn)較高的檢測精度，存在極少的遺漏和誤檢果實(shí)，能夠應(yīng)對多重因素干擾的果實(shí)圖像并輸出檢測結(jié)果。該方法以較少的模型參數(shù)和計(jì)算復(fù)雜度實(shí)現(xiàn)了高效的同色系果實(shí)檢測任務(wù)，同時(shí)表現(xiàn)出的高精度和魯棒性為其在果園中智能農(nóng)業(yè)設(shè)備部署提供了進(jìn)一步的可能。該模型在不同閾值下蘋果精確度-召回率曲線如圖4所示。
 

圖2 Apple dataset
 

圖3 Persimmon dataset
 

圖4 不同閾值下蘋果精確度與召回率的性能評估

作者介紹
趙瑞娜，山東師范大學(xué)計(jì)算機(jī)技術(shù)專業(yè)碩士生，研究方向?yàn)樯疃葘W(xué)習(xí)、智慧農(nóng)業(yè)。
賈偉寬，山東師范大學(xué)副教授，碩士生導(dǎo)師，主要從事人工智能、智慧農(nóng)業(yè)、農(nóng)業(yè)信息技術(shù)與裝備等方向研究，近五年主持省部級以上科研項(xiàng)目4項(xiàng)，以第一作者或通訊作者在Plant Phenomics、Computers and Electronics in Agriculture、Precision Agriculture、IEEE Transactions on Industrial Informatics等期刊上發(fā)表論文30余篇。

論文鏈接：

https://doi.org/10.34133/plantphenomics.0069

——推薦閱讀——

Prediction of the Maturity of Greenhouse Grapes Based on Imaging Technology

https://doi.org/10.34133/2022/9753427

Plant Phenomics | 基于表型圖像信息與反向神經(jīng)網(wǎng)絡(luò)預(yù)測溫室葡萄成熟度

Wheat Ear Segmentation Based on a Multisensor System and Suerpixel Classification

https://doi.org/10.34133/2022/9841985

Plant Phenomics | 基于多傳感器系統(tǒng)和超像素分類的麥穗圖像分割

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會、專刊發(fā)布會等高質(zhì)量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進(jìn)會（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄。科睿唯安JCR2021影響因子為6.961，位于農(nóng)藝學(xué)、植物科學(xué)，遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
特邀作者：趙瑞娜、賈偉寬
編輯：蔡婧柳（實(shí)習(xí)）
審核：孔敏、王平