Plant Phenomics | 中南林科大周國(guó)雄教授團(tuán)隊(duì)基于PDC-VLD的具有較強(qiáng)泛化性能的番茄葉病多模態(tài)開(kāi)放目標(biāo)檢測(cè)模型

在番茄葉片病害檢測(cè)中，現(xiàn)有模型嚴(yán)重依賴大量標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練，并且只能識(shí)別訓(xùn)練集中存在的疾病類型。當(dāng)遇到未知疾病時(shí)，通常需要額外的數(shù)據(jù)標(biāo)注和再訓(xùn)練，這不僅耗時(shí)費(fèi)力，而且在標(biāo)注過(guò)程中難以消除偏見(jiàn)。因此，減少模型對(duì)大量標(biāo)記數(shù)據(jù)的依賴，增強(qiáng)其對(duì)新型病蟲害的快速識(shí)別能力，對(duì)于提高檢測(cè)效率和減少損失至關(guān)重要。然而，在解決標(biāo)記數(shù)據(jù)的依賴問(wèn)題時(shí)也要考慮番茄葉片病害檢測(cè)過(guò)程中存在幾個(gè)主要問(wèn)題：（1）類內(nèi)變異與類間相似性：即使是同一種疾病，由于不同的發(fā)展階段和環(huán)境條件，番茄葉片可能表現(xiàn)出不同的特征（如顏色、質(zhì)地和形狀），導(dǎo)致類內(nèi)變異顯著。而不同種類的疾病可能具有相似的特征，增加了檢測(cè)的復(fù)雜性。（2）背景干擾問(wèn)題：在實(shí)際環(huán)境中，番茄葉片常與土壤、光照等背景因素混雜，特別是當(dāng)病害發(fā)生在葉緣時(shí)，背景干擾更加嚴(yán)重。這些干擾信息使得候選邊界框不夠精確，影響疾病的識(shí)別和定位。（3）適應(yīng)性優(yōu)化：由于番茄葉病數(shù)據(jù)相對(duì)稀缺，模型在訓(xùn)練過(guò)程中可能表現(xiàn)出緩慢收斂、次優(yōu)檢測(cè)性能、過(guò)度擬合及對(duì)噪聲敏感等問(wèn)題。這不僅影響模型的實(shí)際應(yīng)用效果，還增加了計(jì)算成本。

通過(guò)解決這些問(wèn)題，我們可以減少模型對(duì)大量標(biāo)記數(shù)據(jù)的依賴，同時(shí)顯著提升番茄葉片病害檢測(cè)的效率和準(zhǔn)確性，從而更有效地應(yīng)對(duì)農(nóng)業(yè)生產(chǎn)中的實(shí)際挑戰(zhàn)。

圖1 番茄葉片病害識(shí)別的問(wèn)題示例

2024年8月， Plant Phenomics 在線發(fā)表了中南林業(yè)科技大學(xué)周國(guó)雄教授團(tuán)隊(duì)題為A Multi-Modal Open Object Detection Model for Tomato Leaf Diseases with Strong Generalization Performance Using PDC-VLD 的研究論文。

為克服當(dāng)前番茄葉片病害目標(biāo)檢測(cè)模型的局限性和相關(guān)問(wèn)題，我們專注于六種常見(jiàn)的番茄葉片病害。我們將開(kāi)放詞匯檢測(cè)技術(shù)引入番茄葉片病害目標(biāo)檢測(cè)領(lǐng)域，并提出了PDC-VLD，這是一個(gè)用于番茄葉片病害開(kāi)放詞匯目標(biāo)檢測(cè)的框架。為了解決目標(biāo)檢測(cè)過(guò)程中的挑戰(zhàn)，我們開(kāi)發(fā)了一種漸進(jìn)視覺(jué)變換-卷積金字塔模塊(PVT-C)，該模塊有效提取番茄葉片病害特征，并使用自監(jiān)督學(xué)習(xí)算法DINO優(yōu)化錨盒定位，抑制不相關(guān)背景的干擾。然后，采用上下文特征引導(dǎo)模塊(CFG)來(lái)解決模型在數(shù)據(jù)稀缺環(huán)境下的適應(yīng)性和識(shí)別精度較低的問(wèn)題。

圖3 提出的PDC-VLD模型的網(wǎng)絡(luò)結(jié)構(gòu)圖

本文創(chuàng)新點(diǎn)如下：

(1) 首次將OVD技術(shù)應(yīng)用于番茄葉病檢測(cè)。該方法利用VLDet框架，直接從圖像-文本對(duì)數(shù)據(jù)中學(xué)習(xí)，通過(guò)將一組圖像區(qū)域特征與一組詞嵌入相匹配，將對(duì)象與語(yǔ)言對(duì)齊，從而識(shí)別未知疾病。

(2) 我們提出漸進(jìn)收縮視覺(jué)變壓器-卷積金字塔模塊，它結(jié)合了金字塔結(jié)構(gòu)VTs的層次特性和卷積投影的局部敏感性。這種增強(qiáng)了模型捕捉局部和全文空間背景的能力，從而更有效地提取細(xì)粒度疾病相關(guān)特征。

(3) VLDet框架結(jié)合了一種新的基于DINO的番茄葉病錨盒校準(zhǔn)策略。DINO的雙重前向預(yù)測(cè)方案和混合查詢選擇機(jī)制減少了冗余預(yù)測(cè)，有效地去除了圖像中分散注意力的背景元素，提高了最終預(yù)測(cè)的準(zhǔn)確性和可靠性。

(4) 采用基于CNN的局部特征指導(dǎo)(CFG)方法對(duì)番茄葉片病害進(jìn)行自適應(yīng)優(yōu)化。該方法首次在VLDet框架中應(yīng)用，利用CFG模塊指導(dǎo)變壓器網(wǎng)絡(luò)更有效地學(xué)習(xí)和捕獲分層信息。這簡(jiǎn)化了知識(shí)轉(zhuǎn)移和網(wǎng)絡(luò)訓(xùn)練過(guò)程，提高了葉片病害檢測(cè)的性能。

該研究由中南林業(yè)科技大學(xué)、內(nèi)蒙古農(nóng)業(yè)大學(xué)、內(nèi)蒙古大學(xué)、愛(ài)達(dá)荷大學(xué)、湖南省植物保護(hù)研究所合作完成。中南林業(yè)科技大學(xué)李錦陽(yáng)為該文第一作者，周國(guó)雄教授為該文通訊作者。相關(guān)工作得到長(zhǎng)沙市自然科學(xué)基金、國(guó)家自然科學(xué)基金等資助。

論文鏈接：
https://doi.org/10.34133/plantphenomics.0220

——推薦閱讀——
Recognition and Localization of Maize Leaf and Stalk Trajectories in RGB Images Based on Point-Line Net 
https://doi.org/10.34133/plantphenomics.0199
Plant Phenomics | Point-Line Net：一種自上而下的田間玉米葉脈生長(zhǎng)軌跡檢測(cè)模型
From Laboratory to Field: Unsupervised Domain Adaptation for Plant Disease Recognition in the Wild
‍https://doi.org/10.34133/plantphenomics.0038
Plant Phenomics | 從實(shí)驗(yàn)室到田間：野外植物病害識(shí)別的無(wú)監(jiān)督域適應(yīng)

加入作者交流群
掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開(kāi)展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics
《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開(kāi)放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄。科睿唯安JCR2022影響因子為7.6，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。2023年中科院期刊分區(qū)位于農(nóng)林科學(xué)大類一區(qū)。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目、2024年入選江蘇科技期刊卓越行動(dòng)計(jì)劃領(lǐng)軍期刊項(xiàng)目。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
特邀作者：周國(guó)雄
排版：張婕（上海交通大學(xué)）
審核：孔敏、王平