Plant Phenomics | 華中科技大學(xué)曹治國教授提出用于麥穗檢測的動(dòng)態(tài)顏色變換網(wǎng)絡(luò)

傳統(tǒng)的小麥特征監(jiān)測依賴于人工測量，既耗時(shí)又耗力。隨著無人機(jī)、智能手機(jī)等低成本成像平臺的普及，基于田間圖像的小麥觀測成為了替代人工觀測的便捷選擇。其中，麥穗檢測有助于自動(dòng)測量多種小麥特征，例如小麥密度和麥穗生長時(shí)期。然而，田間麥穗檢測存在許多挑戰(zhàn)：不同觀測環(huán)境會(huì)導(dǎo)致顯著的光照變化，且麥穗在不同的生長時(shí)期會(huì)呈現(xiàn)不同的顏色與性狀。
 

2022年2月，Plant Phenomics在線發(fā)表了華中科技大學(xué)曹治國教授團(tuán)隊(duì)題為Dynamic Color Transform Networks for Wheat Head Detection的研究論文，提出了一種動(dòng)態(tài)顏色變換網(wǎng)絡(luò)，有效改善了麥穗檢測的精度。
 

本文通過觀察發(fā)現(xiàn)適當(dāng)?shù)馗淖冚斎雸D像的顏色通道可以提升麥穗檢測的效果。受到該觀察的啟發(fā)，本文提出用動(dòng)態(tài)顏色變換網(wǎng)絡(luò)來對圖像進(jìn)行線性顏色通道變換，其變換表達(dá)式如下所示：
 

其中，R,G,B是原始圖像的顏色通道，αR,αG,αB和βR,βG,βB是網(wǎng)絡(luò)預(yù)測的顏色變換參數(shù)，R’,G’,B’是變換后的圖像顏色通道。
 

具體來說，給定一個(gè)目標(biāo)檢測模型，本文將動(dòng)態(tài)顏色變換網(wǎng)絡(luò)與檢測模型相結(jié)合，以實(shí)現(xiàn)自適應(yīng)顏色變換的麥穗檢測，方法整體流程圖如下圖所示：
 

圖1 方法整體流程圖

其中，動(dòng)態(tài)顏色變換網(wǎng)絡(luò)首先預(yù)測變換參數(shù)α和β，將輸入圖像x變換為x’。接著，變換后的圖像x’被送入目標(biāo)檢測網(wǎng)絡(luò)，得到最終的預(yù)測。由于動(dòng)態(tài)顏色變換網(wǎng)絡(luò)與目標(biāo)檢測模型相互獨(dú)立，因此該網(wǎng)絡(luò)具有較強(qiáng)的可拓展性，可以與任意的目標(biāo)檢測模型相結(jié)合。本文以Scaled-YOLOv4為基準(zhǔn)目標(biāo)檢測模型。

進(jìn)一步的，本文提出了兩種動(dòng)態(tài)顏色建模的方式，分別是基于回歸的顏色建模和基于分類的顏色建模。前者直接預(yù)測顏色變換參數(shù)α和β，后者則先預(yù)測α和β的分布，然后再基于分布計(jì)算得到最終的預(yù)測參數(shù)。二者的網(wǎng)絡(luò)架構(gòu)圖如圖2所示：
 

本文在全球麥穗檢測數(shù)據(jù)集2021上進(jìn)行了實(shí)驗(yàn)，以驗(yàn)證動(dòng)態(tài)顏色變換網(wǎng)絡(luò)的有效性。此外，本文方法也參加了2021年全球麥穗檢測挑戰(zhàn)賽，并獲得了亞軍。

本文將提出的動(dòng)態(tài)顏色變換網(wǎng)絡(luò)與Scaled-YOLOv4檢測模型相結(jié)合，平均域檢測精度如下表所示，可以看到引入動(dòng)態(tài)顏色變換網(wǎng)絡(luò)可以有效提升麥穗檢測精度。
 

本文進(jìn)一步研究了不同主干網(wǎng)絡(luò)對于檢測性能的影響，具體結(jié)果如下表所示�？梢园l(fā)現(xiàn)，動(dòng)態(tài)顏色變換網(wǎng)絡(luò)對于主干網(wǎng)絡(luò)并不敏感，使用輕量化網(wǎng)絡(luò)（如ShuffleNetV2）和深網(wǎng)絡(luò)（如ResNet18）都能取得性能提升。
 

圖3展示了本文方法的檢測結(jié)果，從中可以看到本文方法能夠取得較好的檢測效果。
 

圖3 檢測結(jié)果可視化，其中紅框?yàn)槟Ｐ皖A(yù)測，綠框?yàn)檎鎸?shí)目標(biāo)標(biāo)注

本文針對田間麥穗檢測問題，提出了一種簡單有效的動(dòng)態(tài)顏色變換網(wǎng)絡(luò)。該網(wǎng)絡(luò)可以自適應(yīng)地校正輸入圖像的顏色通道，對光照變化具有較強(qiáng)的魯棒性，有效提升了麥穗檢測的精度。值得一提的是，本文方法在2021年全球麥穗檢測挑戰(zhàn)賽中取得了亞軍的成績，平均域準(zhǔn)確率為0.695。

論文第一作者為劉承鑫（華中科技大學(xué)，博士研究生），論文通訊作者為曹治國教授，合作者包括華中科技大學(xué)的王可為（碩士研究生）和陸昊副教授。該研究得到國家自然科學(xué)基金（61876211）和中央高�；�本科研專項(xiàng)資金（2021XXJS095）的支持。

作者團(tuán)隊(duì)介紹：

曹治國教授的研究方向是圖像理解與分析、深度信息提取與真三維視頻處理、運(yùn)動(dòng)檢測與行為分析等。其率領(lǐng)的團(tuán)隊(duì)近五年在CVPR、ICCV、ECCV、IEEE TIP、TCSVT等國際權(quán)威期刊和國際頂級學(xué)術(shù)會(huì)議發(fā)表論文數(shù)十篇。
 

論文鏈接

https://doi.org/10.34133/2022/9818452

——推薦閱讀——

Global Wheat Head Detection 2021: An Improved Dataset for Benchmarking Wheat Head Detection Methods

https://doi.org/10.34133/2021/9846158
Plant Phenomics | GWHD_2021：改進(jìn)后的全球麥穗檢測數(shù)據(jù)集
Panicle-3D: Efficient phenotyping tool for precise semantic segmentation of rice panicle point cloud
https://doi.org/10.34133/2021/9838929

Plant Phenomics | Panicle-3D：水稻穗點(diǎn)云精確語義分割的高效表型工具

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？迫鹞ò睯CR2021影響因子為6.061，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)，生物大類一區(qū)（Top期刊）。2020年入選中國科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
特邀作者：陸昊
編輯：王平
審核：尹歡、孔敏