Plant Phenomics | 基于近端多源時(shí)序數(shù)據(jù)和多任務(wù)深度學(xué)習(xí)同步預(yù)測小麥產(chǎn)量和品質(zhì)性狀

產(chǎn)量和品質(zhì)是小麥生產(chǎn)中最重要的兩個(gè)指標(biāo)。氮肥的過量施用在促進(jìn)小麥穩(wěn)產(chǎn)高產(chǎn)的同時(shí)造成了小麥品質(zhì)“強(qiáng)筋不強(qiáng)，弱筋不弱”等問題。收獲前的小麥產(chǎn)量和蛋白質(zhì)含量預(yù)測是解決這種產(chǎn)質(zhì)不協(xié)調(diào)問題有效途徑。近端遙感技術(shù)的發(fā)展為高效精確的產(chǎn)量/籽粒蛋白質(zhì)含量（GPC）預(yù)測帶來了新機(jī)遇。但是，如何能夠有效地融合近端、多源和長時(shí)序數(shù)據(jù)，實(shí)現(xiàn)高精度、高效率的產(chǎn)量和蛋白質(zhì)同步預(yù)測，仍充滿挑戰(zhàn)。
 

近日，Plant Phenomics在線發(fā)表了南京農(nóng)業(yè)大學(xué)前沿交叉研究院金時(shí)超課題組聯(lián)合農(nóng)學(xué)院姜東課題組合作完成的題為Simultaneous Prediction of Wheat Yield and Grain Protein Content Using Multitask Deep Learning from Time-Series Proximal Sensing的研究論文。
 

該研究利用田間軌道式高通量表型分析平臺（圖1a），收集了小麥全生育期逐日的多光譜和激光雷達(dá)數(shù)據(jù)，主要目的包括：1）探討多源數(shù)據(jù)融合、多任務(wù)學(xué)習(xí)和不同時(shí)序特征提取的深度學(xué)習(xí)模塊對產(chǎn)量和GPC模型預(yù)測精度的影響；2）提出一個(gè)新的雙輸入雙輸出深度學(xué)習(xí)模型，耦合了數(shù)據(jù)融合、多任務(wù)學(xué)習(xí)和最優(yōu)特征提取模塊（注意力機(jī)制模塊）等策略；3）可視化了注意力機(jī)制模塊的時(shí)間通道注意層，解釋了生育時(shí)期對模型預(yù)測精度的貢獻(xiàn)。
 

圖1整體流程
 

基于模型輸入和輸出的變量個(gè)數(shù)，本文提出了4種模型結(jié)構(gòu)：單輸入單輸出模型（圖2a）、單輸入雙輸出模型（圖2b）、雙輸入單輸出模型（圖2c）和雙輸入雙輸出模型（圖2d）。
 

圖2模型結(jié)構(gòu)

主要結(jié)果如下：

（1）單輸入單輸出模型的產(chǎn)量和GPC預(yù)測性能

選用代表性結(jié)構(gòu)性狀和光譜性狀各4個(gè)，利用單輸入單輸出模型，驗(yàn)證了GNDVI在光譜性狀中表現(xiàn)最優(yōu)，而Hmean在結(jié)構(gòu)性狀中表現(xiàn)最優(yōu)（圖3）。
 

圖3不同性狀在單輸入單輸出模型中對產(chǎn)量和GPC的預(yù)測精度

（2）數(shù)據(jù)融合和多任務(wù)學(xué)習(xí)對模型性能的影響

利用雙輸入單輸出模型，實(shí)現(xiàn)了最優(yōu)光譜性狀和結(jié)構(gòu)性狀的數(shù)據(jù)融合，結(jié)果表明，數(shù)據(jù)融合有利于顯著提升模型預(yù)測精度（圖4(b)(e)）；利用單輸入雙輸出模型，實(shí)現(xiàn)了產(chǎn)量和GPC同步預(yù)測，結(jié)果表明，多任務(wù)學(xué)習(xí)可以在幾乎不損失模型預(yù)測精度情況下實(shí)現(xiàn)產(chǎn)量和品質(zhì)同步預(yù)測（圖4(c)(f)）。
 

圖4預(yù)測值和真實(shí)值的相關(guān)性。

(a)-(c) 單輸入單輸出、雙輸入單輸出、單輸入雙輸出模型的產(chǎn)量預(yù)測結(jié)果; (d)-(f) 單輸入單輸出、雙輸入單輸出、單輸入雙輸出模型的GPC預(yù)測結(jié)果
 

（3）不同特征提取模塊對預(yù)測性能的影響及注意力機(jī)制的可解釋性

基于上述多源數(shù)據(jù)融合對模型精度的改進(jìn)和多任務(wù)學(xué)習(xí)對效率的提升，構(gòu)建了雙輸入雙輸出模型。鑒于時(shí)間序列特征提取的特殊性，對比了FC、RNN、LSTM、1D CNN和注意力機(jī)制等特征提取模塊對雙輸入雙輸出模型精度的影響。結(jié)果表明，注意力機(jī)制模塊表現(xiàn)出最優(yōu)異的模型預(yù)測性能。通過可視化注意力機(jī)制模塊的時(shí)間通道注意層發(fā)現(xiàn)，結(jié)構(gòu)性狀和光譜性狀的時(shí)間重要性模式不一致：光譜性狀每日注意力權(quán)重分布較為平均；而結(jié)構(gòu)性狀注意力權(quán)重在初始灌漿期和成熟期出現(xiàn)峰值。但是，結(jié)構(gòu)和光譜性狀均表現(xiàn)出花后階段重要性大于花前階段的趨勢（圖5）。

圖5GNDVI和Hmean每日注意力權(quán)重分布
 

本研究針對小麥產(chǎn)質(zhì)協(xié)調(diào)問題，提出了一種新的雙輸入雙輸出深度學(xué)習(xí)模型范式，該模型以數(shù)據(jù)融合和注意力特征提取模塊保證模型預(yù)測精度，以雙輸出的多任務(wù)學(xué)習(xí)實(shí)現(xiàn)產(chǎn)質(zhì)同步預(yù)測目標(biāo)。研究成果有助于提高深度學(xué)習(xí)在產(chǎn)質(zhì)預(yù)測中的應(yīng)用，促進(jìn)實(shí)現(xiàn)精準(zhǔn)管理、變量收獲等智慧農(nóng)業(yè)生產(chǎn)目標(biāo)。
 

作者及研究團(tuán)隊(duì)介紹
 

第一作者：孫壯壯和李慶南京農(nóng)業(yè)大學(xué)作物栽培學(xué)與耕作學(xué)博士生在讀，研究方向分別為小麥生理生態(tài)監(jiān)測表型方法開發(fā)和非生物脅迫表型及生理解析。
 

通訊作者：金時(shí)超副教授（南京農(nóng)業(yè)大學(xué)高層次引進(jìn)人才、Plant Phenomics副主編、Forests客座編輯、Frontiers in Remote Sensing激光雷達(dá)方向編委）
 

通訊作者：姜東教授（南京農(nóng)業(yè)大學(xué)科學(xué)研究院院長、國家小麥產(chǎn)業(yè)技術(shù)體系崗位科學(xué)家、國家杰出青年基金獲得者；入選“萬人計(jì)劃”科技創(chuàng)新領(lǐng)軍人才、科技部科技創(chuàng)新中青年領(lǐng)軍人才、江蘇省“333高層次人才培養(yǎng)工程”第二層次培養(yǎng)對象（中青年領(lǐng)軍人才），并入選2020年度“南京市科技頂尖專家集聚計(jì)劃”）。
 

感謝南京農(nóng)業(yè)大學(xué)人工智能學(xué)院翟肇裕副教授等在項(xiàng)目開展中提供的建議。
 

論文鏈接

https://doi.org/10.34133/2022/9757948
 

推薦閱讀

Plant Phenomics專刊征稿 | 面向時(shí)間序列表型的近端感知和圖像分析前沿

Plant Phenomics �？�發(fā)布會 | 面向時(shí)間序列表型的近端感知和圖像分析前沿

Global Wheat Head Detection 2021: An Improved Dataset for Benchmarking Wheat Head Detection Methods

https://doi.org/10.34133/2021/9846158

Plant Phenomics | GWHD_2021：改進(jìn)后的全球麥穗檢測數(shù)據(jù)集

Panicle-3D: Efficient phenotyping tool for precise semantic segmentation of rice panicle point cloud

https://doi.org/10.34133/2021/9838929

Plant Phenomics | Panicle-3D：水稻穗點(diǎn)云精確語義分割的高效表型工具

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會、�？�發(fā)布會等高質(zhì)量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群
 

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進(jìn)會（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄。2021年中科院期刊分區(qū)表影響因子5.706，位于農(nóng)藝學(xué)、植物科學(xué)兩個(gè)小類一區(qū)，遙感小類二區(qū)，生物大類一區(qū)（Top期刊）。2020年入選中國科技期刊卓越行動計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。

特邀作者：孫壯壯

編輯：王平

審核：尹歡、孔敏