Plant Phenomics | TasselGAN：一種使用生成對抗模型創(chuàng)建基于田間的玉米穗數(shù)據(jù)的方法

基于田間的植物表型分析是在植物的整個生長周期和自然生長環(huán)境中研究所需植物性狀的過程。對所需性狀的觀察會使用多種傳感器（如相機(jī)等）來進(jìn)行，并且需要處理的數(shù)據(jù)量可能會非常大。多種成像技術(shù)和機(jī)器學(xué)習(xí)算法的出現(xiàn)，已使基于圖像的高通量表型分析算法得以發(fā)展。然而，不受控的環(huán)境變量給此類方法帶來了巨大的挑戰(zhàn)。

根據(jù)國際植物表型組織進(jìn)行的植物表型調(diào)查，結(jié)果顯示對田間高通量表型系統(tǒng)的需求有所增加，且對這類系統(tǒng)感興趣的主要是那些關(guān)于小麥和玉米的研究。玉米作為一種高產(chǎn)作物，為了研究如何提高產(chǎn)量及產(chǎn)量相關(guān)性狀，人們已進(jìn)行了大量的表型鑒定。穗（玉米的雄花）結(jié)構(gòu)是玉米植株的重要特征之一，在授粉過程中發(fā)揮著重要的作用。但是，可用于高通量機(jī)器學(xué)習(xí)表型分析的數(shù)據(jù)集仍存在局限性，不是基于實(shí)驗(yàn)室環(huán)境就是缺少細(xì)節(jié)化的玉米穗信息。由于機(jī)器學(xué)習(xí)算法的優(yōu)良性能依賴于一個全面的訓(xùn)練數(shù)據(jù)集，因此上述的數(shù)據(jù)集局限性是一個值得思考的問題。

為了解決訓(xùn)練數(shù)據(jù)有限的問題，一些數(shù)據(jù)增強(qiáng)技術(shù)和其他方法（如弱監(jiān)督和基于主動學(xué)習(xí)的算法）已得到了使用。對于增加圖像數(shù)據(jù)，目前常用的方法是采用傳統(tǒng)數(shù)據(jù)增強(qiáng)技術(shù)（如幾何變換、改變顏色和亮度等），然而這些方法可能只能夠使得訓(xùn)練數(shù)據(jù)樣本產(chǎn)生很有限的變化。另外，使用生成式模型學(xué)習(xí)訓(xùn)練數(shù)據(jù)的分布，能夠創(chuàng)建與訓(xùn)練數(shù)據(jù)相似卻又前所未見的新樣本。

2020年8月，印度理工學(xué)院計(jì)算機(jī)與電子工程學(xué)院的 Snehal Shete 等在Plant Phenomics發(fā)表了題為TasselGAN: An Application of the Generative Adversarial Model for Creating Field-Based Maize Tassel Data的研究論文。該文章中，論文作者對生成式方法尤其是生成式對抗網(wǎng)絡(luò)(GAN)模型(Figure 1)的演變和評價進(jìn)行了研究，指出生成式網(wǎng)絡(luò)目前已被用在許多高級的主動學(xué)習(xí)方法中。

目前，已有一些研究使用了弱監(jiān)督或者基于主動學(xué)習(xí)的方法，還進(jìn)行了合成植物數(shù)據(jù)的工作，例如：在無人機(jī)拍攝的圖像中使用弱監(jiān)督方法對高粱頂端進(jìn)行檢測和計(jì)數(shù)；或者使用基于條件GAN的方法，以葉片數(shù)量為條件生成擬南芥數(shù)據(jù)樣本等等。

為了進(jìn)一步研究合成植物數(shù)據(jù)，并將其擴(kuò)展到田間條件下更復(fù)雜的表型任務(wù)，該論文提出了TasselGAN，一種基于田間的玉米穗數(shù)據(jù)集生成方法。使用該方法生成的數(shù)據(jù)集由以天空為背景的玉米穗圖像組成，每張圖像中包含一個玉米穗。前景玉米穗和背景天空數(shù)據(jù)分別由各自的深度卷積生成式對抗網(wǎng)絡(luò)(DC-GAN)變體(Figure 3)進(jìn)行訓(xùn)練(Figure 2, Figure 5)并生成(Figure 7)，之后合并在一起形成輸出圖像(Figure 6(d))。同時，可用于分割生成數(shù)據(jù)中的玉米穗的蒙版(Figure 6(b))也會被創(chuàng)建。此外，該論文還提供了所生成數(shù)據(jù)的定量(Figure 17)和視覺質(zhì)量(Figure 15, Figure 16, Table 1)評估結(jié)果。

Figure 1: Basic block diagram of the generative adversarial network (GAN).

Figure 2: Maize tassel training dataset samples.

Figure 3: Modified generator architecture for maize tassel generation.

Figure 4: Training data for sky patch generation.

Figure 5: Steps for synthetic generation of field-based maize tassel data.

Figure 6: Generation results.

Figure 7: Experimental set-up of real vs. generated image identification.

Figure 8: Examples from image similarity experiment.

Figure 9: Width vs. height scatter plot showing training and generated tassel data.

論文鏈接
https://spj.sciencemag.org/journals/plantphenomics/2020/8309605/

——推薦閱讀——

High-Throughput Measurements of Stem Characteristics to Estimate Ear Density and Above-Ground Biomass

https://spj.sciencemag.org/journals/plantphenomics/2019/4820305/

用于估計(jì)穗密度和地上生物量的莖特征高通量測量方法 | Article

An exploration of deep-learning based phenotypic analysis to detect spike regions in field conditions for UK bread wheat

https://spj.sciencemag.org/journals/plantphenomics/2019/7368761/

基于深度學(xué)習(xí)的識別田間條件下小麥的穗?yún)^(qū)域的表型分析方法 | Article

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進(jìn)會（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行，是Science合作出版的第二本期刊。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被CABI、CNKI和DOAJ數(shù)據(jù)庫收錄。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。

撰稿：王棟（實(shí)習(xí)）

編輯：舒秀（實(shí)習(xí)）、孔敏

審核：尹歡