使用生成对抗模型创建基于田间的玉米穗数据方法Tasse...

使用生成对抗模型创建基于田间的玉米穗数据方法TasselGAN简介

基于田间的植物表型分析是在植物的整个生长周期和自然生长环境中研究所需植物性状的过程。对所需性状的观察会使用多种传感器（如相机等）来进行，并且需要处理的数据量可能会非常大。多种成像技术和机器学习算法的出现，已使基于图像的高通量表型分析算法得以发展。然而，不受控的环境变量给此类方法带来了巨大的挑战。

根据国际植物表型组织进行的植物表型调查，结果显示对田间高通量表型系统的需求有所增加，且对这类系统感兴趣的主要是那些关于小麦和玉米的研究。玉米作为一种高产作物，为了研究如何提高产量及产量相关性状，人们已进行了大量的表型鉴定。穗（玉米的雄花）结构是玉米植株的重要特征之一，在授粉过程中发挥着重要的作用。但是，可用于高通量机器学习表型分析的数据集仍存在局限性，不是基于实验室环境就是缺少细节化的玉米穗信息。由于机器学习算法的优良性能依赖于一个全面的训练数据集，因此上述的数据集局限性是一个值得思考的问题。

为了解决训练数据有限的问题，一些数据增强技术和其他方法（如弱监督和基于主动学习的算法）已得到了使用。对于增加图像数据，目前常用的方法是采用传统数据增强技术（如几何变换、改变颜色和亮度等），然而这些方法可能只能够使得训练数据样本产生很有限的变化。另外，使用生成式模型学习训练数据的分布，能够创建与训练数据相似却又前所未见的新样本。

2020年8月，印度理工学院计算机与电子工程学院的 Snehal Shete 等在Plant Phenomics发表了题为TasselGAN: An Application of the Generative Adversarial Model for Creating Field-Based Maize Tassel Data的研究论文。该文章中，论文作者对生成式方法尤其是生成式对抗网络(GAN)模型(Figure 1)的演变和评价进行了研究，指出生成式网络目前已被用在许多高级的主动学习方法中。

目前，已有一些研究使用了弱监督或者基于主动学习的方法，还进行了合成植物数据的工作，例如：在无人机拍摄的图像中使用弱监督方法对高粱顶端进行检测和计数；或者使用基于条件GAN的方法，以叶片数量为条件生成拟南芥数据样本等等。

为了进一步研究合成植物数据，并将其扩展到田间条件下更复杂的表型任务，该论文提出了TasselGAN，一种基于田间的玉米穗数据集生成方法。使用该方法生成的数据集由以天空为背景的玉米穗图像组成，每张图像中包含一个玉米穗。前景玉米穗和背景天空数据分别由各自的深度卷积生成式对抗网络(DC-GAN)变体(Figure 3)进行训练(Figure 2, Figure 5)并生成(Figure 7)，之后合并在一起形成输出图像(Figure 6(d))。同时，可用于分割生成数据中的玉米穗的蒙版(Figure 6(b))也会被创建。此外，该论文还提供了所生成数据的定量(Figure 17)和视觉质量(Figure 15, Figure 16, Table 1)评估结果。

Figure 1: Basic block diagram of the generative adversarial network (GAN).

Figure 2: Maize tassel training dataset samples.

Figure 3: Modified generator architecture for maize tassel generation.

Figure 4: Training data for sky patch generation.

Figure 5: Steps for synthetic generation of field-based maize tassel data.

Figure 6: Generation results.

Figure 7: Experimental set-up of real vs. generated image identification.

Figure 8: Examples from image similarity experiment.

Figure 9: Width vs. height scatter plot showing training and generated tassel data.