用于水果三维重建的无监督域自适应体积回归算法在高通量表型中的应用

Plant Phenomics | GANana：用于水果三维重建的无监督域自适应体积回归算法

三维重建技术目前已广泛应用于高通量表型中，能够从一张或多张图像中提取出三维形态信息。以水果的三维模型为例，在三维信息中我们可以同时测量果实体积等多种表型性状，进而为果实尺寸估计和质量控制乃至作物精确育种提供技术上的支持。近年来，研究者一直尽力将不同的重建方法应用于水果表型中，但其中许多方法都依赖于昂贵的硬件外设，如激光扫描仪、激光雷达等。

近日，Plant Phenomics 在线发表了题为GANana: Unsupervised Domain Adaptation for Volumetric Regression of Fruit的研究论文。

在该文中，作者致力于实现单目三维重建，即从单张二维图像中还原出目标的三维结构，从而规避高昂的硬件成本并降低用户的使用门槛。与其他的计算机视觉研究一样，三维重建任务在大部分领域也依赖于高质量的大型数据集，且缺乏现成的训练数据。因此，该文章提出了一种用于三维重建的无监督域适应方法，标注图像仅存在于人工合成域中，并在模型训练时补充来自目标真实域的未标注数据集。

该文章使用体积回归网络(VRN)来解决三维重建问题(Figure 1)，并使用在三维建模工具Blender中人工构建的香蕉三维模型生成了包含25000对数据的训练集，之后通过生成对抗网络增强每张图像，并引入体积一致性损失来提高用实际图像进行三维重建时的性能(Figure 2)。该文章利用了计算机合成的方式降低了构建数据集所需的人工和时间成本，同时保证了在实际图像处理中的性能。

尽管该文重点介绍了如何从二维图像中重建香蕉的三维模型，但理论上来说该方法适用于其他任何植物品种和器官的三维重建任务。

Figure 1Results of our volumetric regression network. Output volumetric banana models resting on 2D input images.

Figure 2 The proposed volumetrically consistent CycleGAN (VCC) using our real banana dataset as a target.

论文链接

https://spj.sciencemag.org/journals/plantphenomics/2021/9874597/

——推荐阅读——

Robust Surface Reconstruction of Plant Leaves from 3D Point Clouds 

https://spj.sciencemag.org/journals/plantphenomics/2021/3184185/

Plant Phenomics | 基于植物叶片三维点云的稳健表面重建

MVS-Pheno: A Portable and Low-Cost Phenotyping Platform for Maize Shoots Using Multiview Stereo 3D Reconstruction 

https://spj.sciencemag.org/journals/plantphenomics/2020/1848437/

Plant Phenomics | 基于多视角三维重建的低成本、便携式玉米单株表型平台—MVS-Pheno

About Plant Phenomics

《植物表型组学》（Plant Phenomics）是由南京农业大学和美国科学促进会（AAAS）合作创办的英文学术期刊，于2019年1月正式上线发行，是Science合作出版的第二本期刊。采用开放获取形式，刊载植物表型组学交叉学科热点领域具有突破性科研进展的原创性研究论文、综述、数据集和观点。具体范围涵盖高通量表型分析的最新技术，基于图像分析和机器学习的表型分析研究，提取表型信息的新算法，作物栽培、植物育种和农业实践中的表型组学新应用，与植物表型相结合的分子生物学、植物生理学、统计学、作物模型和其他组学研究，表型组学相关的植物生物学等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等数据库收录。

说明：本文由《植物表型组学》编辑部负责组稿。

中文内容仅供参考，一切内容以英文原版为准。

撰稿人：王栋

编辑：赵瑜涵（实习）

审核：卞越、孔敏