Para modelar cómo crecen y se desarrollan las plantas de acuerdo con sus genotipos, fenotipos, ambiente y/o manejo, el uso de un dosel tridimensional (3D) realista ayuda a refinar las predicciones de intercepción de luz y fotosíntesis.

El desarrollo de la técnicas de imagen 3D para estimar la estructura del dosel, el crecimiento de los brotes y la biomasa se ha expandido durante los últimos años. Sin embargo, asegurar suficientes datos escaneados en 3D requiere mucho tiempo debido a la necesidad de procesar manualmente los datos. En simulaciones a gran escala, las reconstrucciones de una sola planta o de pocas plantas a menudo se duplican por conveniencia y, por lo tanto, carecen de diversidad fenotípica. Ahora se pueden usar modelos generativos profundos para aprender y crear datos 3D realistas.

Dr. Jung Eek Son, profesor de ciencias de las plantas en la Universidad Nacional de Seúl, y colegas generó modelos de hojas y extrajo sus rasgos usando modelos generativos profundos. Los autores escanearon plantas de pimiento en varias etapas de desarrollo utilizando un escáner 3D portátil de alta resolución. Las nubes de puntos se obtuvieron de los escaneos, luego se usaron para entrenar los modelos generativos profundos que podrían generar hojas.

Esta imagen es del flujo de trabajo desde el escaneo de hojas en 3D hasta la generación de hojas. En el primer cuadro, se muestran ocho hojas con pecíolos escaneados desde arriba. Una flecha desde este cuadro muestra que los datos se dividen en un conjunto de entrenamiento para el entrenamiento del modelo y un conjunto de validación para la validación del modelo. A partir de aquí, el modelo está optimizado. Luego se seleccionó el modelo que simuló las mejores hojas creadas al azar y que creó hojas con los rasgos deseados manipulando el espacio latente. Para representar esto, una caja contiene 8 hojas generadas aleatoriamente. Una flecha doble del cuadro demuestra que la interpolación lineal condujo a cambios graduales en la forma de la hoja, y las operaciones aritméticas en el espacio latente agregaron o restaron características de las hojas existentes. Los nuevos rasgos se muestran en un cuadro: siete hojas vistas desde la parte superior y los lados que muestran cambios en el tamaño, la inclinación y la curvatura de las hojas seleccionadas de nubes de puntos generadas aleatoriamente. El segundo cuadro muestra la edición de nubes de puntos hoja mediante aritmética simple en el espacio latente. Se impartieron varios rasgos, como tamaño, inclinación y curvatura, a las hojas generadas.
Flujo de trabajo desde el escaneo de hojas en 3D hasta la generación de hojas.

Los autores compararon hojas generadas utilizando tres modelos generativos profundos: autocodificador variacional (VAE), red antagónica generativa (GAN) y GAN de espacio latente.

Mientras que un VAE toma datos sin procesar de una imagen, los codifica con una resolución más baja y luego los reconstruye, un GAN genera una imagen a partir del ruido y luego discrimina la imagen en función de los datos sin procesar para determinar si es real o falso. Una GAN de espacio latente (L-GAN) tiene la misma estructura básica y método de entrenamiento que una GAN, pero utiliza variables latentes: características a partir de las cuales el sistema de aprendizaje podría detectar o clasificar patrones en la entrada, en lugar de datos sin procesar.

Se muestran tres arquitecturas de modelos generativos profundos. En el primer panel, VAE, el decodificador actúa como generador, que hereda las estructuras de la AE. En el segundo panel, GAN, un generador y un discriminador generan hojas a partir de ruido aleatorio. En el tercer panel, L-GAN, tanto el generador como el discriminador del espacio latente operan sobre las variables latentes.
Arquitecturas de los tres modelos generativos profundos. 

Los modelos generativos profundos crearon fenotipos 3D fiables de hojas de pimiento. Entre los modelos generativos profundos, L-GAN mostró el mayor rendimiento en la generación de hojas realistas. “Comparamos varios modelos generativos para la generación de hojas. De esta manera, la forma de las hojas podría controlarse con interpolación lineal y operaciones aritméticas simples. Es decir, el modelo generativo incluye rasgos morfológicos en algún lugar de los parámetros del modelo. El primer paso hacia el uso práctico de modelos generativos profundos se logró para las creaciones autónomas de modelos de plantas en 3D sin una extracción de características complicada”, dice Son.

Si bien la forma 3D de las hojas vistas desde arriba se usó para entrenar los modelos generativos profundos, los modelos también pudieron generar imágenes para evaluar variables latentes como la inclinación y la curvatura de los datos.

Resultados de interpolación del tamaño, inclinación y curvatura de las hojas generadas y las distribuciones de fenotipos de hojas. Se impartieron varios rasgos, como tamaño, inclinación y curvatura, a las hojas generadas.
Imágenes creadas usando variables latentes.

Son concluye: "Los modelos generativos profundos pueden parametrizar y generar rasgos morfológicos en modelos de plantas 3D digitalizados y agregar realismo y diversidad a los estudios y modelos de fenotipado de plantas".

LEE EL ARTÍCULO:

Taewon Moon, Hayoung Choi, Dongpil Kim, Inha Hwang, Jaewoo Kim, Jiyong Shin, Jung Eek Son, construcción autónoma de modelos de hojas 3D parametrizables a partir de hojas de pimiento dulce escaneadas con redes generativas profundas, in silico Plants, Volumen 4, Número 2, 2022, diac015, https://doi.org/10.1093/insilicoplants/diac015