Los modelos de aprendizaje profundo han revolucionado el modelado de plantas al automatizar la extracción de rasgos y características de las plantas a partir de imágenes. Estos datos de alto rendimiento permiten a los investigadores analizar rasgos complejos de las plantas, como patrones de crecimiento y susceptibilidad a enfermedades, de manera más eficiente.

Los modelos de aprendizaje profundo deben entrenarse utilizando diversas imágenes para desarrollar representaciones sólidas y generalizadas. Sin embargo, obtener este tipo de datos es un proceso que requiere mucho tiempo y recursos. Además de realizar experimentos, implica la recopilación meticulosa de volúmenes sustanciales de imágenes de alta calidad, que luego deben segmentarse y almacenarse adecuadamente. Además, las imágenes deben estar anotadas, donde se agrega a cada archivo información específica sobre los objetos, regiones o atributos representados en ellas. Este paso es crucial para permitir que los algoritmos comprendan y aprendan de los datos de manera efectiva.

Para superar la escasez de datos de entrenamiento, los investigadores han explorado el uso de la generación de datos sintéticos, que implica la creación de imágenes de plantas artificiales que imitan datos del mundo real. Los datos sintéticos pueden ayudar a entrenar modelos de aprendizaje profundo de manera más efectiva al proporcionar conjuntos de datos grandes y diversos.

Un nuevo artículo publicado en in silico Plantas de Dirk Helmrich, estudiante de doctorado en Forschungszentrum Jülich y la Universidad de Islandia, y colegas introduce un marco llamado Synavis que genera datos sintéticos de plantas y se conecta y comunica directamente con marcos de capacitación de aprendizaje profundo.

Una figura con una explicación de cómo se simulan las plantas en CPlantBox en la parte superior. Primero, la parametrización del modelo utiliza parámetros de mediciones directas. Luego, el modelo simula una imagen 2D de una planta. Por último, la planta se reconstruye con geometría para crear una imagen en 3D. En la parte inferior hay ejemplos de entornos fotorrealistas renderizados con Unreal Engine. Son imágenes de un campo con un ambiente lluvioso, matutino, con niebla o soleado.
Las plantas individuales se simulan en CPlantBox utilizando datos medidos. Su arquitectura está definida por información topológica y geométrica en CPlantBox. Unreal Engine utiliza estos datos para producir representaciones fotorrealistas de las plantas dentro de un entorno virtual y es capaz de aumentar los datos de la escena.

Synavis se compone de dos componentes: un modelo de planta funcional-estructural (FSPM) y Unreal Engine.

Los FSPM simulan una morfología vegetal realista, imitando diversas dinámicas de desarrollo de las plantas en condiciones ambientales específicas. La FSPM CPlantBox se utiliza para generar datos estructurales de plantas similares a gráficos mediante algoritmos. Luego se utiliza un módulo de visualización para producir plantas 3D a partir de los datos de CPlantBox.

A continuación, Motor irreal, un motor gráfico capaz de realizar renderizado fotorrealista, se utiliza para generar representaciones visuales de las plantas dentro de un entorno virtual. Unreal Engine posee la capacidad de aumentar los datos de la escena, incluida la posición, la densidad, la edad y la iluminación de la planta, generando así una variedad de variaciones de imagen.

Una descripción general en vídeo de Synavis creada por Dirk Helmrich.

Los autores probaron la validez de los datos obtenidos con Synavis comparándolos con datos del mundo real de un experimento realizado anteriormente. Para crear datos simulados, se configuró CPlantBox para replicar virtualmente el experimento. Las imágenes del experimento se ingresaron en CPlantBox y las geometrías de plantas individuales simuladas se insertaron en UE y se ampliaron a escala de campo. Luego compararon las medidas de la longitud de la lámina de las hojas de las plantas reales en el experimento y las plantas simuladas. Las medidas obtenidas a partir de las imágenes sintéticas estaban estrechamente relacionadas con las del experimento real.

Las imágenes resultantes se pueden integrar directamente con un modelo de aprendizaje profundo con fines de capacitación utilizando Synavis. Durante el entrenamiento, el modelo aprende a reconocer patrones, características y relaciones dentro de las imágenes. Al exponer el modelo a una amplia gama de variaciones de imágenes, se vuelve capaz de generalizar y comprender las estructuras y características subyacentes de los datos visuales.

“Creemos que los datos sintéticos pueden ser de gran ayuda para combatir la escasez de datos. Con Synavis, hemos desarrollado un conjunto de herramientas que conecta marcos de trabajo muy potentes de forma individual. Lo más importante es que queríamos idear una forma de comprobar qué tan bien podemos replicar los datos, de una manera que sea más práctica: sometiendo nuestras imágenes virtuales a canales de análisis de datos típicos y verificando si terminamos exitosamente donde comenzamos. ", explicó Helmrich.

Una figura con tres paneles. A la derecha hay una imagen en 3D de una planta sintética. En el centro hay una imagen similar de una imagen del mundo real de una planta. A la derecha hay una comparación de las longitudes de las hojas entre las imágenes sintéticas y los datos experimentales. La figura muestra que los datos siguen las mismas tendencias, pero que los valores de los datos sintéticos son un poco más bajos.
Comparación del proceso de extracción de parámetros entre datos sintéticos y del mundo real y datos resultantes.

Este no es el primer marco de este tipo, pero tiene varias ventajas sobre otros enfoques. “Synavis conecta marcos proporcionando una plataforma para hablar entre sí. El acoplamiento es muy sencillo, estandarizado y tampoco requiere almacenamiento de datos. La simulación, el mundo virtual que se representa y los conjuntos de herramientas de aprendizaje profundo existen simultáneamente. Si el modelo predice correctamente una vez y se equivoca en otra, se puede interpolar entre esos estados, siempre con un entorno virtual cohesivo en el medio”, concluyó Helmrich.

LEE EL ARTÍCULO:

Dirk Norbert Helmrich, Felix Maximilian Bauer, Mona Giraud, Andrea Schnepf, Jens Henrik Göbbert, Hanno Scharr, Ebba Þora Hvannberg, Morris Riedel, Un proceso escalable para crear conjuntos de datos sintéticos a partir de modelos de plantas funcionales y estructurales para el aprendizaje profundo, in silico Plants, Volumen 6, Número 1, 2024, diad022, https://doi.org/10.1093/insilicoplants/diad022

El código utilizado en Helmrich et. Alabama. (2023) es de código abierto y está disponible bajo el Synavis y SynavisUE repositorios con un ejemplo disponible en Ejemplo de SynavisUE. El código oficial de CPlantBox se puede encontrar en en la página de GitHub del instituto. La rama asociada con este artículo se ha bifurcado para esta página.