Generación de datos sintéticos en una escena pseudoaleatoria utilizando modelos NeRF

Abstract

El modelado 3D de objetos translúcidos y transparentes es un reto para la fotogrametría tradicional, un claro ejemplo de este tipo de productos son los que aparecen en supermercados donde el envoltorio es translúcido para permitir ver el producto interior. Esta limitación introduce una gran problemática para los comercios que utilizan estas técnicas para la comprobación del estado de las mercancías, la visualización de su stock en plataformas digitales o simplemente poder hacer detección automática de los mismos. La utilización de herramientas basadas en Inteligencia Artificial está siendo revolucionaria en la creación de modelos 3D de objetos con reflejos especulares, como pueden ser los Neural Radiance Fields (NeRF). Esta propuesta de TFG propone la creación de datos sintéticos tridimensionales basados en modelos NeRF, acabando con las limitaciones comentadas anteriormente, y dispuestos en una escena donde éstos puedan interactuar de manera pseudoaleatoria con otros objetos. Este sistema de generación de datos sintéticos complejos permitirá una multitud de aplicaciones. En resumidas cuentas, este TFG permitirá crear modelos NeRF de múltiples objetos complejos, hacerlos interactuar en un simulador de física y generar datos sintéticos a partir de las interacciones de los mismos. Esto creará escenas complejas que posibilitarán el entrenamiento de otros modelos de Deep Learning como aquellos que realizan la detección de objetos a partir de datos, que, aunque siendo sintéticos, modelan de una forma más rica las posibles escenas a encontrar en casos reales de supermercados online entre otros.

Modelling 3D translucent or transparent objects could challenge traditional photogrammetry. As an example of this type of product, we have everyday objects found in supermarkets that are translucent to make the product’s interior visible. This limitation introduces a big problem in businesses which use this technique to check good’s status, stock visualization, or even automatic detection. Using tools based on Artificial Intelligence has been revolutionary in creating 3D models of objects with specular reflections, such as Neural Radiance Fields (NeRF). This project proposes generating synthetic tridimensional data based on NeRF models, breaking down the constraints mentioned above, and displaying them in a scene where these objects could interact with each other with a pseudo-random behavior. This generation system of complex synthetic data could be used in several applications. To sum up, this project allows the creation of NeRF models using multiple complex objects that interact in a physical simulator and generate synthetic data from the interaction with other entities. This will create complex scenes, allowing the training of other Deep Learning models, such as those that detect the objects from data that, although they are synthetic, model the possible scenes in a more prosperous way to find actual cases in online supermarkets, among others.