Control y análisis de la densificación en 3D Gaussian Splatting

Abstract

El control de densificación en tecnologías, como es 3D Gaussian Splatting (3DGS), es fundamental para lograr representaciones visuales precisas y eficientes de escenas que pueden llegar a ser muy complejas. Este proceso es bastante relevante, sobre todo en entornos de trabajo donde la calidad visual y la eficiencia computacional son críticas, como en simulaciones científicas, efectos visuales y videojuegos. Sin embargo, uno de los retos más significativos en 3DGS es la gestión eficiente de la densidad de los puntos en el espacio, lo cual puede afectar considerablemente la calidad del renderizado y el rendimiento del sistema. Este proyecto de TFG aborda este problema mediante la propuesta de un nuevo enfoque para controlar la densificación de puntos en un modelo basado en parches utilizando Python. Este enfoque no solo busca reducir el costo computacional asociado con el procesamiento de grandes volúmenes de datos sino también mantener una calidad suficiente para su correcta manejabilidad. A través de este trabajo, se propone modificar el entrenamiento de 3DGS para que sea basado en parches, además de la adición de técnicas que modifican la densidad de los puntos en función de criterios como la cantidad de gaussianas de la escena u otras propiedades de estas, como pueden ser su posición o su opacidad. Una vez implementado el modelo, se diseñaría una serie de experimentos para evaluar y comparar el rendimiento de la modificación propuesta frente al 3D Gaussian Splatting convencional. La comparativa se centrará en medidas cuantitativas como LPIPS, SSIM, PSNR, el número de gaussianas utilizadas y el tiempo de ejecución. Este TFG juega un papel muy importante en diversos campos en donde la capacidad para generar imágenes de alta calidad de manera rápida y eficiente no solo optimiza los flujos de trabajo, sino que también eleva el nivel de la experiencia visual ofrecida a los usuarios finales.

The control of densification in technologies such as 3D Gaussian Splatting (3DGS) is fundamental for achieving precise and efficient visual representations of scenes that can be highly complex. This process is especially relevant in work environments where visual quality and computational efficiency are critical, such as in scientific simulations, visual effects, and video games. However, one of the most significant challenges in 3DGS is the efficient management of point density in space, which can considerably affect rendering quality and system performance. This final year project addresses this problem by proposing a new approach to control point densification in a patch-based model using Python. This approach not only aims to reduce the computational cost associated with processing large volumes of data but also to maintain sufficient quality for proper manageability. Through this work, it is proposed to modify the training of 3DGS to be patch-based, in addition to incorporating techniques that adjust the density of the points based on criteria such as the number of gaussians in the scene or other properties of these, such as their position or opacity. Once the model is implemented, a series of experiments will be designed to evaluate and compare the performance of the proposed modification against conventional 3D Gaussian Splatting. The comparison will focus on quantitative measures such as LPIPS, SSIM, PSNR, the number of gaussians used, and execution time. This final year project plays a very important role in various fields where the ability to generate high-quality images quickly and efficiently not only optimizes workflows but also enhances the visual experience offered to end users