Evaluación de escenas generadas con 3D Gaussian Splatting en un espacio tridimensional muestreado por el método de Monte Carlo.

Abstract

Actualmente, en producci´on virtual, las t´ecnicas respaldadas por inteligencia artificial desempe˜nan un papel fundamental en la generaci´on eficiente y econ´omica de escenas. Una de las tecnolog´ıas que est´a formando parte del estado del arte es 3D Gaussian Splatting. No obstante, esta t´ecnica presenta un problema que consiste en que cuando se renderiza una imagen que no ha sido vista anteriormente por el modelo, la calidad de la reconstrucci´on se puede ver afectada considerablemente. Por dicha raz´on, este proyecto pretende realizar un estudio para identificar ´areas o espacios fuera de las poses originales de c´amara donde la escena logra un rendimiento razonable, cumpliendo as´ı con los est´andares necesarios para su aplicaci´on en la industria cinematogr´afica y de producci´on virtual. Para ello, este TFG plantea lo siguiente: partiendo de las poses de c´amara originales obtenidas de las im´agenes contenidas en el conjunto de datos, se realizar´a un muestreo del espacio 3D a trav´es del m´etodo de Monte Carlo, generando as´ı nuevas poses de c´amara. Posteriormente, usando m´etricas perceptuales como SSIM y LPIPS, evaluaremos el renderizado de la escena desde estas nuevas perspectivas, estableciendo un umbral que nos permita detectar qu´e zonas de la escena podr´ıan utilizarse en un proceso de producci´on virtual. Este trabajo no solo busca superar las limitaciones actuales en la evaluaci´on de escenas tridimensionales generadas mediante 3D Gaussian Splatting, sino que tambi´en pretende establecer una metodolog´ıa robusta y precisa para medir la calidad de las nuevas vistas, contribuyendo as´ı a la mejora continua de los procesos de producci´on virtual.

Currently, in virtual production, techniques supported by artificial intelligence play a fundamental role in the efficient and cost-effective generation of scenes. One of the technologies that is part of the state of the art is 3D Gaussian Splatting. However, this technique presents a problem in that when rendering an image that has not been seen before by the network, the quality of the reconstruction can be significantly affected. For this reason, this project aims to conduct a study to identify areas or spaces outside of the original camera poses where the scene achieves reasonable performance, thus meeting the necessary standards for its application in the film and virtual production industry. To achieve this, this bachelor’s thesis proposes the following: Starting from the original camera poses obtained from the images contained in the dataset, a sampling of the 3D space will be performed using the Monte Carlo method, thus generating new camera poses. Subsequently, using perceptual metrics such as SSIM and LPIPS, we will evaluate the rendering of the scene from these new perspectives, establishing a threshold that allows us to detect which areas of the scene could be used in a virtual production process. This work not only seeks to overcome the current limitations in the evaluation of threedimensional scenes generated using 3D Gaussian Splatting but also aims to establish a robust and accurate methodology for measuring the quality of the new views, thereby contributing to the continuous improvement of virtual production processes.