Desarrollo e implementacion en FPGA de redes neuronales convolucionales para clasificacion de imágenes satelitales

Abstract

This thesis explores the deployment of a Convolutional Neural Network (CNN) on an Field-Programmable Gate Array (FPGA) platform for efficient, real-time processing of satellite imagery. The primary motivation is to reduce dependency on ground-based computation by enabling on-board inference, thereby minimizing data transfer and improving energy efficiency. However, this approach presents significant conceptual and hardware implementation challenges. The development process began with the implementation of a test CNN model to validate the workflow. This involved training and quantizing the network, exporting it to the Quantized Open Neural Network Exchange format (QONNX) format, and generating a hardware-synthesizable IP core using High-Level Synthesis for Machine Learning (hls4ml), which was finally implemented onto the FPGA using Vitis HLS. Subsequently, a comprehensive preprocessing study was conducted to evaluate the impact of various input transformations on model performance and hardware efficiency. Based on these insights, an optimized final CNN architecture was selected and trained. The resulting system demonstrates the feasibility of deploying deep learning models on reconfigurable hardware. The model was implemented on an FPGA, specifically the PYNQ-Z1 development board, highlighting its practical viability and potential for enabling efficient, on-board inference in space environments.

Esta tesis explora el despliegue de una Red Neuronal Convolucional (CNN) en una plataforma FPGA para el procesamiento eficiente y en tiempo real de im´agenes satelitales. La motivaci´on principal es reducir la dependencia del procesamiento en tierra al habilitar inferencia a bordo, minimizando as´ı la transferencia de datos y mejorando la eficiencia energ´etica. Sin embargo, este enfoque presenta desaf´ıos conceptuales y de implementaci´on en hardware significativos. El proceso de desarrollo comenz´o con la implementaci´on de un modelo de prueba CNN para validar el flujo de trabajo. Esto implic´o entrenar y cuantizar la red, exportarla al est´andar Formato Quantizado de ONNX (QONNX), y generar un n´ucleo IP sintetizable en hardware utilizando hls4ml, que finalmente fue implementado en la FPGA mediante Vitis HLS. Posteriormente, se llev´o a cabo un estudio exhaustivo de preprocesamiento para evaluar el impacto de diversas transformaciones de entrada en el desempe˜no del modelo y la eficiencia del hardware. Bas´andose en estos resultados, se seleccion´o y entren´o una arquitectura final optimizada de CNN. El sistema resultante demuestra la viabilidad de desplegar modelos de aprendizaje profundo en hardware reconfigurable. El modelo fue implementado en una FPGA, espec´ıficamente en la placa de desarrollo PYNQ-Z1, destacando su viabilidad pr´actica y su potencial para permitir inferencia eficiente a bordo en entornos espaciales.