Desarrollo de una plataforma de percepcion estereoscopica de profundidad basada en SOPC

Abstract

En este Trabajo Fin de Grado se presenta el desarrollo de una plataforma hardware/software orientado a la implementación de un sistema que permita extraer información tridimensional de entornos reales mediante técnicas de visión artificial basadas en estereopsis. La visión estereoscópica es una técnica eficiente para la extracción de información de profundidad a partir del análisis de la disparidad entre imágenes capturadas desde diferentes posiciones. La plataforma se basa en la placa de prototipado PYNQ-Z2 que integra un APSoC (All Programmable System on Chip) de la familia Zynq-7000 de AMD/Xilinx. Esta familia de dispositivos combina un procesador ARM y lógica programable FPGA en un solo chip, permitiendo una integración flexible de los componentes de la plataforma. El proyecto se centra en desarrollar un sistema que incorpore un array de dos cámaras OV5640 conectadas mediante el protocolo SCCB, con el fin de generar el mapa de disparidad abordado con la técnica de emparejamiento local denominada block matching. El proceso completo implicará las etapas críticas de captura y alineación de imágenes en tiempo real sobre el dispositivo Zynq-7000, la implementación del algoritmo de emparejamiento estéreo local basado en la técnica de Block Matching (SLBM), la calibración y rectificación geométrica de las cámaras (realizada offline usando librerías como OpenCV), y finalmente la generación de un mapa de profundidad. La solución propuesta contempla adicionalmente el diseño de una PCB específica para la conexión del array de cámaras con la placa de prototipado. Este componente, sumado a los núcleos IP personalizados y a la infraestructura hardware/software, permitirá la implementación de un prototipo que prioriza la flexibilidad de configuración. Además, se elaborará un conjunto de pruebas que evalúen la precisión de la reconstrucción estereoscópica y la robustez del sistema ante diferentes condiciones de iluminación o movimiento. La implementación se llevará a cabo mediante herramientas específicas del entorno de AMD/Xilinx, incluyendo Vivado para la integración de los elementos de la arquitectura de la plataforma y Vitis HLS para el desarrollo de bloques aceleradores hardware. La biblioteca Vitis Vision será clave para facilitar la implementación de algoritmos de procesamiento de imágenes descritos en lenguaje C/C++, simplificando así su conversión a hardware sintetizable sobre FPGA. Además, OpenCV se utilizará para los procesos de calibración y rectificación de imágenes, garantizando la calidad y alineación correcta previa al procesamiento en tiempo real. El resultado esperado es una plataforma hardware/software funcional, capaz de capturar y procesar imágenes estereoscópicas de manera eficiente, con aplicaciones potenciales en diversos campos tecnológicos y con un análisis de rendimiento y precisión.

This Final Degree Project presents the development of a hardware/software platform aimed at implementing a system capable of extracting three-dimensional information from real environments through computer-vision techniques based on stereopsis. Stereoscopic vision is an efficient technique for obtaining depth information by analyzing the disparity between images captured from different positions. The platform is built around the PYNQ-Z2 prototyping board, which integrates an APSoC (All-Programmable System-on-Chip) from the AMD/Xilinx Zynq-7000 family. These devices combine an ARM processor with FPGA programmable logic on a single chip, enabling flexible integration of the platform’s components. The project focuses on developing a system that incorporates an array of two OV5640 cameras connected via the SCCB protocol, in order to generate a disparity map using the local matching technique known as block matching. The complete process will include the critical stages of real-time image capture and alignment on the Zynq-7000 device, implementation of the stereo local matching algorithm based on Block Matching (SLBM), offline calibration and geometric rectification of the cameras with libraries such as OpenCV, and finally the generation of a depth map. The proposed solution also involves designing a specific PCB to connect the camera array to the prototyping board. Together with custom IP cores and the hardware/software infrastructure, this will enable the implementation of a prototype that prioritizes configuration flexibility. A set of tests will be developed to evaluate the accuracy of the stereoscopic reconstruction and the robustness of the system under different lighting or motion conditions. Implementation will use AMD/Xilinx tools, including Vivado for integrating the platform’s architectural elements and Vitis HLS for developing hardware accelerator blocks. The Vitis Vision library will be essential for implementing image-processing algorithms described in C/C++, simplifying their conversion to synthesizable hardware on FPGA. OpenCV will also be used for image calibration and rectification, ensuring quality and correct alignment prior to real-time processing. The expected outcome is a functional hardware/software platform capable of efficiently capturing and processing stereoscopic images, with potential applications in various technological fields and accompanied by an analysis of performance and accuracy.