Contributions to hyperspectral acquisition and processing for UAV based systems

Abstract

Resulta evidente que los vehículos aéreos no tripulados, también conocidos como drones, actualmente tienen un papel importante en el mercado, ya que constituyen soluciones atractivas y asequibles para los usuarios que quieran hacer uso de los mismos como herramientas de ocio. No obstante, el valor añadido real que amplía el espectro de aplicaciones, viene determinado por la carga útil que pueden transportar, normalmente sensores y sistemas electrónicos o mecánicos. Estos permiten el uso de estos vehículos en diferentes áreas como agricultura, medioambiente, seguridad o mineralogía, por definir algunos ejemplos. Rara vez una única tecnología por sí sola es suficiente para resolver los problemas, y se requiere de una combinación de varias de ellas para alcanzar una solución más inteligente y productiva. Este es el caso de la tecnología hiperespectral, tradicionalmente embarcada a bordo de satélites y aviones para adquirir información de la superficie terrestre, obteniendo para cada píxel de la imagen una gran cantidad de información relacionada con las propiedades fisicoquímicas de la materia. La miniaturización de este tipo de sensores ha posibilitado su integración en drones a un coste muy inferior, dando como resultado una mejor resolución espacial y temporal. Sin embargo, para conseguir aprovechar todas las ventajas que estos sistemas pueden aportar a la aplicación en concreto, se tienen que llevar a cabo varios pasos. En esta Tesis doctoral, se propone una nueva metodología para usar tecnología hiperespectral en aplicaciones reales basadas en el uso de drones, tratando de reducir el espacio existente entre adquisición y procesamiento de imágenes hiperespectrales, y aplicando los resultados a un caso particular: la agricultura de precisión. Este documento presenta el proceso de construcción de una plataforma hiperespectral, detallando las dificultades encontradas por el camino y cómo han sido resueltas. En primer lugar, se ha desarrollado una plataforma de vuelo basada en un vehículo aéreo no tripulado y una cámara hiperespectral pushbroom VNIR, con el fin de adquirir imágenes sobre diferentes campos de cultivo. Asimismo, las imágenes capturadas son tratadas en una cadena de preprocesamiento para prepararlas para un posterior procesamiento encaminado a la extracción de información para la aplicación. Un algoritmo, denominado Line-by-Line Anomaly Detection (LbL-AD) ha sido desarrollado, con el fin de detectar anomalías en tiempo real en imágenes capturadas por sensores de tipo pushbroom. A su vez, un entorno de simulación hiperespectral ha sido creado para la generación de escenarios virtuales que son una fiel representación de la realidad y que tienen como objetivo, permitir la correcta validación de los algoritmos hiperespectrales. Esto es de especial relevancia en un ámbito como la agricultura, donde la disponibilidad para realizar pruebas es reducida debido al carácter estacional de las cosechas. Finalmente, la información recolectada durante todas las misiones de vuelo realizadas, ha sido procesada con algoritmos del estado del arte para obtener mapas de índices de vegetación, clasificación y de abundancia, que proporcionan información relacionada con el estado de salud de la cosecha, las posibles diferencias entre elementos presentes y posibles variantes de vegetación en un mismo terreno. Los experimentos realizados demuestran que la teledetección es mucho más que simplemente la observación terrestre de grandes extensiones de terreno cada cierto tiempo. El tablero ha cambiado considerablemente con la aparición de los vehículos aéreos no tripulados, y la posibilidad de customizar los sistemas, lo que ha permitido la utilización de esta tecnología en aplicaciones en tiempo real que requieren de respuestas inmediatas, complementando los métodos tradicionales de monitorización.

It results evident that Unmanned Aerial Vehicles (UAV), also known as drones, are playing an important role in today’s consumers market, as they are presently affordable for anyone who wants to enjoy them as a gaming device. However, the real added value that widens the spectrum of applications is based on its payload, normally sensors and other type of electronic and/or mechanical systems, permitting their use as a very valuable tool in different domains such as agriculture, environmental monitoring, security, construction or mineralogy, just to name some. However, it happens that rarely a standalone technology is sufficient to solve everyday problems, and the combination of some of them enriches these solutions making them smarter and productive. This is the case of hyperspectral technology, traditionally mounted on-board satellites and airplanes, acquiring Earth’s surface information and providing for each single pixel a huge amount of data related to the inner physical and chemical composition of matter. The miniaturization of this type of sensors has facilitated its integration in drones at a much lower cost, resulting in a better spatial and temporal resolution. Nonetheless, in order to exploit all the advantages that such hyperspectral flying platform could bring into a specific application, several steps need to be accomplished. In this sense, the main goal of this PhD thesis is the development of a methodology that fills the gap between hyperspectral technology and drones, facilitating the combination of both technologies and applying the resulted solution to the particular case of precision agriculture. This document conducts the reader to the process of setting up a hyperspectral flying platform, and details how the encountered difficulties have been solved. First, a UAV hyperspectral imaging system has been developed based on a VNIR pushbroom sensor for acquiring images over vegetation fields. Then, the raw captured bitstreams by the hyperspectral camera have been pre-processed in order to prepare the data sets for the ulterior image processing algorithms. Although there are many algorithm candidates to be included in the validation process, a new one named Line-by-Line Anomaly Detection (LbL-AD) has been developed since its inception to uncover anomalies as soon as they are captured by the hyperspectral pushbroom sensor. Testing such algorithms needs of a simulation environment able to generate virtual scenarios that are a faithful representation of reality. This created environment accelerates the testing process and permits the reproducibility of similar conditions whenever needed. This is especially interesting in the field of agriculture, where seasonal crops reduce enormously the number of tests to be performed within a year. Finally, the collected information throughout the performed flight missions is processed with state-ofthe-art algorithms to obtain vegetation indices, classification and abundance maps that provide information related to the health status of the cropping areas, the differences among elements and possible different vegetation variants contained in a scene. The accomplished experiments prove that remote sensing could be more than just earth monitoring of large surfaces from time to time. The scenario has changed considerably with the appearance of UAVs and the possibility of customizing the systems, which enables even the utilization of such technology in applications that demand real time executions for a rapid response.