Contributions to the development of hyperspectral imaging instrumentation and algorithms for medical applications targeting real-time performance

Abstract

Hyperspectral imaging is an emerging imaging modality originated in the remote sensing field that has expanded its application to other research and industrial areas in the past years. Hyperspectral images are composed by spatial and spectral information, conforming a three-dimensional matrix, where each spatial pixel is related to a vector of intensity light values that spans hundreds of different spectral wavelengths, conforming an almost continuous spectrum. In medical applications, hyperspectral imaging technology has been widely investigated to measure different tissue properties such as oxygen saturation, perfusion, water, melanin, etc. It has also used to discriminate between tumor and normal tissue in different organs, or for early disease detection. One major benefit of this technology is its potential use as a diagnostic and guidance tool in various medical applications, being a non-contact, non-ionizing and label-free imaging technique. This PhD dissertation explores the use of hyperspectral imaging to advance beyond the current state-of-the-art and demonstrates its feasibility in three different medical applications. First, an intraoperative hyperspectral acquisition system for brain surgical diagnostics and guidance was optimized to extend its capabilities and study the use of a wider spectral range to discriminate between tumor and normal brain tissue. Using this system, an in-vivo hyperspectral human brain image database was generated, and a new approach was proposed to perform spectral fusion of data obtained from two different hyperspectral cameras, covering the spectral range between 400 and 1,700 nm. Furthermore, using this database and the one acquired before the optimization in a previous research project, vascular enhanced maps were generated, and different analyses using spectral and spatial information were performed to detect and delineate brain tumors with a robust validation methodology using machine learning algorithms. The intraoperative system was validated using 61 hyperspectral images. Additionally, the identification of the blood vessels could help to reduce the number of classes to be differentiated by a classifier. The fusion approach led to classification maps that were more detailed and had fewer false positives than the maps prior to the fusion. Second, a customized dermatoscopic hyperspectral imaging prototype was developed to capture real-time data of in-vivo pigmented skin lesions, with the main goal of proposing a novel classification framework based on hyperspectral image segmentation and supervised classification. This study aimed to demonstrate, as a proof-of-concept, the potential use of hyperspectral imaging technology to assist dermatologists in the discrimination of benign and malignant pigmented skin lesions (including both melanoma and non-melanoma lesions) in routine clinical practice. The dermatoscopic prototype was validated on 76 hyperspectral images and it was able to segment the pigmented lesion, extract and classify the associated pixels to reduce the computational cost. In addition, a risk threshold was applied to discriminate malignant lesions. Finally, the third application involved the use of a hyperspectral acquisition system capable of capturing spectral information from 900 to 1700 nm, targeting the analysis of blood plasma using pixel-wise supervised classifiers to discriminate between subjects affected by major neurocognitive disorder and healthy controls. The methodology included subject selection, blood plasma samples preparation, and their subsequent capture and analysis through machine learning methods. The study was conducted using 83 hyperspectral images and showed promising results for the potential identification of spectral biomarkers in blood plasma samples. These studies showed that combining hyperspectral imaging with machine learning algorithms can provide promising results in the identification and discrimination of diseases in the three medical applications proposed.

Las imágenes hiperespectrales son una modalidad de imagen emergente originada en el campo de la teledetección que ha ampliado su aplicación a otras áreas de la investigación y la industria en los últimos años. Las imágenes hiperespectrales están compuestas por información espacial y espectral, conformando una matriz tridimensional, donde cada píxel espacial está relacionado con un vector de valores de intensidad en el rango de cientos de longitudes de onda espectrales diferentes, formando un espectro casi continuo. En aplicaciones médicas, la tecnología de imágenes hiperespectrales se ha investigado ampliamente para medir distintas propiedades de los tejidos, como por ejemplo, la saturación de oxígeno, la perfusión, el agua, la melanina, etc. También se ha utilizado para discriminar entre tejido tumoral y normal en distintos órganos, o para la detección precoz de ciertas enfermedades. Una de las principales ventajas de esta tecnología es que puede utilizarse como herramienta de ayuda al diagnóstico en distintas aplicaciones médicas. En esta Tesis doctoral, el uso de las imágenes hiperespectrales se empleó en tres aplicaciones médicas diferentes. En primer lugar, se optimizó un sistema de adquisición hiperespectral intraoperatorio para el diagnóstico durante operaciones de neurocirugía, con el fin de ampliar las capacidades del sistema y estudiar el uso de un rango espectral más amplio para discriminar entre tejido cerebral tumoral y normal. Utilizando este sistema, se generó una base de datos de imágenes hiperespectrales in vivo de cerebro humano y se propuso un nuevo enfoque para realizar la fusión espectral de los datos obtenidos con dos cámaras hiperespectrales diferentes, cubriendo el rango espectral entre 400 y 1700 nm. Además, utilizando esta base de datos y la adquirida en un proyecto de investigación anterior, se generaron mapas vasculares mejorados, y se realizaron diferentes análisis utilizando información espectral y espacial para detectar y delinear tumores cerebrales con una metodología de validación robusta utilizando algoritmos de aprendizaje automático. El sistema intraoperatorio se validó utilizando 61 imágenes hiperespectrales. Adicionalmente, la identificación de los vasos sanguíneos podría ayudar a reducir el número de clases a diferenciar por un clasificador. Los mapas de clasificación obtenidos utilizando el enfoque de fusión revelan que los mapas presentan más detalles, eliminando los falsos positivos que estaban presentes en los mapas antes de realizar la fusión. En segundo lugar, se desarrolló un prototipo de imagen hiperespectral dermatoscópica personalizado capaz de capturar datos en tiempo real de lesiones cutáneas pigmentadas in vivo con el objetivo principal de proponer un novedoso marco de clasificación basado en la segmentación de imágenes hiperespectrales y la clasificación supervisada. Este estudio pretendía demostrar, como prueba de concepto, el uso potencial de la tecnología de imágenes hiperespectrales en la práctica clínica habitual para ayudar a los dermatólogos en la discriminación de lesiones cutáneas pigmentadas benignas y malignas (incluyendo tanto las lesiones de melanomas como las de no-melanomas). El prototipo dermatoscópico se validó en 76 imágenes hiperespectrales y fue capaz de segmentar las lesiones pigmentadas, así como de extraer y clasificar los píxeles asociados para reducir de esta forma el coste computacional. Además, se aplicó un umbral de riesgo para discriminar las lesiones malignas. Finalmente, la tercera aplicación consistió en el uso de un sistema de adquisición hiperespectral capaz de capturar información espectral en el rango de 900 a 1700 nm, dirigido al análisis de plasma sanguíneo mediante clasificadores supervisados por píxeles para discriminar entre sujetos afectados por trastorno neurocognitivo mayor y controles sanos. La metodología incluyó la selección de sujetos, la preparación de muestras de plasma sanguíneo y su posterior captura y análisis mediante métodos de aprendizaje automático. El estudio se realizó utilizando 83 imágenes hiperespectrales y mostró resultados prometedores para la identificación potencial de biomarcadores espectrales en muestras de plasma sanguíneo. Todos estos estudios han revelado que el uso de imágenes hiperespectrales combinadas con algoritmos de aprendizaje automático son capaces de proporcionar resultados prometedores en la identificación y discriminación de distintas enfermedades en las tres aplicaciones médicas propuestas.