Design and evaluation of hyperspectral images registration techniques applied to breast cancer diagnosis

Abstract

Each year, thousands of people are affected by breast cancer. One of the most cutting-edge strategies for cancer detection is to analyze biopsy samples using Hyperspectral (HS) Imaging (HSI) techniques. HS images can highlight tumoral cells since every substance has a different spectral signature. Due to the complexity of this cell highlighting, a categorization method, such as Deep Learning (DL) Neural Networks (NNs), is required to carry out the classification. The biggest issue while employing NNs is that the algorithm needs a large dataset of categorization instances to be trained and tested. The dataset required for these training is a bunch of HS images with cell annotations. Traditionally, a pathologist would manually annotate them on digitized RGB histological slides, but those labels must also be annotated on the HS images. Hence an image registration method to extract the labels and overlay them with the HS image must be established. The main goal of this project is to develop and test different image registration methods to find which one shows the highest performance. To evaluate the performance of these registration methods, a dataset of HS, not annotated RGB and annotated RGB images has been captured. The first step is the study of the state of the art of every field involved to try to understand the different challenges and solutions adopted by other authors. The results of this research are the following characteristics of the registration algorithms to implement: it should search for affine transformations globally in the plane of the image, automatically, by using intrinsic information of the intrasubject multimodal images and using a linear interpolator. Other attributes that are not defined by the dataset images, and so their influence on the registration performance will be tested, are the intrinsic element to use (either intensity values or feature points), the similarity measure, and optimizer used to perform the registration. A validation of these methods and the performance of each combination of these properties have been tested by implementing them in Matlab 2022b and collecting metrics such as Structural Similarity Index Metric (SSIM), Mean Squared Error (MSE), and the time required to perform the registration. The final dataset obtained consists of three groups (HS images, annotated RGB slides, and RGB slides) of 490 images from 18 different patients, 1470 images in total. The calculation of different registration algorithms for this dataset has shown a variety of results. The best performances were given by the feature-based registration methods, which use detectors with scale and rotation invariance (median of the SSIM is almost 75%) such as Speeded-Up Robust Features (SURF), KAZE or Scale Invariant Feature Transform (SIFT). In contrast, the worst performing methods were the intensity-based registration algorithms (maximum median of the SSIM is 15%). All these tests were repeated ten times to reduce the distortions introduced by the system. Overall our analysis of the dataset showed that using area-based registration in this context was not efficient enough, but using certain detectors such as SURF, KAZE, or SIFT provided satisfactory results.

Cada año, miles de personas se ven afectadas por el cáncer de mama. Una de las estrategias más innovadoras para la detección del cáncer es el análisis de muestras de biopsias utilizando técnicas de Imagen Hiperespectral (HSI). Las imágenes HS pueden resaltar las células tumorales debido a que cada sustancia tiene una firma espectral diferente. Por la complejidad de estos métodos, se requiere un algoritmo de categorización, como las Redes Neuronales (NN) de Aprendizaje Profundo (DL). El mayor problema al utilizar NN es que el algoritmo necesita un gran conjunto de datos de categorización para ser entrenado y testeado. El conjunto de datos necesario para estos entrenamientos es un conjunto de imágenes HS con anotaciones a nivel celular. Tradicionalmente, un patólogo las resaltaría manualmente en imágenes RGB digitalizadas, pero esas etiquetas deben encontrarse en las imágenes HS. Por lo tanto, se ha de establecer un método de registro de imágenes para extraer las etiquetas en las imágenes RGB y superponerlas con la imagen HS. El objetivo principal de este proyecto es desarrollar y analizar diferentes métodos de registro de imágenes para encontrar cuál muestra el rendimiento más alto. Para evaluar la productividad de estos métodos de registro, se ha capturado un conjunto de datos de imágenes HS, RGB sin anotaciones y RGB anotadas. El primer paso es el estudio del estado del arte de cada campo involucrado para tratar de comprender los diferentes desafíos y soluciones adoptadas por otros autores. El resultado de esta investigación es el siguiente conjunto de características que debe cumplir los algoritmos de registro a implementar: ha de buscar transformaciones afines globalmente en el plano de la imagen, de forma automática, utilizando información intrínseca de las imágenes multimodales del intrasujeto y utilizando un interpolador lineal. Otros atributos que no están definidos por las imágenes del conjunto de datos y que, por lo tanto, se probará su influencia en el rendimiento de registro son el elemento intrínseco usado (valores de intensidad o puntos de característica), la medida de similitud y el optimizador utilizado para realizar el registro. Se ha validado estos métodos y el rendimiento de cada combinación de estas propiedades mediante su implementación en Matlab 2022b y las siguientes métricas: el Índice de Similitud Estructural (SSIM), el Error Cuadrático Medio (MSE) y el tiempo requerido para realizar el registro. El conjunto de datos final obtenido consta de tres grupos (imágenes HS, láminas RGB anotadas y láminas RGB) de 490 imágenes de 18 pacientes diferentes, un total de 1470 imágenes. El uso de diferentes algoritmos de registro para este conjunto de datos ha dado como resultado una variedad de resultados. Los mejores fueron proporcionados por los métodos de registro basados en puntos característicos, que utilizan detectores con invariabilidad de escala y rotación (la mediana del SSIM es casi del 75%) como Speeded-Up Robust Features (SURF), KAZE o Scale Invariant Feature Transform (SIFT). Por otro lado, los métodos de registro basados en intensidad fueron los que obtuvieron peores resultados (la mediana máxima del SSIM es del 15%). Todas estas pruebas se repitieron diez veces para reducir las distorsiones introducidas por el sistema. En general, nuestro análisis del conjunto de datos mostró que el uso del registro basado en área en este contexto no fue lo suficientemente eficiente, pero el uso de ciertos detectores como SURF, KAZE o SIFT tuvo resultados satisfactorios.