Efficient Deep Learning Vision for Coastal and Maritime Surveillance

Abstract

Coastal and maritime surveillance is increasingly important for the Blue Economy, where safety, operational efficiency, and environmental monitoring rely on continuous situational awareness. In practice, vision systems in these settings confront two persistent constraints: (i) highly challenging visual conditions, such as reflections, foam, weather variability, occlusions, and strong background motion, among others and (ii) strict deployment limits, including embedded hardware budgets, limited bandwidth, and real-time requirements. Although this thesis is validated across three representative Blue Economy verticals (coastal monitoring, maritime surveillance, and industrial safety), it addresses a single underlying challenge: extracting reliable, actionable information from visual streams under tight compute, latency, and reliability constraints. To this end, we adopt a unified methodology based on semantically meaningful representations to guide selective computation, complemented with lightweight temporal reasoning to improve stability over time. The thesis develops this methodology through three complementary contributions. First, we study semantic segmentation as a foundational representation for coastal monitoring. We analyze modern segmentation architectures under edge constraints and show that both model selection and semantic taxonomy are critical to derive meaningful coastal measurements. By extending standard coastal classes with visually similar but functionally distinct categories (e.g., foam and wet sand), segmentation outputs support practical tasks such as region extraction, intertidal-zone estimation through temporal aggregation, and wave-overtopping detection formulated as a region-intrusion problem. Second, we address efficient object detection in wide-area scenes where targets are often very small (e.g., distant vessels, PPE elements, or people in coastal environments). Rather than processing the full image exhaustively at maximum resolution, we propose pipelines that allocate computation selectively to the most informative regions. This includes (i) an automated PPE compliance monitoring framework combining worker detection, pose estimation, PPE recognition, and robust association to reduce duplicate detections and incorrect assignments, and (ii) density-guided multi-inference strategies (VIGIA-E and DAHI) that estimate where missed objects are likely to occur and trigger targeted highresolution re-inference with efficient merging. Third, we integrate segmentation, detection, and temporal reasoning into an embodied maritime tracking system (SEATrack) designed to operate fully on embedded GPUpowered devices while transmitting only compact metadata when bandwidth is limited. By restricting attention to maritime regions and using multi-resolution processing, the system improves robustness for long-range vessel tracking in complex coastal scenes.

El objetivo de esta tesis doctoral es desarrollar y validar métodos de visión por computador basados en aprendizaje profundo que puedan ejecutarse de forma eficiente en dispositivos edge (hardware embebido), para tareas de vigilancia y monitorización en entornos costeros, marítimos e industriales. Estos escenarios presentan condiciones visuales complejas (reflejos, espuma, cambios de iluminación, oclusiones y objetivos muy pequeños a gran distancia) y, al mismo tiempo, restricciones operativas severas (cómputo limitado, requisitos de tiempo real y ancho de banda reducido). En este contexto, la tesis se enmarca en aplicaciones vinculadas a la Blue Economy, donde la automatización y la supervisión continua requieren sistemas robustos y desplegables con infraestructura mínima. Más allá de la diversidad de escenarios, todos comparten un cuello de botella común: convertir flujos visuales en información accionable bajo limitaciones de cómputo, latencia y conectividad. Por ello, la tesis propone una metodología unificada basada en (i) representaciones semánticas para estructurar la escena, (ii) asignación selectiva de cómputo para focalizar la inferencia donde aporta más valor, y (iii) razonamiento temporal ligero para estabilizar decisiones y trazas. Este trabajo concreta dicha metodología en tres objetivos principales (representación, inferencia selectiva e integración temporal), validados en aplicaciones representativas de la Blue Economy: (i) Diseñar un marco de segmentación semántica adecuado para escenas costeras, optimizado para su uso en plataformas embebidas y orientado a extraer información operacional (regiones y eventos) relevante para la monitorización del litoral; (ii) Proponer estrategias de detección de objetos eficientes para escenarios realistas donde los objetivos de interés son pequeños o están parcialmente ocluidos (p. ej. EPIs en entornos industriales, personas u objetos en grandes escenas, y embarcaciones lejanas), priorizando el equilibrio entre precisión y coste computacional; (iii) Integrar estos componentes en un sistema completo de seguimiento de embarcaciones (tracking) para vigilancia marítima, capaz de operar en el edge y transmitir solo metadatos compactos. El documento se organiza en tres bloques principales. En primer lugar, se estudian arquitecturas de segmentación y se selecciona una configuración adecuada bajo restricciones de tiempo de inferencia, junto con la construcción y uso de un conjunto de datos costero para mejorar la generalización. Sobre esta base, se desarrollan aplicaciones de monitorización costera a partir de mapas de segmentación, como la extracción de regiones de interés (por ejemplo, zona intermareal) y la detección de eventos relevantes (por ejemplo, rebase de oleaje en infraestructuras costeras críticas). En el segundo bloque, la tesis propone varios marcos de detección orientados a eficiencia: un sistema para verificación automática de cumplimiento de EPIs combinando detección de trabajadores, reconocimiento de equipamiento, estimación de pose y estrategias de asociación; un esquema ligero de dos etapas para pequeños objetos en grandes escenas con selección de regiones de alta densidad; y un marco general y agnóstico al detector que mejora el rendimiento en pequeños objetivos mediante inferencia guiada por densidad y una fusión cuidadosa de detecciones. Finalmente, el tercer bloque presenta un sistema de seguimiento multi-objeto para vigilancia marítima en la periferia, que combina filtrado semántico para restringir la atención a regiones marítimas, estrategias multi-resolución para mejorar la detección de embarcaciones pequeñas, y un seguimiento tracking-by-detection adaptado a restricciones de cómputo y comunicación. Las propuestas se evalúan tanto en despliegues reales como en bases de datos públicas, mostrando su aplicabilidad en condiciones operativas.