Prototipo de herramienta para el inventariado automático de piezas de Lego basado en visión artificial

Abstract

Se presenta un prototipo de herramienta para la detección, segmentación, clasificación y conteo de piezas Lego basado en la librería de visión artificial OpenCV. Este prototipo surge ante la necesidad de automatizar la compleja y tediosa tarea del inventariado de kits Lego de la serie MindStorm. En el proceso de detección y segmentación se han utilizado técnicas de umbralizado y el algoritmo de segmentación Watershed. Para el proceso de clasificación y conteo se han empleado dos aproximaciones diferentes en la obtención del vector de características de la imagen: BOW y Naive; así como máquinas de vector soporte (SVM) para la clasificación. Entre otras aportaciones, dicho prototipo permite: 1. guardar y recuperar los datos de sesión del clasificador (datos de configuración y entrenamiento), 2. usar descriptores de imágenes no soportados aún por OpenCV, p. ej. KAZE, y 3. utilizar una técnica de clusterización binaria optimizada por el autor que posibilita operar con descriptores de imágenes binarios. Las pruebas demuestran que el prototipo es capaz de alcanzar tasas de acierto (piezas correctamente identificadas) de hasta el 98 %.

A prototype tool based on computer vision library OpenCV for detection, segmentation, classification and counting of Lego pieces is presented. This prototype arises from the need to automate the complex and tedious task that is the inventory of Lego Mindstorm kits series. For the detection and segmentation process, thresholding techniques and the segmentation algorithm Watershed have been used. For the classification and counting process two different approaches have been used in order to get the image features vector: BOW and Naive; we have also used support vector machines (SVM) for the classification process. Among other contributions, the prototype allows: 1. storing and retrieving classifier session data (configuration and training data), 2. using image descriptors not supported by OpenCV, eg . KAZE, and 3. using a binary clustering technique optimized by the author that enable to operate with binary descriptors images. Tests show that the prototype is able to achieve accuracy rates (correctly identified pieces) until 98%.