Detección automática de grupos semánticos en corpus textuales

Abstract

Este proyecto consiste en hacer un algoritmo capaz de extraer grupos de palabras relacionadas semánticamente de cualquier corpus textual usando los siguientes recursos y/o herramientas: recursos léxicos, diccionario de significados e ideológico, sinónimos, relaciones morfológicas entre las palabras, servicio de desambiguación funcional, etc. Este algoritmo será usado en buscadores textuales, por temas o conceptos, en donde el usuario podrá elegir cierto grado de rigidez o flexibilidad en la relación semántica que poseen los términos de un mismo grupo. Por ejemplo, si el usuario elige el 20% se mostrarán las relaciones encontradas mediante sinónimos y/o antónimos. Si elige el 60%, se mostrarán las encontradas por diccionarios, etc. El algoritmo será una herramienta de inteligencia artificial muy útil para aplicaciones del procesamiento del lenguaje natural y podrá iniciar su tarea sin ninguna información adicional. Además, se implementa una aplicación de escritorio para que el usuario tenga un programa en el que pueda elegir una carpeta con fichero/s .txt para analizar extrayendo sus grupos semánticos haciendo así más visual la utilidad del algoritmo. Las tecnologías que utiliza este proyecto incluyen Visual Studio, que utiliza .NET y C#, y el lenguaje de programación Python.

This project consists of making an algorithm capable of extracting groups of semantically related words from any textual corpus using the following resources and/or tools: lexical resources, meaning and ideological dictionary, synonyms, morphological relationships between words, functional disambiguation service, etc. This algorithm will be used in textual search engines, by themes or concepts, where the user will be able to choose a certain degree of rigidity or flexibility in the semantic relationship that the terms of the same group have. For example, if the user chooses 20% the relationships found through synonyms and/or antonyms will be displayed. If the user chooses 60% those found by dictionaries will be displayed, etc. The algorithm will be a very useful artificial intelligence tool for natural language processing applications and will be able to start its task without any additional information. In addition, it is implemented a desktop application so that the user has a program in which they can choose a folder with .txt file/s to analyze, extracting their semantic groups, thus making the utility of the algorithm more visual. The technologies that this project uses includes Visual Studio, which uses .NET and C#, and Python programming language.