Investigating the use of readability metrics to detect differences in written productions of learners: A corpus-based study

Abstract

This paper deals with the use of readability metrics as indices of learners' linguistic features in a written corpus of Spanish learners of English L2. Seventeen measures of readability are presented and computed for 200 samples of written argumentative essays extracted from the corpus NOCE (Díaz-Negrillo, 2007). Support Vector Machines (SVM) are used in order to detect which are the metrics that perform better at detecting differences in learners’ productions belonging to students enrolled in the first or in the second year of an English major. Metrics based on sentence length, number of sentences, and number of polysyllabic words are reported to be the most accurate ones for the classification of learners' linguistic features.

Cet article analyselesmétriques de lisibilitédans une perspectivede détection des niveaux des apprenants hispanophones en anglais L2 à partir d’un corpus de productions écrites. Dix-sept métriquesde lisibilité ontétécalculées pour 200 essais argumentatifs extraits du corpus NOCE (Díaz-Negrillo, 2007). On emploiela technique desSéparateurs à Vaste Marge(SVM) pour déterminer les métriques qui caractérisent le mieuxles différencesentre les productions des apprenants de première et deuxième année en anglais. Les métriques fondéessur la longueur des phrases, le nombre de phrases, ainsi que sur le nombre de mots polysyllabiquessont cellesqui aident le mieux à détecter et à classer les étudiants selon leurscaractéristiques langagières.

Este artículo trata sobre el uso de métricas de legibilidad como indicadores de las características lingüísticas propias a dos niveles de aprendices españoles de inglés L2. Presentamos y calculamos diecisiete medidas de legibilidad en 200 textos argumentativos extraídos del corpus NOCE(Díaz-Negrillo, 2007).Utilizamos SVM para averiguar qué métricas son capaces de detectar diferencias entre las 200 producciones, pertenecientes a alumnos de primer y segundo curso de Filología Inglesa, respectivamente. Las métricas basadas en la longitud de las frases, el número de frases y el número de palabras polisílabas son las que presentan mejores resultados.