Determining the Level of a Language Test with English Profile A Forensic Linguistics Case Study

• Published in: Atlantis (Salamanca, Spain) Vol. 42; no. 2; pp. 1 - 21
• Main Authors: Gavaldà, Núria, Queralt, Sheila
• Format: Journal Article
• Language: English
• Published: AEDEAN: Asociación española de estudios anglo-americanos 01-12-2020; Asociación Española de Estudios Anglo-Norteamericanos (AEDEAN)
• ISSN: 0210-6124; 1989-6840
• DOI: 10.28914/Atlantis-2020-42.2.01

This article deals with a forensic linguistics case study of the determination of the level of a B1 English multiple-choice test that was challenged in court by numerous candidates on the grounds that it was not of the appropriate level. A control corpus comprising 240 analogous multiple-choice questions from B1 exams aligned with the Common European Framework of Reference for Languages (CEFR) was compiled in order to establish a threshold for the percentage of questions of a level higher than that being tested which can be expected in such exams. The analysis was carried out following a combination of qualitative and quantitative methods, with the help of the tool English Profile, which provides Reference Level Descriptions (RLDs) for the English language within the CEFR. The results of the analysis of the control corpus established a baseline of 5 to 7% of questions that include key items classified as higher than B1, while the percentage was 68% in the case of the disputed exam. Thus, the present study proposes a further application of the tool English Profile within the field of forensic linguistics and puts forward the concept of Level Appropriateness Threshold (LAT), analogous to other thresholds established in forensic linguistics, which can serve as a baseline for determining the appropriateness of B1 English multiple-choice exams and a model for other levels and skill areas.
Este artículo trata de un estudio de caso de lingüística forense sobre la determinación del nivel de un examen de opción múltiple de inglés con nivel B1 que fue impugnado por numerosos candidatos que consideraban que su nivel no era el adecuado. Se compiló un corpus de control compuesto por 240 preguntas de opción múltiple similares provenientes de exámenes oficiales de B1 acordes con Marco Común Europeo de Referencia para las Lenguas (MCER), con el fin de establecer un umbral para el porcentaje de preguntas con un nivel superior al del nivel examinado que sería el esperable en dichos exámenes. El análisis se llevó a cabo siguiendo una combinación de métodos cualitativos y cuantitativos, con la ayuda de la herramienta English Profile, que proporciona Descripciones de Niveles de Referencia para el inglés dentro del MCER. Los resultados del análisis del corpus de control establecieron un umbral de adecuación de nivel de entre el 5 y 7% de preguntas clasificadas como superiores a B1, mientras que el porcentaje fue de un 68% en el caso del examen impugnado. Así pues, el presente estudio propone una nueva aplicación de la herramienta English Profile en el campo de la lingüística forense y el concepto de Umbral de Adecuación del Nivel, análogo a otros umbrales establecidos en la lingüística forense, como base para determinar la idoneidad de los exámenes de opción múltiple de inglés con nivel B1 y modelo para otros niveles y competencias.