Evaluation of academic integrity of online open book assessments implemented in an undergraduate medical radiation science course during COVID-19 pandemic

• Published in: Journal of medical imaging and radiation sciences Vol. 51; no. 4; pp. 610 - 616
• Main Author: Ng, Curtise Kin Cheung
• Format: Journal Article
• Language: English
• Published: United States Elsevier Inc 01-12-2020; Published by Elsevier Inc. on behalf of Canadian Association of Medical Radiation Technologists
• Subjects: Academic integrity; Adult; Australia; Authenticity; Cheating; COVID-19; COVID-19 - prevention & control; Education, Distance - methods; Education, Distance - standards; Education, Distance - statistics & numerical data; Education, Medical, Undergraduate - methods; Education, Medical, Undergraduate - standards; Education, Medical, Undergraduate - statistics & numerical data; Educational Measurement - methods; Educational Measurement - standards; Educational Measurement - statistics & numerical data; Female; Humans; Male; Medical Oncology - education; Online open book assessment; Pandemics; Plagiarism; Radiologic pathology; Radiology - education; Retrospective Studies; Software; Students, Medical - statistics & numerical data; Time Factors; Young Adult; Australia; Authenticity; COVID-19; Academic integrity; Cheating; Radiologic pathology; Online open book assessment
• ISSN: 1939-8654; 1876-7982
• DOI: 10.1016/j.jmir.2020.09.009

Online open book assessment has been a common alternative to a traditional invigilated test or examination during the COVID-19 pandemic. However, its unsupervised nature increases ease of cheating, which is an academic integrity concern. This study's purpose was to evaluate the integrity of two online open book assessments with different formats (1. Tightly time restricted - 50 min for mid-semester and 2. Take home - any 4 h within a 24-h window for end of semester) implemented in a radiologic pathology unit of a Bachelor of Science (Medical Radiation Science) course during the pandemic.
This was a retrospective study involving a review and analysis of existing information related to the integrity of the two radiologic pathology assessments. Three integrity evaluation approaches were employed. The first approach was to review all the Turnitin plagiarism detection software reports with use of ‘seven-words-in-a-row’ criterion to identify any potential collusion. The second approach was to search for highly irrelevant assessment answers during marking for detection of other cheating types. Examples of highly irrelevant answers included those not addressing question requirements and stating patients' clinical information not from given patient histories. The third approach was an assessment score statistical analysis through descriptive and inferential statistics to identify any abnormal patterns that might suggest cheating occurred. An abnormal pattern example was high assessment scores. The descriptive statistics used were minimum, maximum, range, first quartile, median, third quartile, interquartile range, mean, standard deviation, fail and full mark rates. T-test was employed to compare mean scores between the two assessments in this year (2020), between the two assessments in the last year (2019), between the two mid-semester assessments in 2019 and 2020, and between this and last years' end of semester assessments. A p-value of less than 0.05 was considered statistically significant.
No cheating evidence was found in all Turnitin reports and assessment answers. The mean scores of the end of semester assessments in 2019 (88.2%) and 2020 (90.9%) were similar (p = 0.098). However, the mean score of the online open book mid-semester assessment in 2020 (62.8%) was statistically significantly lower than that of the traditional invigilated mid-semester assessment in 2019 (71.8%) with p < 0.0001.
This study shows the use of the online open book assessments with tight time restrictions and the take home formats in the radiologic pathology unit did not have any academic integrity issues. Apparently, the strict assessment time limit played an important role in maintaining their integrity.
L’évaluation à livres ouverts en ligne est une solution de rechange courante aux tests et examens sous surveillance traditionnels durant la pandémie de COVID-19. Cependant, l'absence de supervision rend la tricherie plus facile, ce qui constitue une source de préoccupation d'intégrité. Cette étude vise à évaluer l'intégrité de deux évaluations à livres ouverts en ligne sous différents formats (1. Restriction de temps serrée – 50 min pour un examen de mi-session, et 2. Examen à la maison – toute période de 4 heures dans une fenêtre de 24 heures pour l'examen de fin de session) dans une unité de pathologie radiologique d'un cours de baccalauréat en sciences (Sciences de la radiation médicale) durant la pandémie.
Il s'agit d'une étude rétrospective comportant l'examen et l'analyse de l'information existante à l’égard de l'intégrité de deux évaluations en pathologie radiologique. Trois approches d’évaluation de l'intégrité ont été utilisées. La première consistait à évaluer tous les rapports Turnitin à l'aide du critère « sept mots en ligne » afin d'identifier toute collusion possible. La deuxième approche consistait à rechercher les réponses fortement non pertinentes à l’évaluation durant la notation afin de reconnaître les autres formes de tricherie. Les exemples de réponses fortement non pertinentes comprennent celles qui ne répondent pas aux exigences de la question et qui donnent des renseignements cliniques sur le patient qui n'apparaissent pas dans les antécédents fournis pour le patient. La troisième approche faisait appel à une analyse de la notation utilisant les statistiques descriptives et déductives afin d'identifier les modèles anormaux susceptibles d'indiquer une tricherie. Un exemple de modèle anormal est une note d’évaluation élevée. Les statistiques descriptives utilisées étaient les notes minimum et maximum, le premier quartile, la médiane, le troisième quartile, l’écart interquartile, la moyenne, l’écart-type, l’échec et le taux d’étudiants ayant obtenu la note parfaite. Un test T a été utilisé pour comparer les notes moyennes entre les deux évaluations de cette année (2020), entre les deux évaluations de l'année dernière (2019), entre les deux évaluations de mi-session (2020 et 2019), et entre l’évaluation de fin de session de cette année et celle de l'an dernier. Une valeur p inférieure à 0,05 était jugée statistiquement significative.
Aucune évidence de tricherie n'a été constatée dans les rapports Turnitin et les réponses aux évaluations. Les notes moyennes de l’évaluation de fin de session de 2019 (88,2%) et 2020 (90,9%) étaient similaires (p = 0,098). Cependant, la note moyenne de l’évaluation de mi-session à livres ouverts en 2020 (62,8%) était plus basse de façon statistiquement significative à celle de l’évaluation sous surveillance traditionnelle de mi-session de 2019 (71,8%) avec p < 0,0001.
Cette étude montre que l'utilisation de l’évaluation à livres ouverts en format de durée restreinte et d'examen à la maison pour l'unité de pathologie radiologique n'a pas entraîné de problèmes d'intégrité académique. Apparemment, la durée strictement limitée de l’évaluation a joué un rôle important dans le maintien de l'intégrité.