Nel 2020, quando l’Università dello Stato dell’Iowa ha dovuto passare da un apprendimento in presenza a un apprendimento a distanza a metà del semestre primaverile, il professore di psicologia Jason Chan era preoccupato. Si chiedeva se gli esami online non supervisionati avrebbero scatenato un’ondata di imbrogli. Tuttavia, la sua reazione iniziale si trasformò in sorpresa quando iniziarono ad arrivare i risultati degli esami. I punteggi individuali degli studenti erano leggermente più alti, ma coerenti con i loro risultati ottenuti negli esami in presenza e supervisionati.
Analisi dei risultati degli esami
Nonostante un leggero aumento, i punteggi degli studenti rimanevano in linea con i risultati dei loro precedenti esami in presenza e supervisionati. Gli studenti che avevano ottenuto voti di B prima del lockdown dovuto al COVID-19 continuavano a ottenere B anche nell’ambiente di test online e non supervisionato. Questo modello si è mantenuto vero per gli studenti su tutta la scala di valutazione.
Studio su larga scala degli esami online
Analisi dei dati degli esami
Per capire se questo fenomeno si verificava su una scala più ampia, Chan e Dahwi Ahn, un candidato al dottorato in psicologia, hanno analizzato i dati dei punteggi degli esami di quasi 2.000 studenti in 18 classi durante il semestre primaverile del 2020. Il loro campione variava da corsi di lezione di grandi dimensioni con un alto numero di iscritti, come Introduzione alla Statistica, a corsi avanzati di ingegneria e medicina veterinaria.
Risultati della ricerca
Attraverso diverse discipline accademiche, dimensioni delle classi, livelli dei corsi e stili di test (cioè, prevalentemente a scelta multipla o a risposta breve), i ricercatori hanno trovato gli stessi risultati. Gli esami online non supervisionati hanno prodotto punteggi molto simili a quelli degli esami in presenza e supervisionati, indicando che possono fornire una valutazione valida e affidabile dell’apprendimento degli studenti. I risultati della ricerca sono stati recentemente pubblicati nelle Proceedings of the National Academy of Sciences.
Implicazioni e considerazioni future
Perché l’imbroglio potrebbe avere avuto un effetto minimo sui punteggi degli esami?
I ricercatori suggeriscono che gli studenti più propensi a imbrogliare potrebbero essere quelli che stanno sottoperformando nel corso e che sono ansiosi di fallire. Forse hanno saltato le lezioni, sono indietro con lo studio o si sentono a disagio a chiedere aiuto. Anche con l’opzione di cercare su Google durante un esame non monitorato, gli studenti potrebbero avere difficoltà a trovare la risposta corretta se non capiscono il contenuto. Nel loro documento, i ricercatori fanno riferimento a prove provenienti da studi precedenti che confrontano i punteggi degli esami da libri aperti e da libri chiusi.
Limitazioni e considerazioni future
Nonostante i risultati incoraggianti, i ricercatori sottolineano che gli istruttori dovrebbero essere consapevoli dei potenziali punti deboli degli esami online non supervisionati. Ad esempio, alcune piattaforme hanno l’opzione di mostrare agli studenti la risposta corretta immediatamente dopo che hanno selezionato un’opzione a scelta multipla. Questo rende molto più facile per gli studenti condividere le risposte in un messaggio di gruppo.
Per contrastare questo e altre forme di imbroglio, gli istruttori possono:
Aspettare di rilasciare le risposte dell’esame fino alla chiusura della finestra di test.
Utilizzare banche di domande più grandi e casualizzate.
Aggiungere più opzioni nelle domande a scelta multipla e rendere la scelta giusta meno ovvia.
Regolare i limiti di voto.
Chan e Ahn affermano che il semestre primaverile del 2020 ha fornito un’opportunità unica per studiare la validità degli esami online per la valutazione degli studenti. Tuttavia, c’erano alcune limitazioni. Ad esempio, non era chiaro quale ruolo lo stress e altri impatti legati al COVID-19 potrebbero aver avuto su studenti, docenti e assistenti didattici. Forse gli istruttori erano più indulgenti con la valutazione o davano finestre di tempo più lunghe per completare gli esami.
Un’altra limitazione era non sapere se le 18 classi nel campione diventano normalmente più facili o più difficili man mano che il semestre progredisce. In un esperimento ideale, metà degli studenti avrebbe sostenuto esami online per la prima metà del semestre e esami in presenza per la seconda metà.
Hanno cercato di tenere conto di queste due preoccupazioni guardando i dati dei punteggi degli esami più vecchi di un sottoinsieme delle 18 classi durante i semestri in cui erano completamente in presenza. I ricercatori hanno scoperto che la distribuzione dei voti in ogni classe era coerente con il semestre primaverile del 2020 e hanno concluso che i materiali coperti nella prima e nella seconda metà del semestre non differivano nella loro difficoltà.
Al momento della raccolta dei dati per questo studio, ChatGPT non era disponibile per gli studenti. Tuttavia, i ricercatori riconoscono che gli strumenti di scrittura AI rappresentano un cambiamento nel sistema dell’educazione e potrebbero rendere molto più difficile per gli istruttori valutare i loro studenti. Capire come gli istruttori dovrebbero affrontare gli esami online con l’avvento di ChatGPT è qualcosa che Ahn intende studiare.
Il riferimento dello studio è: “Gli esami online non proctorati forniscono una valutazione significativa dell’apprendimento degli studenti” di Jason C. K. Chan e Dahwi Ahn, 24 luglio 2023, Proceedings of the National Academy of Sciences. DOI: 10.1073/pnas.2302020120
Lo studio è stato sostenuto da un National Science Foundation Science of Learning and Augmented Intelligence Grant.
