CBT Misurazione apprendimento degli studenti nel tempo
Il progetto Misurazione diacronico-longitudinale dei livelli di apprendimento degli studenti italiani, di seguito denominato CBT (Computer Based Testing), si pone fondamentalmente l’obiettivo di superare l’impianto tradizionale delle prove standardizzate in cui ogni edizione annuale è indipendente da quella precedente per la sostanziale impossibilità di comparare prove indipendenti somministrate in anni diversi. Questo limite riduce fortemente il valore informativo di un sistema di valutazione poiché impedisce comparazioni diacroniche affidabili, limitandole nei fatti al solo confronto del posizionamento relativo rispetto alla media di ciascun anno, per definizione variabile da un anno all’altro.
Il superamento del predetto limite è l’oggetto del progetto CBT. Lo scopo del progetto è quello di sperimentare e mettere a punto la metodologia, il disegno di realizzazione tecnologica e di utilizzo degli esiti di un sistema di prove diacronico-longitudinali. Per quanto il progetto CBT veda diversi punti di contatto con il sistema nazionale delle prove standardizzate, esso persegue obiettivi che non sono propri di quest’ultimo. La predisposizione di un sistema diacronico-longitudinale risponde però a importanti necessità di policy sia a livello micro (singola istituzione scolastica) sia a livello macro (sistema scolastico nazionale o altre articolazioni territoriali). Dal punto di vista micro, le singole istituzioni scolastiche possono confrontare l’evoluzione dei propri esiti su metriche propriamente longitudinali e parametrate sui traguardi delle indicazioni nazionali. In altri termini, la singola scuola può monitorare nel tempo l’evoluzione numerica delle quote di studenti che raggiungono i predetti traguardi. A livello macro, invece, la disponibilità di dati longitudinali permette di verificare l’effetto di medio e lungo periodo delle politiche sui livelli di apprendimento raggiunti, con riferimento diretto e specifico ai traguardi posti dalle Indicazioni nazionali.
Esperienze
Il progetto nasce in considerazione di quanto previsto dalle Raccomandazioni specifiche del Consiglio Europeo 2014, che sottolineano la necessità di rendere operativo il sistema nazionale per la valutazione degli istituti scolastici. Il progetto risponde al principio che la valutazione costituisce uno strumento essenziale per la governance del sistema dell’istruzione ed è indispensabile per diagnosticare le criticità, governare i processi e migliorare ed innovare il funzionamento del servizio. Di qui, nel ciclo di programmazione 2014-2020, il PON Per la Scuola intende rinforzare ed ampliare gli interventi finalizzati ad una valutazione sistematica e strutturata del Programma e alla misurazione periodica dei risultati ottenuti con gli investimenti che saranno realizzati.
Il progetto CBT si articola nelle seguenti fasi:
- costruzione di un sistema di domande ancorate, in grado cioè di fornire esiti espressi su una stessa metrica, costante nel tempo. In questo modo i punteggi ottenuti dagli stessi studenti (approccio longitudinale) in tempi diversi o da studenti diversi in tempi diversi (approccio diacronico) sono direttamente e facilmente comparabili. Ciò consente la misurazione delle performance degli studenti a livello di scuola, di classe, e individuale. In questo modo è possibile quindi di valutare a livello micro e macro gli effetti di azioni promosse dalla scuola o centralmente dal sistema per il miglioramento degli apprendimenti conseguiti dagli studenti a livello censuario;
- predisposizione di un impianto tecnologico adeguato per la somministrazione di prove ancorate che, tipicamente richiedono, un sistema avanzato di item banking. Lo scopo quindi è quello di costruire una struttura on line di somministrazione informatizzata di prove ancorate assemblate secondo procedure attestate in letteratura e in grado di garantire la comparazione diacronico-longitudinale degli esiti (automated test assembly);
- predisposizioni di modalità web per l’informazione e la formazione a distanza dei docenti e dei dirigenti scolastici sugli esiti restituiti secondo un approccio diacronico-longitudinale. Anche questa fase riveste un ruolo estremamente importante poiché è finalizzata a rendere disponibili ai docenti, ai dirigenti e altri stakeholder strumenti idonei per il monitoraggio dell’impatto delle azioni intraprese.
I destinatari del progetto sono le scuole primarie e secondarie di primo e di secondo grado.
- Affidamento in house
L’INVALSI (Istituto Nazionale per la Valutazione del Sistema di Istruzione e formazione), ente in house del MIUR, è chiamato, ai sensi Decreto Legislativo 19 novembre 2004 n. 286 che istituisce il Servizio nazionale di valutazione del sistema educativo di istruzione e di formazione, ad intervenire sugli aspetti valutativi e qualitativi del sistema scolastico e a sostenere le attività valutative nell’ambito del PON Istruzione 2007-2013 con l’obiettivo di valutarne l’efficienza e l’efficacia, inquadrando la valutazione anche nel contesto internazionale. Inoltre si evidenzia che le priorità strategiche individuate per l’INVALSI dalla Direttiva del 12 ottobre 2012 n. 85, per il triennio 2012-2015, fanno espresso riferimento alle rilevazioni nazionali degli apprendimenti, a carattere censuario, all’autovalutazione e alla valutazione delle scuole, nonché alla valutazione di sistema sulla base dei dati relativi ai livelli di apprendimento e di altri indicatori delle performance delle scuole.
Sì
- Personale interno all’ente ed esterno (consulenti)
- Università di Bologna
- Università di Tweente (NL)
- CITO (Istituto di valutazione NL)
- Università di Firenze
- Politecnico di Milano
- Università di Torino
- Università di Bari
- DEPP – Ministero dell’Istruzione francese
- Ministero dell’istruzione del Lussemburgo
- Ministero dell’istruzione federale della Germania
- Ministero dell’istruzione federale dell’Austria
- ISTAT
Risultati
Le attività relative al progetto sono iniziate negli ultimi mesi del 2015 per entrate nelle fasi più operative e realizzative gli all’inizio del 2016 per proseguire poi a pieno ritmo nei mesi successivi. Gli ottimi risultati conseguiti nel 2016 hanno permesso una considerevole accelerazione nella realizzazione del progetto, tanto che diverse attività previste per il 2018 sono state anticipate al 2017.
Tra queste:
- implementazione del sistema di ancoraggio delle prove per la misurazione diacronico-longitudinale degli apprendimenti per la fornitura al sistema dei primi dati longitudinali a luglio 2017;
- somministrazione CBT del Questionario studente (QSt) all’intera leva scolastica (classe II secondaria di secondo grado);
- prima implementazione del sistema di produzione delle prove standardizzate di Inglese per la V primaria (A1 CEFR), III secondaria di primo grado (A2 CEFR) e V secondaria di secondo grado (B2 CEFR);
- pre-test delle prove CBT per la misurazione diacronica degli apprendimenti per i seguenti livelli scolastici:
- III secondaria di primo grado: Italiano e Matematica
- II secondaria di secondo grado: Italiano e Matematica
- V secondaria di secondo grado: Italiano e Matematica
- IeFP: Italiano e Matematica
- somministrazione sperimentale di prove cognitive su base censuaria per le seguenti categorie di scuole:
- IeFP: Italiano e Matematica
- scuole in lingua tedesca della Provincia Autonoma di Bolzano (II secondaria di secondo grado): Matematica e QSt
- prosecuzione nella costruzione di banche di domande per Italiano, Matematica e Inglese.
Nel 2018 si è quindi conclusa la realizzazione della infrastruttura tecnologica (piattaforma) e metodologica (item bank dei quesiti delle tre discipline oggetto d’interesse: Italiano, Matematica e Inglese) fino al secondo anno della scuola secondaria di secondo grado.
Nel 2019 la predetta infrastruttura sarà completata anche per l’ultimo anno della scuola secondaria di secondo grado.
Il risultato atteso del progetto è la messa a punto della metodologia e della strumentazione per la costruzione di prove di ancoraggio per la misurazione diacronico-longitudinale degli apprendimenti e per la somministrazione informatizzata delle prove nazionali.
Gli output decritti in precedenza hanno permesso di realizzare la struttura per la rilevazione diacronica degli apprendimenti, consentendo confronti nel tempo. Tale funzionalità è stata realizzata con un anno di anticipo (2018 anziché 2019) per l’obbligo scolastico. Tale anticipo si riverbererà positivamente quasi certamente anche sul termine della scuola secondaria di secondo grado (2019 anziché 2020).
- Il contesto generale e in particolare l’approvazione del D.Lgs. n. 62/2017 hanno certamente favorito la realizzazione del progetto.
- L’informatizzazione completa del sistema di rilevazione degli apprendimenti per la misurazione diacronico-longitudinale ha ridotto considerevolmente gli oneri implementativi del progetto e ha permesso alle scuole di disporre di strumenti agili ed efficienti.
- La metodologia sviluppata per l’ancoraggio delle prove è scalabile, potenzialmente applicabile sia a contesti più piccoli (come una singola amministrazione) che più ampi (ad esempio in ambito internazionale), anche rispetto a contenuti diversi da quelli oggetto del progetto CBT (come il caso di competenze organizzative).
- Il sistema unisce valutazione sommativa e formativa, ovvero – oltre a permettere la misurazione dei livelli di apprendimento – consente di valutare l’efficacia delle azioni e delle politiche poste in essere. È quindi uno strumento di misurazione e valutazione direttamente orientato al miglioramento.
La maggiore criticità è rappresentata dalla necessità di informazione/formazione all’uso dei dati e delle analisi derivanti dall’ancoraggio e dall’informatizzazione degli strumenti per la misurazione diacronico-longitudinale. Si intende usare l’anticipo sulla tempistica progettuale per potenziare l’azione C del progetto (strumenti web per la formazione).
Elementi utili al trasferimento dell’esperienza
Le principali lezioni apprese per quanto riguarda la progettazione attengono la scelta di strumenti open source la cui accessibilità costituisce un punto di forza molto rilevante.
Per quanto attiene l’attuazione è opportuno prevedere in tutte le fasi un’adeguata informazione/formazione dei destinatari. L’accoglienza del progetto è stata molto positiva e scarsi sono stati i casi di resistenza o di critica. Tuttavia, la complessità del progetto richiede un’adeguata campagna di formazione-informazione, che è utile prevedere già nelle fasi iniziali del progetto, ovvero contemporaneamente allo sviluppo del nuovo sistema e non a valle dello stesso.
La trasferibilità è garantita dall’uso di strumenti open source, scalabili su diversi ordini di grandezza (numero di scuole, di studenti, di stakeholders, ecc.). Quindi è fondamentale realizzare una infrastruttura che garantisca piena interoperabilità, ossia il passaggio delle soluzioni adottate da una piattaforma a un’altra.
- Testimonial/relatore nell’ambito di seminari o laboratori per scambio di esperienze