Valutazione degli effetti di breve e lungo periodo della partecipazione all’evento Smart Future Academy

Il rapporto di collaborazione tra EIEF (Einaudi Institute for Economics and Finance) e Smart Future Academy nasce per valutare, utilizzando metodologie scientifiche appropriate, l’efficacia di interventi volti a orientare gli studenti delle scuole secondarie superiori nelle loro scelte riguardanti l’eventuale prosecuzione degli studi e il campo di attività lavorativa.

Breve descrizione delle modalità di indagine

A cura di Francesco Lippi (LUISS e EIEF) e Daniele Terlizzese (EIEF)

Il questionario ha lo scopo di raccogliere informazioni circa gli effetti che l’incontro con Smart Future Academy  ha sulle scelte future, di studio o lavoro, dei ragazzi che partecipano all’evento.
Il problema centrale di ogni analisi valutativa – cioè l’analisi degli effetti dovuti a un “trattamento”, che nel caso specifico è la partecipazione all’evento Smart Future Academy – riguarda la necessità di avere un campione di controllo (costituito da studenti che non partecipano all’evento) da confrontare al campione trattato (costituito dagli studenti che partecipano all’evento). Ciò ha lo scopo di approssimare la condizione, impossibile da osservare in quanto tale, in cui si sarebbero trovati i soggetti trattati se non lo fossero stati. Se l’approssimazione è adeguata, sarà ragionevole attribuire al trattamento le eventuali differenze osservate tra i due campioni dopo che uno dei due sia stato trattato.

Per svolgere questa funzione, il campione di controllo dovrebbe contenere studenti il più possibile simili agli studenti trattati. La somiglianza tra il campione dei trattati e quello dei controlli richiede, innanzitutto, che gli studenti nei due campioni abbiano età, composizione per sesso e composizione socioeconomica approssimativamente uguali: la scelta di classi dello stesso anno e nella stessa scuola presumibilmente soddisfa questa condizione. Una ulteriore condizione, più insidiosa, è garantire che gli studenti trattati non abbiano una motivazione a partecipare all’evento molto diversa da quella degli studenti nel campione di controllo; questo perché una diversa motivazione può essere associata a differenze negli stimoli e le opportunità offerti ai ragazzi (dalla famiglia o dagli insegnanti), che a loro volta possono avere un  effetto diretto, e indipendente dal trattamento, sulle scelte future dei ragazzi. Per avvicinarci a questa condizione, sarebbe utile scegliere come controllo classi che condividono almeno uno degli insegnanti che più si sono attivati per far partecipare i ragazzi all’evento.

Il ruolo di questi insegnanti e del dirigente scolastico è fondamentale: mentre è probabile che il tasso di risposta al questionario sia elevato tra i ragazzi trattati (cioè quelli che parteciperanno all’evento), è più difficile che rispondano i ragazzi non trattati, a meno che non siano sollecitati a farlo dall’insegnante e dal dirigente scolastico. È dunque molto importante che il dirigente scolastico, insieme agli insegnati delle classi trattate, sensibilizzino anche i ragazzi delle classi di controllo a rispondere al questionario.

Oltre a cercare di garantire la massima omogeneità tra il campione dei trattati e quello di controllo, è necessario che la dimensione di entrambi i campioni sia sufficientemente ampia, così da garantire la significatività statistica degli effetti misurati. L’ideale è che i due campioni siano ugualmente numerosi.

Una volta scelte le classi che compongono i due campioni, si procederà alla raccolta delle informazioni attraverso un questionario. 

Protocollo operativo dell’indagine

Il dirigente scolastico della scuola che partecipa all’indagine avrà cura di sensibilizzare anche le eventuali classi dello stesso anno scolastico che non dovessero partecipare all’incontro con Smart Future Academy, e che fungeranno da campione di controllo. Se nella scuola tutte le classi (del triennio superiore) partecipassero all’evento, le indicazioni che seguono andranno intese tralasciando il riferimento al campione di controllo; le informazioni raccolte in tale caso saranno comunque utili, poiché si potrà costruire un campione di controllo usando studenti di altre scuole. 

Il dirigente scolastico stabilirà poi i momenti in cui gli studenti, utilizzando il laboratorio informatico, compileranno il questionario; è utile che le varie classi accedano al laboratorio separatamente, per ridurre la “contaminazione” (cioè il reciproco influenzarsi nelle risposte). 

Un primo momento dovrà precedere l’incontro con Smart Future Academy, indicativamente nella settimana precedente, sia per le classi che successivamente parteciperanno all’incontro sia per quelle che non parteciperanno.  

Un secondo momento dovrà  seguire l’incontro con Smart Future Academy, indicativamente nella settimana successiva, di nuovo sia per le classi che hanno partecipato all’incontro sia per quelle che non hanno partecipato. Il motivo per sottoporre di nuovo il questionario agli studenti che non hanno partecipato all’incontro è per controllare eventuali effetti di contaminazione, derivante dalle interazioni tra gli studenti trattati e i controlli. È opportuno che non passi molto tempo dopo l’incontro, così che sia ragionevole presumere che niente altro di rilevante sia successo ai soggetti trattati, oltre al trattamento. 

Come partecipare a questa ricerca

Scrivendo a info@smartfutureacademy.it vi verranno fornite tutte le modalità operative per partecipare alla ricerca.