Item Response Theory e disegni non bilanciati

ITEM RESPONSE THEORY 1) Introduzione La valutazione dell’efficacia dei processi formativi e di molte altre attività umane (quali per esempio: sport, istruzione, ricerca, formazione professionale, ed altre attività comportamentali definite nell’ambito educativo e psicologico) rappresenta un problema di notevole interesse statistico in quanto tali aspetti non sono direttamente misurabili. Lo strumento maggiormente utilizzato in tali ambiti valutativi è quello del test di apprendimento (o achievement test), che è costituito da una scheda contenente una batteria di domande (item) a risposta generalmente chiusa riguardanti diversi argomenti, quali ad esempio: argomenti di cultura generale, problemi logico-matematici, ecc.. L’obiettivo del test è quello di misurare il livello di rendimento generale del soggetto nella prova. Preliminarmente a tale misurazione si pone anche un problema di calibratura del test, che non deve contenere domande inefficaci al fine della misurazione. La calibratura del test e la misurazione delle capacità coinvolgono due vaste aree metodologiche: la Classical Test Theory (CTT) e la Item Response Theory (IRT). Entrambe le metodologie hanno come obiettivo principale quello di classificare le “performance” di un soggetto lungo una dimensione latente, non direttamente osservabile. La CTT fu originariamente la struttura principale per le analisi e la costruzione di test standardizzati; questa teoria si sviluppò pressappoco dal 1920 e viene denominata anche come “true score theory” perché si basa sull’assunzione fondamentale che un soggetto che si sottopone ad un test ottiene un certo “punteggio osservato” ed un “punteggio teorico”. Con il termine “punteggio” si vuole intendere il numero di risposte esatte fornite da un soggetto. Il punteggio osservato è una stima del punteggio “vero” più o meno una componente accidentale non osservabile (errore casuale). Uno dei problemi più noti di tale teoria è che le caratteristiche dei soggetti e quelle del test non possono essere separate ma devono essere interpretate congiuntamente. L’abilità di un soggetto è definita solo da quel particolare test e dipende esclusivamente dal punteggio ottenuto, mentre la difficoltà di un item è ottenuta dalla proporzione di soggetti che hanno risposto correttamente all’item rispetto al totale degli stessi. Perciò se un item è “facile” o “difficile” dipende dall’abilità dei soggetti e le abilità dei soggetti dipendono dalla difficoltà degli item stessi! Risulta perciò davvero difficile riuscire a confrontare le abilità di soggetti che si sottopongono a diversi test e confrontare le caratteristiche degli item di un test somministrato a gruppi di soggetti differenti tra loro. 3