Modelli Multidimensionali per la valutazione dei sistemi universitari

Modelli multidimensionali per l'analisi del sistema universitario Introduzione Questo lavoro ha come obiettivo principale quello di fare il punto  della situazione italiana 
in merito alla valutazione universitaria, analizzando in primis ciò che si definisce per 
valutazione e poi spaziando verso la valutazione universitaria.
Dopo aver fatto ciò, si da uno sguardo al sistema di valutazione universitaria italiano e 
agli organi che ne fanno parte; analizzando l'evolversi del tema “valutazione 
universitaria” all'interno delle diverse leggi e decreti emanati nel tempo.
Si espone una breve rassegna sulla pratica del ranking universitario e sulla costruzione 
degli indici compositi, esaminando le varie classifiche internazionali e la classifica 
proposta ogni anno dal giornale “La Repubblica” in collaborazione con Censis Servizi.
Si illustra, poi, la metodologia statistica utilizzata per le applicazioni di valutazione e cioè 
analisi di tipo multivariato (analisi fattoriale, analisi in componenti principali, analisi 
delle corrispondenze, analisi delle corrispondenze multiple e la classificazione gerarchica) 
e di tipo multidimensionale (Modelli SEM e PLS-PM, in particolare).
Successivamente sono proposte delle applicazioni di valutazione universitaria:
 
- la prima applicazione riguarda l'analisi del sistema universitario calabrese e dal 
“confronto” delle capacità delle diverse facoltà presenti in esso;
- la seconda applicazione, riguarda ,invece, la valutazione del corso di laurea in 
“Statistica e Informatica per l'economia e le imprese” dell'Università degli studi 
“Federico II” di Napoli effettuata attraverso lo sviluppo di un modello multidimensionale 
di Customer Satisfaction con l'utilizzo della tecnica del PLS-PM. 
Con questa tecnica è stato possibile rilevare i punti di forza e i punti di debolezza del 
corso di laurea, che sono di fondamentale importanza per la valutazione del corso stesso 
al fine di un costante miglioramento del servizio fornito;
1
Modelli multidimensionali per l'analisi del sistema universitario - la  terza applicazione si occupa di analizzare gli sbocchi occupazionali dei dottori di 
ricerca dell'università della Calabria ad un anno e a tre anni dal conseguimento del titolo, 
applicazione svolta per verificare l'effettivo inserimento nel mondo del lavoro e come 
prova di valutazione dell'efficacia occupazionale del sistema universitario in tempo breve 
(ad un anno) e in un tempo più elevato (a tre anni). Indice, quindi, di una politica e di un 
autovalutazione in costante evoluzione.
Infine, sono poste delle brevi conclusioni del lavoro attraverso una critica mossa allo 
stesso sistema di valutazione universitario esposto in precedenza; che mira a far riflettere 
su ciò che i ranking e i sistemi di valutazione cercano di propinare al pubblico, mettendo 
in cattiva luce determinate università per favorirne altre.
2
Modelli multidimensionali per l'analisi del sistema universitario Capitolo 1 - Introduzione alla valutazione universitaria 1.1. Definizione di valutazione: in generale Valutare per migliorare. Oggigiorno il processo di valutazione è essenziale in qualsiasi 
attività per avere un riscontro su ciò che si è fatto e su ciò che si dovrà fare per poter 
migliorare il servizio prestato. 
La valutazione è il processo di raccolta sistematica e di analisi di diverse forme di dati 
(quantitativi, qualitativi e testuali), con il fine di stabilire ( assessing ) il valore delle 
ricadute, l'adeguatezza, l'efficacia e l'efficienza, la sostenibilità ed i benefici di un 
comportamento, tenuto conto delle azioni e delle risorse impiegate per fare fronte agli 
obiettivi cui sono indirizzati. 
Tale valutazione, lungi dall'essere fine a se stessa, coerentemente con il suo significato di 
valorizzare, deve essere finalizzata all'apprendimento ( learning) al fine di perseguire il 
miglioramento continuo dei risultati e degli impatti, ma anche quello di supportare scelte e 
decisioni ( decision making ).
Un qualunque esercizio di valutazione deve partire dalla definizione delle finalità e 
dell'oggetto della valutazione stessa (risultati o output, conseguenze di breve/medio 
periodo detti outcome e impatti in termini di sostanziali modifiche), dall'identificazione dei 
criteri su cui essa si basa, dei suoi strumenti di analisi e dei relativi dati.
Per quanto concerne la raccolta dei dati, essa deve risultare strutturalmente organica 
all'applicazione di metodologie di analisi funzionali alle esigenze e alle indicazioni emerse 
a livello normativo, e va organizzata, gestita e controllata in tutte le fasi del ciclo di 
valutazione dell'intervento.
Con riferimento agli obiettivi, alle risorse impiegate e ai risultati conseguiti due sono gli 
aspetti chiave dell'analisi: l'efficacia (rapporto tra effetti ottenuti e attesi) e l'efficienza 
(rapporto tra effetti ottenuti e risorse utilizzate).
3
Modelli multidimensionali per l'analisi del sistema universitario 1.2. Definizione di valutazione universitaria e sistema di valutazione Valutare l'università serve per migliorare, comunicare e garantire la qualità 
dell'istruzione superiore e della ricerca, che rappresentano oggi più che mai un bene 
pubblico necessario per partecipare alle sfide che stanno coinvolgendo le società più 
avanzate del mondo. 
Il tema, che è importante sia a livello economico sia a livello sociale viste le difficili e 
complesse riforme strutturali alle quali sono sottoposti i sistemi di formazione superiori 
europei in questi anni, ha ovviamente grande rilevanza statistica, poiché raccolta, controllo 
e analisi dei dati rappresentano la base su cui costruire un sistema di valutazione efficiente 
ed efficace . 
Partendo dai dati, la costruzione di indicatori e lo sviluppo di modelli adeguati 
rappresentano una condizione necessaria anche se non sufficiente per una seria valutazione 
dei processi, dei prodotti e dei risultati formativi. C'è quindi oggi un grande interesse da 
parte degli statistici verso la valutazione: il loro ruolo può essere di aiuto e anche di 
stimolo nello sviluppo di procedure sempre più rigorose e condivise.
Il ruolo degli statistici nello sviluppo degli emergenti sistemi di valutazione dell'università 
è oggi e lo sarà ancora più in futuro fondamentale: il loro contributo può aiutare a 
diffondere una maggiore consapevolezza delle potenzialità ma soprattutto dei limiti degli 
indicatori e dei modelli di valutazione adottati.
4
Modelli multidimensionali per l'analisi del sistema universitario Definita l'importanza di un'analisi ben strutturata, gli obiettivi generali di indagini 
concernenti la valutazione sono:
• valutare, ad uno strato esplorativo, il livello generale di apprezzamento della 
didattica degli studenti di un C.d.L. o di una Facoltà;
• verificare l'adeguamento alla normativa di legge;
• rendere disponibili al governo delle Facoltà elementi di valutazione oggettiva degli 
eventuali “casi” critici;
Nell’ambito della valutazione della didattica nelle università italiane, una parte del 
processo prevede la raccolta di dati tramite somministrazione di questionari agli studenti, 
in cui si chiede loro di esprimere, su una scala ordinale, il proprio giudizio su un insieme di 
aspetti relativi ai corsi che frequentano e ritenuti particolarmente rilevanti.
E', quindi, attuato un approccio sia di tipo quantitativo, che si basa su batterie di indicatori, 
indagini ad hoc, indagini sugli sbocchi occupazionali dei laureati, sulle strutture e le 
attrezzature di ricerca e sull’organizzazione amministrativa, sia qualitativo che si fonda sul 
confronto diretto con i soggetti, addetti e utenti, che operano nel sistema. Vi è, infatti, 
consapevolezza del rischio che un esclusivo ricorso ad indicatori non colga adeguatamente 
la dimensione qualitativa dell’istruzione universitaria.
Un sistema di valutazione, per essere tale, deve stabilire gli obiettivi, l'oggetto e il livello 
delle valutazioni (che tra l'altro presentano connotazioni diverse anche con riferimento al 
momento in cui sono svolte) e deve necessariamente tendere a predisporre valutazioni 
sistemiche, integrate (riferite a tutte le attività: ricerca, didattica e attività gestionali, inclusi 
i servizi) e coerenti a tutti i livelli. 
È bene chiarire subito che un sistema di valutazione delle università ha più obiettivi. In 
particolare di valutare le strutture organizzative ai vari livelli (università, dipartimenti, 
facoltà, corsi di studio, ecc.) in termini di efficienza, di efficacia interna ed esterna, del 
livello e di miglioramento della qualità delle attività, di accreditamento delle strutture, di 
accreditamento dei corsi di studio, dell'impatto dei programmi e degli interventi definiti e 
attuati. 
5
Modelli multidimensionali per l'analisi del sistema universitario Non è quindi corretto, come spesso si è fatto, a volte anche a livello europeo e certamente 
nella istituzione della nuova agenzia di valutazione (ANVUR), identificare un sistema di 
valutazione con la valutazione della qualità (Q uality Assurance ). 
Lo sviluppo della qualità è certamente uno degli obiettivi importanti in quanto si tratta di 
un pre-requisito, ma non si può ridurre tutta la valutazione a questo unico obiettivo. 
1.3. Organi ed enti per la valutazione universitaria La valutazione delle università in Italia ha origini recenti ed è stata “forzata”, come 
frequentemente accade nei processi di riforma che investono la pubblica amministrazione, 
da alcuni interventi legislativi che ne hanno scandito l’evoluzione: la legge n. 537 della 
fine del 1993, che ha istituito il sistema di valutazione, e la legge n. 370 del 1999, che l'ha 
riformato ed infine con il decreto Gelmini approvato il 31 dicembre scorso. Il tema della 
valutazione era già discusso fuori e dentro l'università anche prima della legge 537. 
Infatti, fin dall’inizio degli anni ’90 si son susseguiti provvedimenti, prima settoriali e 
successivamente di carattere più generale, che hanno stimolato il sorgere di sistemi di 
controllo interno nella pubblica amministrazione e che hanno prefigurato un modello che 
ha condizionato, certamente sul piano normativo, quello delineato per gli atenei. 
Parallelamente, all’interno del settore universitario, per opera della CRUI, sono state 
effettuate le prime sperimentazioni di valutazione e di messa a punto di batterie di 
indicatori.
Il sistema di controllo della valutazione universitaria in Italia è composto da vari organi di 
diversa natura, statale e non. Una breve rassegna verrà presentata qui di seguito.
6
Modelli multidimensionali per l'analisi del sistema universitario 1.3.1. La Conferenza dei rettori delle università italiane (CRUI)
La Conferenza dei Rettori delle Università Italiane ( CRUI ) è stata tra le prime istituzioni a 
sviluppare e sostenere percorsi di valutazione della qualità universitaria seguendo un 
approccio di tipo ISO 9000: si ricordano il progetto Campus (1995-2000, che ha coinvolto 
94 corsi di diploma di 32 atenei) e in particolare CampusOne (2001-2005, che ha coinvolto 
500 corsi di laurea di 70 atenei).
1.3.2. I Nuclei di valutazione interna (NVI)
Nel 1994 furono istituiti i Nuclei di V alutazione Interna ( NVI ), organi collegiali istituiti per 
la verifica, mediante analisi comparative dei costi e dei rendimenti, della realizzazione 
degli obiettivi, della corretta ed economica gestione delle risorse pubbliche, della 
produttività della ricerca e della didattica, dell'imparzialità e del buon andamento 
dell'azione amministrativa della Scuola.
Essi acquisiscono periodicamente l’opinione degli allievi sulle attività didattiche e 
trasmettono apposite relazioni annuali al MIUR e al Comitato nazionale per la valutazione 
universitaria.
Sono costituiti con decreto del Direttore e sono composti da un minimo di cinque ad un 
massimo di nove membri, di cui almeno due nominati tra studiosi ed esperti nel campo 
della valutazione anche in ambito non accademico. Il nucleo di valutazione interna dura in 
carica tre anni.
C'è da dire che questi organi sono stati istituiti, all'epoca, con una contraddizione di fondo 
di non poco conto: ogni ateneo doveva dar vita ad un nucleo interno che verificava, con 
imparzialità e competenza, l’efficienza e l’efficacia dell’università, ma nello stesso tempo 
doveva rendere conto, attraverso una relazione annuale, al Ministero (ovvero 
all’Osservatorio), che poteva utilizzare il suo lavoro per valutare i risultati conseguiti 
dall’ateneo, anche ai fini della assegnazione delle risorse. 
7
Modelli multidimensionali per l'analisi del sistema universitario Non ci si meraviglia, dunque, se gli atenei tardavano a dare vita ai nuclei di valutazione e 
se prevaleva la tentazione di ricorrere a personale interno alle singole università: il rischio 
che una valutazione troppo cruda poteva danneggiare finanziariamente l’ateneo, peraltro in 
un quadro di maggiore incertezza rispetto al passato, consigliava di percorre timidamente 
la strada della valutazione.
Tutto ciò in parte è stato ridefinito con il decreto legge approvato nel dicembre scorso, la 
composizione di questi nuclei cambierà e sarà maggiore la partecipazione di personale 
esterno all'ateneo oggetto di valutazione.
1.3.3. Il Comitato nazionale per la valutazione del sistema universitario (CNVSU)
Nel 1996 fu istituito l' ONVSU (Osservatorio per la valutazione del sistema universitario) 
poi trasformato nel CNVSU (Consiglio Nazionale per la valutazione del sistema 
universitario che utilizza linee d'azione attraverso indicatori di trasparenza, efficacia e 
efficienza) nel 1999.
I compiti del CNVSU sono: 
1. fissare i criteri generali per la valutazione delle attività delle università; 
2. predisporre una relazione annuale sulla valutazione del sistema universitario; 
3. promuovere la sperimentazione, l'applicazione e la diffusione di metodologie e pratiche 
di valutazione; 
4. determinare la natura delle informazioni e dei dati che i nuclei di valutazione degli 
atenei sono tenuti a comunicare; 
5. attuare un programma annuale di valutazioni esterne delle università o di singole 
strutture didattiche; 
6. effettuare valutazioni tecniche su proposte di nuove istituzioni universitarie statali e 
non statali in vista dell'autorizzazione al rilascio di titoli aventi valore legale; 
7. predisporre rapporti sullo stato di attuazione e sui risultati della programmazione; 
8. predisporre studi e documentazione sullo stato dell'istruzione universitaria, 
sull'attuazione del diritto allo studio e sugli accessi ai corsi di studio universitari; 
8
Modelli multidimensionali per l'analisi del sistema universitario 9. predisporre studi e documentazione per la definizione dei criteri di riparto della quota 
di riequilibrio del fondo per il finanziamento ordinario delle università; 
10. svolgere per il Ministro attività consultive, istruttorie, di valutazione, di definizione di 
standard, di parametri e di normativa tecnica, anche in relazione alle distinte attività 
delle università, nonché ai progetti e alle proposte presentate dalle medesime.
Le fasi per la costruzione di indici compositi e gli indicatori proposti dal CNVSU per la 
valutazione del sistema universitario Secondo l'approccio classico la costruzione di un indice prevede dieci fasi fondamentali 
che vanno dalla definizione del quadro teorico di riferimento, cioè del contesto in cui si 
sviluppa il fenomeno da studiare, alla presentazione dei risultati in modo che siano più 
comprensibili possibile.
 
In modo schematico le fasi sono:
• Definizione del quadro teorico di riferimento , che descrive il fenomeno che si vuole 
analizzare e le sue dimensioni, attraverso la selezione di indicatori e di pesi che ne 
riflettano l'importanza.
• Selezioni delle variabili , che dovrebbero essere scelte in base alla loro misurabilità, 
alla loro rilevanza rispetto al fenomeno da studiare e alle relazioni che esistono con le 
altre.
• Imputazione dei dati mancanti , che è necessaria per avere una data set completo, in 
modo da ridurre le distorsioni introdotte dalla presenza di dati mancanti e offrire 
maggiori garanzie sulla coerenza dei risultati derivanti dalle analisi applicate.
• Analisi dimensionale , attraverso la quale è possibile comprendere la struttura 
complessiva del data set e, di conseguenza, capire il livello di complessità sul quale 
devono essere costruiti gli indicatori compositi.
9
Modelli multidimensionali per l'analisi del sistema universitario • Normalizzazione , che ha come fine quello di ottenere indicatori depurati dalle 
specifiche unità di misura e che siano, quindi, comparabili.
• Scelta del sistema di pesi e del metodo di aggregazione , che deve essere effettuata 
secondo le linee delineate dal quadro teorico. Questa è la fase centrale per la 
costruzione degli indicatori compositi perché permette il loro reale calcolo.
• Analisi di sensitività e robustezza , che viene usata per determinare quanto è 
“sensibile” un modello in relazione al mutare dei parametri chiave che lo determinano.
• Ritorno ai dati reali , che rileva le principali linee guida che supportano la valutazione 
della performance.
• Studio delle relazioni con altri indicatori esistenti , che viene effettuato attraverso 
l'osservazione delle correlazioni dell'indicatore composito risultato dallo studio con 
quelli già esistenti, per comprendere maggiormente il fenomeno in esame.
• Presenza dei risultati , che deve ricevere la giusta attenzione poiché può influenzare o 
contribuire a migliorare l'interpretabilità dei risultati.
Gli indicatori proposti dal CNVSU come griglia minima di indicatori che dovrebbero 
descrivere sinteticamente e in modo quantitativo l'attività delle università, sono 22, ottenuti 
come rapporto tra variabili quantitative, a livello dell'intero ateneo, delle singole facoltà, 
dei corsi di laurea o dei dipartimenti. 
10