9
ai propri obiettivi formativi, o se in considerazione della
inadeguatezza dei risultati raggiunti, modificare parte dei processi
messi in atto o addirittura porre mano ad una ridefinizione degli
obiettivi.
Il corso di studio dovrebbe dunque poter essere pensato e progettato
come un insieme di attività fra loro collegate, organizzate e gestite in
modo da contribuire ad ottenere i risultati desiderati. La valutazione
investe pertanto ogni attività, ogni struttura che concorre alla
progettazione e gestione del corso; questa attenzione ai singoli
segmenti del processo formativo dovrebbe condurre a tenere sotto
controllo il processo complessivo e, se necessario, a migliorarlo in
vista del raggiungimento del risultato finale. In questo senso appare
evidente che il monitoraggio dovrebbe avvenire non unicamente sul
risultato finale, ma anche attraverso le risultanti di indicatori intermedi
utili per seguire in itinere l’andamento del corso.
La valutazione dovrebbe investire quindi l’insieme complesso di
attività che compongono il processo formativo (definizione degli
obiettivi di apprendimento, progettazione del percorso formativo,
individuazione delle risorse necessarie, erogazione, valutazione dei
risultati) e che, se ben organizzate e gestite, costituiscono una
garanzia dell’affidabilità del prodotto finale: in questa prospettiva la
visione di processo e non solo di risultato diventa fondamentale.
Per raggiungere tale obiettivo sono stati utilizzati oltre che le
normali tecniche di campionamento statistico anche modelli di analisi
multivariata. In particolare dopo aver costruito il campione
rappresentativo, elaborato un questionario e infine effettuato lo
spoglio, il data base sarà analizzato attraverso la costruzione di
equazioni strutturali e si applicherà il software Lisrel.
Il punto di partenza di Lisrel è dato dalla matrice di varianza –
covarianza fra le variabili osservate. Il punto di arrivo è costituito dai
parametri di un modello di equazioni strutturali che descrivono i nessi
causali fra le variabili. Se è vero che, partendo dai dati (matrice di
10
covarianze osservate) nessuna relazione causale può essere
provata, è altresì vero che, partendo da una certa relazione causale
teorica (cioè ipotizzata) possiamo produrre qualcosa di simile ai dati,
cioè una matrice di covarianze teorica che confrontata con l’analoga
matrice osservata ci permetterà di capire quanto il nostro modello
teorico è compatibile con i dati osservati.
Si stabilisce a priori, su base puramente teorica e quindi pre-
empirica, il modello causale. Ciò comporta la definizione di un certo
numero di parametri, che diventano le incognite del modello da
stimare. La loro stima avviene facendo interagire modello e dati,
trovando cioè a partire dai dati ma col vincolo del modello quei valori
dei parametri che una volta collocati nel modello, producono lo scarto
minore tra matrice di covarianze prodotta dal modello e matrice di
covarianza osservata nei dati.
Lo stesso scarto si trova nella fase successiva alla base della
procedura di falsificazione del modello: se troppo elevato il modello
andrà respinto.
Il presente lavoro di tesi è articolato in cinque capitoli ed
un’appendice statistica relativa all’utilizzo del software Lisrel 8.54.
Il primo capitolo parla della riforma universitaria nei vari paesi
europei, in particolare su come la riforma abbia cambiato il modo di
vedere l’università.
Il secondo capitolo parla della valutazione dei corsi di studio,
soffermandosi sul progetto CampusOne. Tale progetto ha apportato
notevoli cambiamenti nel panorama universitario nazionale e sono
numerosi i fattori che spingono il modello italiano ad equipararsi a
quello degli altri Paesi europei.
11
Nel terzo capitolo si parla dell’indagine statistica condotta sugli
studenti del secondo anno del corso di Laurea in Economia
Aziendale della facoltà di Economia dell’Università di Catania. Tale
capitolo focalizza l’attenzione sullo spoglio dei dati relativi ai
questionari somministrati ad un campione di studenti.
Nel quarto capitolo chiariremo con più precisione i termini
dell’approccio esplicativo, attraverso la proposta di una classe di
modelli adeguati, per molte loro proprietà, alla natura e agli obiettivi
della valutazione della qualità: si tratta dei modelli ad equazioni
strutturali.
Nel quinto capitolo ci occuperemo dell’identificazione, stima e
miglioramento di alcuni modelli ad equazioni strutturali che
confronteremo tra loro alla ricerca della soluzione “migliore”. Il lavoro
si concluderà con una discussione sui risultati ottenuti e sui possibili
impieghi dei modelli stimati all’interno del corso di laurea in
Economia Aziendale.
12
CAPITOLO 1 LA RIFORMA DEL SISTEMA UNIVERSITARIO NEI
VARI PAESI EUROPEI.
1.1 Qualità didattica in ambito universitario.
Il sistema universitario italiano è attualmente percorso da un
profondo processo di evoluzione segnato, tra l’altro, dal passaggio
da un forte accentramento delle funzioni decisionali di controllo e di
destinazione dei fondi ad una progressiva ed accentuata autonomia
delle istituzioni universitarie.
In questo mutato scenario, imperniato sullo sviluppo del
decentramento, delle autonomie e delle responsabilità e sulla
necessità di adattare in modo continuo gli scopi e le modalità
operative ai mutamenti e ai bisogni diversi della società, l’attività di
valutazione nel sistema universitario diventa uno strumento
strategico di verifica, ex-ante, in itinere ed ex-post, della
realizzazione degli obiettivi programmati in termini di qualità e
quantità dei processi e dei prodotti della formazione, della ricerca e
della gestione, con una funzione di garanzia nei riguardi degli utenti e
della società nel suo complesso.
È evidente che un’attività di valutazione assume connotazioni diverse
secondo la natura (oggetto) e del livello (macro o micro) dei processi
decisionali cui fa riferimento e, quindi, del grado di maggiore o
minore generalità del problema affrontato, della criticità del contenuto
decisionale e del livello dei soggetti istituzionali che intervengono
nell’eventuale catena delle scelte e delle decisioni
1
.
Nel sistema universitario italiano, alla presenza di tre livelli
decisionali distinti, il più elevato di natura politico-strategica e
d’indirizzo generale (il Ministero), il secondo rappresentato dai singoli
atenei e il terzo dalle varie unità operative all'interno di ciascun
ateneo (facoltà, corsi di laurea e di diploma, dipartimenti, ecc.), le
1
Una disamina più approfondita di questi temi è contenuta in “La valutazione del
sistema universitario: l’organizzazione e le metodologie di lavoro”, Doc 5/97,
settembre 1997 e in “Programmazione e valutazione dello sviluppo del sistema
universitario”, Reprint 1/98, ottobre 1998.
13
valutazioni fanno riferimento ad obiettivi diversi e sono fatte
separatamente dai rispettivi organismi di valutazione per le differenti
unità (Osservatorio nazionale, Nuclei di valutazione interna,
commissioni o altri "organismi” di valutazione per corsi di laurea e di
diploma, per facoltà, ecc.), nel rispetto e nella valorizzazione
dell'autonomia. A questo riguardo si distingue, com’è noto, tra la
valutazione interna (o autovalutazione) svolta da organismi “interni”
alle unità (o ai processi) da valutare e la valutazione esterna svolta
da organismi “esterni” o non coinvolti nell’attività da valutare;
naturalmente la valutazione può riguardare sia programmi o attività
specifiche, sia il complesso delle attività svolte.
Nel disegno di un sistema di valutazione completo, è senz’altro
indispensabile definire le interazioni e i necessari raccordi tra i
processi d’autovalutazione e valutazione interna e di valutazione
esterna, ma oltre a ciò è importante anche prevedere una
valutazione esterna di tipo istituzionale che leghi i momenti
d’autovalutazione a quelli di valutazione esterna con riguardo al
complesso delle strutture e delle attività svolte da una sede
universitaria. La valutazione istituzionale consente, infatti, di
considerare l’istituzione come un unico soggetto decisionale,
esaminando simultaneamente l’insieme delle strutture e delle attività
che vi si svolgono - didattica, ricerca, aspetti gestionali, servizi – in
modo da evidenziare la qualità ed il grado di raggiungimento degli
obiettivi prefissati.
Per questo motivo l’Osservatorio ha ritenuto opportuno avviare un
Programma di valutazione istituzionale delle università (Programma
VIU), che inizialmente è portato avanti a titolo sperimentale da parte
dei componenti dell’Osservatorio stesso,
2
in modo da verificare sul
campo le metodologie più opportune ed acquisire le necessarie
2
Una valutazione istituzionale è già stata richiesta all’Osservatorio da parte delle
Università della Basilicata e di Camerino. L’Osservatorio ha già svolto la prima
visita di contatto presso l’Università della Basilicata nel mese di novembre 1998
e il Nucleo di valutazione di tale università ha già predisposto le richiesta
relazione di autovalutazione.
14
indicazioni per predisporre apposite linee guida per
l’implementazione del programma VIU, che a regime verrà svolto da
apposite Commissioni di valutazione (tipo peer review).
Nel predisporre il programma VIU si è tenuto conto delle principali
esperienze di valutazione effettuate all’estero e in Italia, con
particolare riferimento a quelle di valutazione istituzionale e alla
possibilità di estendere tali approcci al contesto italiano.
L’attività di valutazione si é molto sviluppata negli ultimi decenni, in
particolare all’estero e recentemente anche in Italia, ed è divenuta
uno strumento irrinunciabile del management dei programmi e delle
politiche di intervento in campo economico e sociale e delle attività in
genere delle amministrazioni pubbliche, in particolare di quelle unità
che producono servizi di pubblica utilità alla persona. Proprio per
questo, si sta assistendo al diffondersi, in modo esponenziale, di
studi sia empirici che teorici nel campo della valutazione e delle
tecniche e metodologie di “misurazione” e di analisi da impiegare;
studi che, dato l’argomento, sono ovviamente svolti da studiosi con
competenze disciplinari diverse, presentano caratteristiche molto
variegate e non sempre vengono condotti in modo rigoroso (Stame,
1998; Palumbo, 2000).
L’idea di avvalersi di gruppi di revisori/valutatori in ambito
universitario è stata introdotta negli USA intorno agli anni ’40, quando
già si concepivano le visite periodiche presso le università come
forme di accreditamento, in quanto l’esigenza di avvalersi di
programmi di valutazione istituzionale era legata all’insufficiente
controllo da parte del governo centrale. L’esperienza americana è
stata successivamente utilizzata in vari altri paesi. Tali iniziative
partivano dall’ipotesi che il processo di valutazione, già nella fase di
definizione del calendario delle visite, consentisse di stimolare la
partecipazione e la consapevolezza dei soggetti coinvolti,
incentivando lo sviluppo di autonome capacità di auto-analisi. Non si
15
trattava comunque di vere e proprie valutazioni istituzionali, ma
soprattutto di valutazioni effettuate al fine dell’accreditamento.
Linee guida per un approccio alla valutazione in ambito universitario
più marcatamente europeo sono riscontrabili nella relazione di un
comitato esterno, istituito in Olanda nel 1981, che “fotografava” le
iniziative attivate nelle facoltà universitarie volte a sviluppare la
capacità di autovalutazione.
Successivamente, il progressivo aumento dell’autonomia delle
istituzioni universitarie europee ha portato al rapido diffondersi di
esigenze valutative, e quindi allo sviluppo di sistemi di
autovalutazione e valutazione.
Sono ormai molti i paesi dell’Unione Europea che hanno istituito un
qualche sistema di valutazione nazionale e dal canto loro, anche
quei paesi nei quali la valutazione non è ancora istituzionalizzata,
vantano un certo numero di iniziative a livello locale oppure hanno
istituito sistemi di valutazione su base volontaria. La tabella 1
fornisce, in estrema sintesi, una panoramica delle principali
caratteristiche dei sistemi di valutazione dell’istruzione superiore (in
particolare universitaria) nei paesi europei di cui si hanno sufficienti
informazioni.
In particolare, essa contiene informazioni su:
ƒ Gli organismi di valutazione istituiti nei vari paesi: si può
rilevare che nella maggior parte dei casi vi sono appositi
organismi istituiti da ministri o altri organi istituzionali; laddove
non ci sono specifiche agenzie è, in genere, la Conferenza dei
Rettori oppure un’associazione delle università a gestire le
attività di valutazione;
ƒ L’organismo referente della valutazione: rappresenta
sicuramente un aspetto di differenziazione dei vari sistemi di
valutazione, dal momento che esso varia da paese a paese
per ragioni storiche o politiche;
16
ƒ L’estensione (universo di riferimento) della valutazione: in
genere è estesa a tutti gli istituti di grado universitario, talvolta
con una distinzione tra università e politecnici;
ƒ Gli obiettivi della valutazione: sono quasi sempre orientati
verso un generale miglioramento della qualità ed una
maggiore trasparenza dei processi;
ƒ Il livello della valutazione: nella maggioranza dei casi sono
valutati singoli programmi, di formazione;
ƒ Gli aspetti valutati: in genere sono più frequentemente
“oggetto” di valutazione la didattica e la ricerca, più raramente
sono valutati l’apprendimento, le infrastrutture e la gestione ;
ƒ Gli strumenti (o metodi) utilizzati: le metodologie di
valutazione utilizzate sono, ovviamente, differenti in relazione
agli obiettivi; si rileva, comunque, un frequente utilizzo della
metodologia di valutazione a due fasi (o steps), costituita da
una prima fase di autovalutazione seguita da una fase di
valutazione esterna, e il ricorso a report pubblici per far
conoscere i risultati della valutazione;
ƒ Periodicità: non ci sono notizie sufficientemente precise sulla
periodicità della valutazione.
Ricevi informazioni sui nostri servizi, sulle offerte e non perdere news e consigli su università e lavoro.
