Introduzione
3
di questo lavoro, relative ai risultati raggiunti attraverso l’implementazione della logica
fuzzy, abbiano come punto di riferimento proprio la media aritmetica. La prima parte,
viene invece dedicata all’approfondimento dei temi generali concernenti, da un lato la
valutazione della didattica nella legislazione italiana e lo strumento del questionario,
dall’altro la logica sfocata e suoi fondamenti.
Capitolo 1
4
CAPITOLO 1
LA VALUTAZIONE DELLA DIDATTICA NELLA
LEGISLAZIONE ITALIANA
L’introduzione nel nostro ordinamento della legge 24 dicembre 1993 n° 537,
collegata alla finanziaria del medesimo anno, affida alle amministrazioni centrali un
ruolo di indirizzo, programmazione e valutazione dell’azione delle amministrazioni
periferiche e a quest’ultime la responsabilità dell’utilizzo delle risorse e della gestione.
In questo quadro si pone il problema di assicurare la presenza di procedure che
consentano la valutazione della qualità dei servizi offerti, anche attraverso una
misurazione del loro grado di efficacia ed efficienza. Efficacia rispetto agli scopi
dell’azione, efficienza rispetto al processo di produzione del servizio stesso.
Rispetto alle università se ne occupa l’articolo 5 della legge (sopra menzionata)
attraverso l’istituzione dei Nuclei di valutazione interna e dell’Osservatorio per la
valutazione del sistema universitario.
1
1.1 I nuclei di valutazione interna
“Nelle università, ove già non esistano, sono istituiti nuclei di valutazione interna
con il compito di verificare, mediante analisi comparative dei costi e dei rendimenti, la
corretta gestione delle risorse pubbliche, la produttività della ricerca e della didattica,
nonché l’imparzialità ed il buon andamento dell’azione amministrativa. I nuclei
determinano i parametri di riferimento del controllo anche su indicazione degli organi
generali di direzione, cui riferiscono con apposita relazione almeno annualmente” recita
l’art. 5 comma 22 della legge 537/93. Il dettato legislativo oltre a determinare le
principali funzioni attribuite ai nuclei stabilisce che la relazione, menzionata nel comma
22, debba essere trasmessa al Ministero dell’università e della ricerca scientifica e
tecnologica (MURST), al Consiglio universitario nazionale e alla Conferenza permanente
dei rettori (CRUI). A questo punto è necessario fare riferimento alla legge 19 ottobre
1
vedi: http://www.pplink.org/proteo/laboratcriticasociale/quaderno_20lcs_universita.htm
Capitolo 1
5
1999 n° 370 la quale, all’art. 1 comma 1, stabilisce che le università debbano adottare un
sistema di valutazione interna della gestione amministrativa, delle attività didattiche e di
ricerca e degli interventi di sostegno al diritto di studio. Il comma 2 dell’art. 1 affida tale
attività di valutazione al nucleo, stabilendo inoltre che questo debba essere un organo
collegiale, disciplinato dallo statuto delle università, composto da un minino di cinque ad
un massimo di nove membri di cui almeno due nominati tra studiosi ed esperti nel campo
della valutazione anche in ambito non accademico. Ai nuclei viene assicurata dalle
università non solo autonomia operativa ma anche il diritto di accesso ai dati e alle
informazioni necessari, la pubblicità e la diffusione degli atti nel rispetto della normativa
a tutela della riservatezza.
L’attribuzione più importante, ai fini di questo lavoro, è quella relativa alla parte finale
dell’art. 1 comma 2 in quanto prescrive che i nuclei debbano acquisire periodicamente,
mantenendone l’anonimato, le opinioni degli studenti frequentanti le attività didattiche e
debbano trasmettere un’apposita relazione , entro il 30 aprile di ciascun anno, al MURST
e al Comitato per la valutazione del sistema universitario
2
. (Da evidenziare come la legge
370/99, a differenza della legge 537/93, non prescriva l’obbligo di trasmissione della
relazione alla Conferenza permanente dei rettori).
Le sanzioni per la mancata trasmissione della relazione annuale prendono la forma di
mancata assegnazione agli atenei di una quota del fondo per il finanziamento ordinario
delle università. Per maggiore chiarezza è necessario sottolineare che la legge 537/93
all’art. 5 comma 1 stabilisce che a partire dall’esercizio finanziario 1994 i mezzi
finanziari che lo stato destina alle università sono iscritti in tre distinti capitoli dello stato
di previsione del MURST, denominati:
‰ Fondo per il finanziamento ordinario delle università comprendente, oltre le
spese per funzionamento degli atenei e per ordinaria manutenzione delle strutture
universitarie e ricerca scientifica, le spese relative al personale docente,
ricercatore e non docente;
‰ Fondo per l’edilizia universitaria e per le grandi attrezzature scientifiche;
‰ Fondo per la programmazione dello sviluppo del sistema universitario.
2
vedi paragrafo 1.4
Capitolo 1
6
1.2 Osservatorio per la valutazione del sistema universitario
L’istituzione dell’osservatorio è prevista dalla legge 537/93 la quale prescrive che
la definizione dell’organo in questione sia demandata al MURST il quale ha provveduto
con decreto del 22 febbraio 1996 dal titolo “Istituzione dell’Osservatorio per la
valutazione del sistema universitario”.
L’Osservatorio è quindi istituito presso il MURST con le finalità generali, previste
dall’art. 1, di:
− Valutare i risultati relativi all’efficienza ed alla produttività delle attività di
ricerca e di formazione;
− Verificare i piani di sviluppo e di riequilibrio del sistema universitario.
L’art. 2 del decreto precisa in maniera puntuale i compiti assegnati all’Osservatorio
nell’ambito delle finalità generali sopra menzionate:
− Predisposizione della documentazione per il rapporto triennale sullo stato
dell’istruzione universitaria, formulato sulla base delle relazioni delle Università;
− Presentazione annuale di un rapporto sulla verifica del piano triennale di
sviluppo dell’Università;
− Predisposizione della documentazione e delle proposte tecniche utili a definire i
criteri di riparto della quota di riequilibrio del fondo per il finanziamento
ordinario delle Università;
− Predisposizione della documentazione per il rapporto triennale sull’attuazione
del diritto agli studi universitari, tenuto conto dei dati trasmessi dalle Regioni e
dalle Università;
− Presentazione di una relazione annuale sulla valutazione del sistema universitario
italiano elaborata sulla base delle relazioni predisposte dai nuclei di valutazione
di ciascuna Università, e tenuto conto degli elementi raccolti di propria iniziativa
dall’Osservatorio, alle cui richieste le Università sono tenute a dare completa ed
esaustiva risposta;
− Assicurazione al MURST del supporto necessario per la promozione e la
diffusione della cultura della valutazione e della autovalutazione.
Capitolo 1
7
Gli articoli successivi del decreto precisano che:
− L’attività dell’Osservatorio è definita da un programma annuale predisposto
entro il 30 ottobre di ciascun anno ed approvato dal Ministro dell’università e
della ricerca scientifica e tecnologica;
− L’Osservatorio presenta annualmente al Ministro ed alla competenti
commissioni parlamentari una relazione sull’attività svolta;
− Le università e gli Istituti universitari collaborano con l’Osservatorio fornendo
allo stesso tutti i dati e le informazioni autonomamente richiesti.
− Le valutazioni e le verifiche previste dall’art.1 sono condotte sulla base di
procedure e di standard quantitativi definiti dall’Osservatorio che al riguardo
acquisisce pareri e proposte dalla Conferenza permanente dei rettori e del
Consiglio universitario nazionale.
− L’Osservatorio si compone di 5 membri, esperti dotati di comprovata
qualificazione professionale, nominati con decreto del Ministro dell’università e
della ricerca scientifica e tecnologica, di cui uno su terna designata dalla
Conferenza permanente dei rettori, uno su terna designata dal Consiglio
Universitario Nazionale e tre scelti dal Ministro stesso di cui due esterni al
mondo accademico;
− I componenti dell’Osservatorio, che non possono ricoprire l’incarico di Rettore
di Università o di Direttore di Istituti universitari o di membro del Consiglio
Universitario Nazionale, restano in carica tre anni e possono essere riconfermati
una sola volta.
In considerazione del fatto che successive norme legislative, regolamenti e decreti hanno
attribuito all’Osservatorio ulteriori compiti rispetto a quelli originari, è divenuta
necessaria una loro ridefinizione attuata grazie al D.M. 5 maggio 1999 che ha sostituito il
precedente D.M. 22 febbraio 1996.
Il nuovo decreto stabilisce che la finalità dell’Osservatorio è quella di valutare i risultati
relativi all’efficienza, all’efficacia ed alla qualità delle attività di ricerca e di formazione
e di verificare i programmi di sviluppo e di riequilibrio del sistema universitario.
I compiti assegnati all’Osservatorio secondo quanto prescritto dal decreto 5/5/99 sono
qui riportati in dettaglio:
Capitolo 1
8
− Predisposizione di rapporti relativi allo stato di attuazione e ai risultati della
programmazione;
− Valutazioni istituzionali delle università;
− Effettuazione di valutazioni tecniche in merito a proposte di nuove istituzioni
universitarie statali e non statali ai fini dell’autorizzazione al rilascio di titoli
aventi valore legale;
− Predisposizione di studi e documentazioni in relazione allo stato dell’istruzione
universitaria, all’attuazione del diritto allo studio, agli accessi ai corsi di studi
universitari e alla definizione dei criteri di riparto della quota di riequilibrio del
fondo per il finanziamento ordinario delle università;
− Presentazione di una relazione annuale sulla valutazione del sistema universitario
e promozione della cultura della valutazione e autovalutazione.
Importante modifica alla precedente legislazione viene dall’art. 6 del decreto in esame, il
quale alza i componenti dell’Osservatorio fino a quota 7 membri, contro i cinque
prescritti dal decreto 22/02/96. I membri dell’Osservatorio sono nominati dal Ministro
dell’università e della ricerca scientifica e tecnologica, scelti tra studiosi di comprovata
qualificazione ed esperienza nel campo della valutazione (anche in ambito non
accademico), di cui due su una rosa di cinque nomi designata dal Consiglio universitario
nazionale (CUN).
L’Osservatorio per la valutazione del sistema universitario ha avuto vita breve, in quanto
dopo il suo insediamento presso il MURST nel 1996 è stato soppresso in data 19 aprile
2000, e sostituito dal Comitato Nazionale per la valutazione del sistema universitario così
come prescritto dalla già citata legge 19/10/1999 n° 370.
1.3 Coordinamento tra l’Osservatorio e i nuclei
Poiché gli interlocutori dell’Osservatorio, all’interno dell’università, sono i nuclei
si è considerato opportuno e necessario la costituzione di una sede di incontro allo scopo
di permettere lo scambio di informazioni e la disamina di problematiche comuni tra i
nuclei. Sulla base di queste considerazioni l’Osservatorio si è fatto promotore della
Capitolo 1
9
nascita di un Collegio dei Nuclei di Valutazione (CNV), cui partecipano tutti i presidenti
dei nuclei, e di un Comitato di coordinamento tra il CNV e l’Osservatorio ai quali sono
attribuiti i seguenti compiti:
− scambio di informazioni e conoscenze riguardanti le attività dei nuclei;
− collaborazione tra i nuclei e tra nuclei ed Osservatorio per promuovere l’attività
di valutazione;
− coordinamento delle attività dell’Osservatorio con quelle dei nuclei per quanto
concerne la comparabilità dei risultati di studi e indagini (sviluppati dai nuclei
stessi) e per quanto riguarda quel minimo di dati necessari all’Osservatorio per la
predisposizione di una relazione attinente l’efficienza e l’efficacia del sistema
universitario.
1.4 Comitato nazionale per la valutazione del sistema universitario
Il comitato è un organo collegiale che, come prescrive la legge che determina il suo
insediamento (L. 370/99), si compone di nove membri, anche stranieri, di comprovata
qualificazione ed esperienza nel campo della valutazione, scelti in una pluralità di settori
metodologici e disciplinari (anche in ambito non accademico) e nominati con decreto del
Ministro dell’università e della ricerca scientifica e tecnologica previo parere delle
competenti Commissioni parlamentari. Come si evince dal decreto MURST 4 aprile 2000
n° 178, i membri del comitato, che non possono ricoprire le cariche di rettore, preside di
facoltà, direttore di dipartimento, direttore amministrativo, presidente o componente dei
nuclei di valutazione e l’incarico di presidente o componente del Consiglio universitario
nazionale, restano in carica quattro anni e possono essere confermati una sola volta.
L’art. 2 della legge 370/99 stabilisce i compiti dell’Osservatorio:
− fissare i criteri generali per la valutazione delle attività delle università previa
consultazione della Conferenza dei rettori delle università italiane (CRUI), del
Consiglio universitario nazionale (CUN) e del Consiglio nazionale degli studenti
universitari (CNSU), ove presente;
Capitolo 1
10
− promuovere la sperimentazione, l’applicazione e la diffusione di metodologie e
pratiche di valutazione;
− determinare ogni triennio la natura delle informazioni e i dati che i nuclei di
valutazione sono tenuti a comunicare annualmente;
− predisporre ed attuare, sulla base delle relazioni dei nuclei di valutazione degli
atenei e di altre informazioni acquisite, un programma annuale di valutazioni
esterne delle università con particolare riferimento alla qualità delle attività
universitarie tenuto conto di standard riconosciuti a livello internazionale ;
− predisporre annualmente una relazione sulle attività di valutazione svolte;
− svolgere i compiti assegnati dalla legislazione vigente all’Osservatorio per la
valutazione del sistema universitario a partire dal 19 aprile 2000;
− svolgere ulteriori attività consultive, istruttorie, di valutazione, di definizione di
standard su richiesta del Ministro dell’università e della ricerca scientifica e
tecnologica.
Il già citato d.m. del 4 aprile 2000 oltre alla costituzione regolamenta il Comitato in
materia di funzionamento in relazione alla programmazione degli interventi e dei compiti
del presidente e vice-presidente, in relazione alle adunanze e al supporto amministrativo.
1.5 Conferenza dei rettori delle università italiane
3
La conferenza dei Rettori è un organo con funzioni propositive, di consultazione e
di stimolo per l’introduzione nelle sedi accademiche di elementi di innovazione, nonché
mezzo di diffusione di metodologie, progetti e programmi ritenuti validi per l’intero
mondo universitario. Nell’approfondire lo studio e l’analisi delle problematiche degli
atenei, la CRUI si ispira alla conoscenza coordinata e obiettiva di interessi che superano
quelli dei singoli settori o categorie, pertanto le attività svolte dalla CRUI si rivolgono
non solo agli istituti di istruzione superiore, ma anche alle istituzioni politicamente e
socialmente rilevanti a livello locale, nazionale ed internazionale.
Nel porsi come luogo di sperimentazione dell’innovazione universitaria la CRUI non
rivendica una posizione di monopolio ma offre il proprio know-how unito alla
3
paragrafo realizzato facendo riferimento al sito web http://www.crui.it
Capitolo 1
11
conoscenza dei meccanismi universitari. E’ bene ricordare che gli atenei italiani operano
in regime di autonomia e pertanto tutte le attività della CRUI si svolgono nel rispetto
della stessa, intendendo con ciò che le università sono libere di aderire o meno alle
indicazioni fornite dall’organo in esame.
Per chiarezza espositiva si riportano in dettaglio quelli che sono gli scopi perseguiti dalla
CRUI:
− approfondire i problemi del Sistema Universitario rappresentandone i bisogni
alle autorità governative e parlamentari;
− esprimere un parere sul piano di sviluppo delle Università e sullo stato
dell'Istruzione Universitaria;
− promuovere e sostenere le iniziative delle Università nelle sedi nazionali e
internazionali mediante rapporti con le analoghe associazioni comunitarie e
straniere.
Si riportano i compiti assegnati alla CRUI dalle leggi dello Stato:
− partecipare, ai sensi della L. 168/89, alla definizione del piano triennale di
sviluppo delle università, che viene adottato ogni tre anni dal Ministro
dell’università e della ricerca scientifica e tecnologica, formulando entro 30
giorni dalla richiesta del MURST una propria relazione generale riferita
all’intero sistema universitario;
− secondo quanto prescrive la L. 449/97 art. 51 comma 1, la CRUI deve essere
ascoltata annualmente dal MURST relativamente alla determinazione dal
fabbisogno finanziario programmato per ciascun ateneo.
− ai sensi della L. 537/93 art.3 comma 3, la CRUI deve esprimere un parere in
merito ai criteri di ripartizione della quota di riequilibrio tra le università per il
finanziamento ordinario delle stesse. La legge cui si sta facendo riferimento
prescrive inoltre, che la relazione dei nuclei di valutazione interna venga
trasmessa oltre all’Osservatorio per la valutazione del sistema universitario (ora
sostituito dal Comitato nazionale per la valutazione del sistema universitario)
Capitolo 1
12
anche alla CRUI
4
, ai fini di una valutazione dei risultati relativi all’efficienza ed
alla produttività delle attività di ricerca e formazione e per la verifica dei
programmi di sviluppo e di riequilibrio del sistema universitario anche in
relazione ad una successiva assegnazione delle risorse;
− ai sensi della Circolare 23/3/94 n.6 del Ministro per la Funzione Pubblica,
proporre al Dipartimento della Funzione Pubblica le metodologie per la
valutazione dei carichi di lavoro che ritiene idonee tenute conto le specificità
delle singole università. A tal fine la CRUI presenta una relazione dettagliata e
uno studio sperimentale dei casi per ciascuna metodologia proposta.
1.6 La valutazione della didattica da parte degli studenti
Dopo aver passato in rassegna i vari organi, istituiti dalla legislazione italiana in
relazione al tema della valutazione della didattica, si passano ad analizzare gli aspetti
maggiormente legati al questionario studenti che è il mezzo prescritto per la raccolta
delle opinioni dei discenti.
E’ opportuno precisare che nell’andare a sviluppare un questionario di questo tipo,
occorre procedere ad una delimitazione del campo d’indagine in funzione degli obiettivi
che si intendono perseguire; in caso contrario si correrebbe il rischio di assegnare alla
rilevazione delle opinioni degli studenti funzioni improprie e/o eccessivamente
ambiziose.
Pertanto nella definizione degli obiettivi ragionevolmente perseguibili si devono
individuare quei fattori che facilitano o ostacolano l’apprendimento degli studenti sia in
termini di svolgimento dell’attività didattica sia relazione alle condizioni logistiche in cui
la stessa si realizza. L’individuazione di tali fattori deve quindi essere finalizzata a:
− attivare specifici interventi, a livello di corso di studi, facoltà o ateneo per
modificare e migliorare, dove si rivela la necessità, le modalità didattiche e
logistiche di svolgimento dei corsi;
4
vedi par. 1.1
Capitolo 1
13
− attivare politiche di incentivazione a livello di facoltà, ateneo e ministeriale per
facilitare i processi di adeguamento ai fini di un miglioramento della qualità
della didattica.
Da ciò si capisce come la rilevazione dell’opinione degli studenti debba fornire
informazioni complementari a quelle usualmente disponibili presso gli archivi di ateneo
(dati sugli immatricolati, sugli iscritti, sugli abbandoni, sui tempi di conseguimento del
titolo ecc..) e la loro elaborazione debba essere solo uno degli elementi su cui fondare la
valutazione del processo formativo. Tutto questo è molto importante, in quanto non si
devono creare situazioni in cui le opinioni degli studenti siano il mezzo per determinare
meccanismi automatici di premio/sanzione ma piuttosto passino attraverso il filtro di un
giudizio quantomeno competente e coerente rispetto ai fini che si stanno perseguendo.
Queste considerazioni conducono a ricordare che, qualsiasi sia lo scopo della
valutazione, è sempre esistita molta polemica attorno all’affidabilità e alla significatività
delle valutazioni degli studenti. Le argomentazioni, in contrasto con lo strumento della
valutazione, vertono sul fatto che non esisterebbe correlazione tra l’effettivo
apprendimento e la valutazione della qualità della didattica in quanto si ritiene che gli
studenti potranno assumere una posizione obiettiva per valutare ciò che stanno studiando
solo al termine degli studi. La ricerca ha però dimostrato che le valutazioni degli studenti
sono piuttosto affidabili se provengono da un campione di almeno 10 individui e gli
argomenti di valutazione sono accuratamente selezionati: ciò vuol dire che i discenti sono
buoni giudici in questioni quali la capacità del docente di esporre con chiarezza, mentre
si considera inopportuno sottoporre loro domande sulla validità dei contenuti. Inoltre
ricerche condotte in università americane come la Purdue University e Harvard hanno
mostrato che:
− gli studenti tendono a scegliere gli insegnamenti con la valutazione più alta
anche se è noto che richiedono un maggiore lavoro;
− le valutazioni degli studenti producono qualche miglioramento della didattica dei
docenti ma in modo limitato;
− i docenti migliori sono quelli cui gli studenti attribuiscono punteggi più elevati;
inoltre vengono valutati di più gli insegnamenti che richiedono più lavoro o che
sono più difficili.
Capitolo 1
14
Relativamente alla situazione italiana, la tematica generale della valutazione
dell’insegnamento da parte degli studenti viene affrontata dalle università in relazione a
quattro punti principali:
− quello che lo studente saprà fare al termine degli studi;
− se quello che impara è utile oltre ad essere necessario e sufficiente;
− se il metodo educativo è efficiente;
− se il sistema educativo mantiene le sue promesse.
I primi due punti attengono all’accreditamento del Corso di Studi, implicando un
giudizio di valore sui temi e sugli esiti della formazione; i secondi due riguardano il
processo formativo ed è su tale tematica che verte la raccolta delle opinioni degli
studenti. Da ciò è possibile comprendere come la tradizione delle università italiane
limiti la funzione della valutazione da parte degli studenti alla sfera del “miglioramento
della didattica” al fine di incentivare la dialettica tra docenti e studenti e permettere al
sistema quel feedback continuo finalizzato all’efficienza nell’ apprendimento.
Come accennato sopra è bene chiarire e ribadire che lo scopo della valutazione non è
quello di compilare classifiche di merito fra i vari corsi per non aprire la strada ad un uso
comparativo e amministrativo della valutazione, nonostante si prospetti anche nel nostro
paese che la valutazione possa avere effetti su carriera o incentivi. Certo è da ritenere
scorretto l’uso delle valutazioni allo scopo di classificare ordinalmente i docenti, in
quanto gli studenti non sono valutatori ma fornitori di informazioni. Si mostra inoltre che
una tale classificazione sarebbe inutile in quanto non è necessario effettuare paragoni tra
docenti o tra insegnamenti, ma è sufficiente acquisire quegli elementi individuali che
consentano di stabilire se viene raggiunto o meno il livello di sufficienza per la
promozione o il compenso del docente.
Il questionario che viene usato per raccogliere le informazioni degli studenti è stato
quindi elaborato sulla base di quelle variabili evidenziate dalla ricerca, come più
opportune nel permettere il collegamento tra qualità della didattica ed efficacia
nell’apprendimento.
Capitolo 1
15
Prima di passare all’esposizione, nel prossimo capitolo, delle tecniche che
permettono la costruzione di un questionario si deve ricordare che, per andare incontro
alle insistenti richieste di una maggiore aderenza tra le competenze acquisite in ambito
universitario dagli studenti, e le competenze professionali richieste in ambito lavorativo,
le università hanno apportato cambiamenti alla propria struttura organizzativa riformando
i corsi istituzionali o introducendo nuovi corsi.
Questi cambiamenti condurranno a maggiori offerte di corsi formativi accompagnate da
una concorrenza sempre più intensa tra i vari atenei. Per tale ragione è stato finanziato
presso l’Università di Modena e Reggio Emilia un progetto di ricerca denominato
METEIRIDI (MEtodi e TEcnologie per Innovare e RIorganizzare la DIdattica) che si
propone tre obiettivi in merito ad altrettanti ambiti di ricerca:
− primo obiettivo: realizzare un questionario atto a raccogliere in modo idoneo le
opinioni degli studenti e ad approfondire le problematiche relative alla
misurazione dei concetti. Questa raccolta di dati deve anche consentire un
confronto tra le tecniche tradizionali e quelle che hanno alla base gli insiemi
sfocati.
− secondo obiettivo: sulla base di un indagine svolta presso la facoltà di Economia
approfondire gli aspetti riguardanti i tempi impiegati dagli studenti per la
preparazione degli esami. Tale processo di analisi consente di ottenere
suggerimenti per eventuali tagli e modifiche ai programmi e di ampliare le
conoscenze in merito alle variabili che influenzano la dinamica dello studio.
− terzo obiettivo: approfondire l’analisi della didattica in merito ai nuovi metodi di
insegnamento basati sull’utilizzo di supporti informatici. Questo percorso
dovrebbe condurre ad organizzare corsi universitari a distanza.
Ricevi informazioni sui nostri servizi, sulle offerte e non perdere news e consigli su università e lavoro.