10
1
0 politica, attraverso valutazioni di efficacia mirate alla scelta della migliore
alternativa (Stame, 1998).
Per quanto riguarda la situazione italiana dei nostri giorni è possibile
ravvisare una condizione simile a quella americana degli inizi della
valutazione, con la differenza che, per noi, è ovviamente possibile
sfruttare la notevole esperienza generata sul campo dall‟evoluzione della
materia, nonostante un punto di negatività sia rappresentato
dall‟impossibilità di ripercorrere le tappe che hanno condotto tale
evoluzione allo sviluppo sincronico di tutte le strutture interessate dal
processo.
Le motivazioni da cui la valutazione è stata generata negli USA degli anni
‟60 sono tuttavia in parte riconducibili a quelle che hanno spinto le
amministrazioni europee, italiana nella fattispecie, soprattutto negli ultimi
anni, ad accostarsi ad un simile strumento e più in generale, ad un tale
sistema di pensiero: la valutazione in un‟accezione pragmatica oltreché
ingegneristica, parte dall‟analisi di un programma sociale, nell‟intento di
chiarirne utilità ed economicità, ed è finalizzata alla creazione di un
“algoritmo” che, integrando ed analizzando fattori totalmente dinamici,
riesca nell‟impresa di spiegarne il funzionamento, permettendo la
comparazione fra sistemi simili, orientando la scelta fra politiche e
programmi diversi.
In Europa si può affermare che la valutazione appaia negli anni 80‟, in
concomitanza con il primo Programma Integrato Mediterraneo (PIM); in
quell‟occasione la Comunità Europea richiese che fosse effettuata una
rendicontazione dettagliata riguardante l‟impiego dei fondi erogati.
In particolar modo agli inizi, l‟applicazione di rigide procedure per la
rendicontazione fu percepito come un ostacolo nell‟accesso ai fondi,
tuttavia, da quell‟esperienza scaturì una spinta verso il mondo della
valutazione che coinvolse i settori più disparati, dai servizi sanitari,
all‟urbanistica, alla pubblica amministrazione.
Come si è detto nell‟introduzione, l‟applicazione di strumenti propri della
pratica della gestione della formazione, su un terreno non
11
1
1 preventivamente preparato, non ha portato ai risultati sperati, d‟altronde
sarebbe stato poco realistico attendere un esito differente.
E‟ necessario che gli operatori vengano aggiornati nell‟ottica di un quadro
generale che non parta dal freddo utilizzo degli „attrezzi‟ ma da una
preventiva ed accurata comprensione del contesto all‟interno del quale si
trovano ad operare, contesto che, per essere compreso, deve essere ogni
volta destrutturato e conosciuto in ogni sua parte, mantenendo ben
presente il fatto che, in ogni operazione di questo tipo, il “tutto” nel suo
complesso è qualcosa che sempre supera la somma dei singoli elementi
che lo compongono.
Solo attraverso un simile continuo processo di ricerca ed analisi la
valutazione può essere messa in grado di rivelare tutto il suo potenziale.
Realismo e costruttivismo
E‟ possibile individuare , all‟interno del contesto valutativo contemporaneo,
differenti paradigmi su un piano compreso fra una dimensione
costruttivista ed una realista.
Per costruttivismo-realismo s‟intende ciò che è comunemente definito, in
ambito valutativo, “positivismo-interpretativismo”.
La visione positivista parte dal presupposto che osservatore ed osservato
siano ben separati e distinti e che sia sempre possibile un‟analisi di un
mondo che è “altro” rispetto allo studioso. Per contro, nella concezione
interpretativista l‟osservatore fa parte del mondo che tenta di osservare,
pertanto, nell‟atto stesso di osservare, egli perturba l‟oggetto di studio.
All‟interno di una tale visione una misurazione scientifica non sarà mai
possibile, si potrà soltanto avvicinarsi ad un dato oggettivo, sempre
passando attraverso un processo interpretativo che, per definizione, mai
potrà divenire legge universale.
Tutto questo rispecchia la storica contrapposizione fra metodi quantitativi
(realismo) e qualitativi (costruttivismo), il famoso “scontro fra paradigmi”,
di cui parla Stame (1998), riportando comunque il dibattito sul piano di
12
1
2 una scelta metodologica che da sempre oscilla fra la ricerca del rigore
dell‟analisi, in una tensione spasmodica, (e a volte un po‟ “sterile”), verso
l‟assolutezza del dato e la ricerca di quei fattori, all‟apparenza secondari,
che possono arricchire, a volte in modo inaspettato, il processo di
valutazione. “Con l‟osservazione qualitativa si può focalizzare l‟attenzione
su quello che possiamo definire “la vita reale” di un programma e
comprendere quali dati quantitativi possono essere rilevanti. Dalla
combinazione delle due tipologie dei dati emerge, secondo questo
approccio, un quadro completo e significativo di ciò che è effettivamente
avvenuto in un corso o evento formativo” (Alessandrini, 2005).
Bezzi (2003) in accordo con Schütz (1962), uno dei padri del
costruttivismo, propone una visione della realtà come costruzione sociale,
in cui ciò che viene osservato viene contemporaneamente “perturbato”
dall‟osservatore, che è da considerarsi parte integrante della realtà stessa;
la realtà ha natura “significativa”, ha a che fare con i segni, la cui
interpretazione è un problema di natura semantica: “il significato è una
categoria del soggetto” (Muzzetto, 1999; cit. in Bezzi, 2003)1.
Con questo ragionamento è necessario accingersi all‟analisi delle situazioni
generate dalla normale amministrazione dei programmi per la formazione,
ai vari livelli gerarchici, al fine di individuare i punti nevralgici con funzione
di fulcro della rete di comunicazione, allo scopo di intervenire, laddove
possibile, onde evitare eventuali errori, dovuti a problemi di natura
semantica, che potrebbero compromettere la funzionalità dell‟intero
sistema.
In relazione all‟argomento, Bezzi delinea il problema delle diverse province
di significato dei diversi attori sociali coinvolti nell‟evaluando e del processo
di costruzione, quindi, di una “logica valutativa come processo di
significazione”2.
1
La realtà non è quindi “un dato” ma qualcosa di costruito, interpretato attraverso la decodifica
dei diversi segni con cui si esprime ogni diverso interlocutore che partecipi, in un certo luogo, in
una data porzione di tempo, alla costruzione/significazione di una data porzione di realtà.
2
Alla luce di quanto detto emerge chiaro il ruolo centrale del processo di significazione realizzato
in sede di programmazione con l’esplorazione del campo semantico, tuttavia appare auspicabile,
13
1
3
In questo senso, si schiera in favore di una visione decisamente
interpretativista, nel senso che ogni contesto, ogni situazione o fenomeno
sociale deve essere dapprima realmente compreso perché sia possibile
avvicinarsi ad una reale conoscenza.
Bezzi tratteggia infatti lo “atteggiamento costruttivista”, puntualizzando il
rifiuto di ogni “arroganza esplicativa”, a favore di argomentazioni
comprensive, per la costruzione di modelli di ricerca idonei ed aperti a
nuove soluzioni, a cambiamenti in corso d‟opera, alla ”immaginazione
valutativa”3 al fine di riuscire a porsi concretamente dentro l‟evaluando,
con la partecipazione di tutti gli attori coinvolti nella costruzione del suo
significato. L‟invito è al rifiuto di inutili e dannose rigidità ideologiche,
finalizzato alla creazione di uno stato di apertura mentale che permetta
una reale e piena comprensione dell‟evaluando, utilizzando, quando
necessario, anche strumenti di impostazione positivista quali, ad esempio,
l‟approccio sperimentale o l‟analisi costi-benefici, che possono, se utilizzati
appropriatamente, risultare di grande aiuto per una corretta
interpretazione della realtà.
Interpretazione a tutti i costi, dunque, o senso oggettivo della realtà? La
risposta risiede nell‟integrazione dei due punti di vista e nel rifiuto di
posizioni aprioristiche: l‟obiettivo è la comprensione di un mondo
caratterizzato da un numero infinito di situazioni in costante mutamento,
nessuna uguale ad un‟altra, ognuna caratterizzata da una chiave di lettura
differente, da un significato oggettivo diverso ed un diverso processo
interpretativo.
Storicamente vi sono stati due tipi di reazione alla problematica delle
modalità e dei contesti di utilizzo della valutazione nel periodo relativo al
“pessimismo dei programmi”: la prima incentrata sul problema del confine
tra politica e scienza e sulla possibilità di portare la valutazione il più
più che realistico, immaginare l’adozione sistematica di un simile modus operandi per realtà locali
che si trovano certamente a dover raccordare un numero esiguo di province di significato ma non
per questo dovrebbero agire, come avviene, al di fuori di quelle procedure fortemente strutturate
che regolano lo sviluppo dei grandi programmi nazionali.
3
Bezzi cita Mills L. Wright, (1973).
14
1
4 possibile vicino al cuore della programmazione, la seconda originata da un
approccio ispirato all‟ermeneutica e che utilizza metodologie qualitative di
ricerca (Stame, 1998).
In altre parole, nel secondo caso, il problema è focalizzato proprio sulla
scelta del metodo e sull‟analisi del processo d‟implementazione come atto
che trasforma un programma rispetto alla sua forma iniziale,
condizionando fortemente la scelta del metodo stesso di valutazione, che
deve essere necessariamente tratto dal contesto specifico locale in cui
l‟azione si sviluppa.
Ancora una volta si parla di una lettura in chiave costruttivista di situazioni
operative relative al settore della formazione e del rifiuto di teorie e
strumenti preparati al di fuori dei contesti di applicazione, procedura che
purtroppo si verifica anche troppo spesso con, ad esempio, l‟imposizione di
criteri precostituiti per la misurazione o il controllo/gestione degli
interventi.
A questo proposito Stame cita Rossi e Freeman (1989) e la loro
“valutazione cucita su misura ai programmi”, nel senso della “applicazione
sistematica di procedimenti della ricerca sociale per giudicare e migliorare
il modo in cui vengono condotti i programmi e le politiche, dai primi stadi
della progettazione fino allo sviluppo e alla realizzazione”.
Lo stesso problema di “distanza” fra mondo reale, momento della
programmazione e valutazione, è avvertito da Guba e Lincoln (1981) che
condannano l‟atteggiamento valutativo che prescinde da preoccupazioni e
problematiche reali, finendo con il produrre “informazioni che, per quanto
statisticamente significative, non generano conoscenze che abbiano un
qualche merito”.
Lo stesso Stake pone l‟accento sull‟importanza delle specificità rilevabili
soltanto esaminando le singole situazioni locali, procedimento impossibile
in tutti quei casi in cui il disegno della valutazione è imposto a priori su
standard già fissati.
L‟approccio “sensibile” (responsive) di Stake (1983) permette al valutatore
di inserirsi nel contesto da analizzare, mettendo a fuoco quelli che sono i
15
1
5
reali obiettivi del programma, per come questi sono visti dai vari
stakeholders, identificando quelle che sono le questioni veramente
significative per ogni specifico contesto. In pratica l‟approccio responsive
di Stake permette al valutatore di mettere a fuoco le questioni su cui
indagare prima di formulare un disegno della valutazione e di approntare
così uno specifico piano di ricerca empirica (Stame, 1998).
Valutazione come azione sistemica
Durante il percorso che porta un ente/attore a mettere in atto un
programma/progetto, ciò che non è mai garantito è la linearità del
percorso stesso.
Il processo tende naturalmente a stabilizzarsi in una situazione di
equilibrio, ma questo equilibrio può essere modificato da molteplici fattori,
che possono condurre il procedimento in uno stato di turbolenza, per
superare la quale sarà necessario porre in atto ulteriori misure correttive,
al fine di riacquistare l‟equilibrio perduto.
Ad ognuna di queste fasi sottostà un momento valutativo che consente un
controllo di gestione continuo, (in questo il carattere di “sistemicità”),
permettendo di effettuare, in qualsiasi momento, cambiamenti o correzioni
atti a mantenere costante, il più possibile, l‟equilibrio del processo, con
azioni che vanno ad incidere sul presente/futuro e su quanto si deve
ancora decidere ma anche, retroattivamente, andando a modificare
quanto era già stato deciso.
Ricerca sociale e ricerca valutativa
Per una precisazione sul termine “sociale”, Bezzi (ibid) chiarisce il
“fraintendimento che contribuisce a confonderlo con “sociologico”: il
significato corretto fa naturalmente riferimento alle scienze sociali
(economia, sociologia, antropologia) e per estensione a tutte le scienze
umane (quindi anche psicologia e pedagogia), inglobando infine quei
16
1
6
saperi professionali strettamente correlati (psichiatria, epidemiologia,
urbanistica, lavoro sociale, ecc.)”.
Un punto importante riguarda la questione del rigore metodologico
attribuibile alla ricerca valutativa, relativamente alla scientificità dello
stesso processo di valutazione, che comunque deriva il proprio metodo da
quello della ricerca sociale di cui utilizza in gran parte tecniche e
strumenti; a tal proposito è interessante l‟osservazione di Guba e Lincoln
(1989) che dichiarano: ”noi non trattiamo la valutazione come un processo
scientifico, perché è nostra convinzione che approcciare scientificamente la
valutazione significhi mancare completamente il suo fondamentale
carattere sociale, politico e valoriale”.
La differenza, tra un percorso di ricerca sociale inteso nell‟accezione
metodologica classica e l‟impostazione di uno studio di ricerca valutativa,
può quindi essere individuato nel fatto che, nel primo caso, spetta al
ricercatore la definizione di ipotesi ed obiettivi, secondo un disegno suo
personale che, traendo spunto da determinate basi teoriche, mira alla
conferma o, viceversa, alla falsificazione dell‟ipotesi stessa; nel secondo
caso, essendo la valutazione sempre e comunque legata ad un momento
decisionale, ipotesi, obiettivi, vincoli e risorse sono di norma forniti dal
committente, che definisce i limiti dell‟azione valutativa, ponendo in questo
modo un freno alle “interminabili riflessioni teoriche” che potrebbero
invece scaturire da un percorso di ricerca “libera”.
Un elemento di grande differenza, fra la ricerca valutativa e la ricerca
sociale in senso lato consiste nel fatto che, nella prima, il decisore
concorre a strutturare il campo concettuale all‟interno del quale il
valutatore opera (Palumbo, 1995).
Comune ad entrambi i casi il momento, nel disegno della ricerca, riferito al
livello epistemologico-metodologico, (di conoscibilità dell‟oggetto), da cui
discendono poi i momenti specifici, (livello metodologico-operativo), che
determinano la scelta e la messa a punto delle tecniche da impiegare
(livello delle definizioni operative).