lavoro e sostenere la crescita, l'occupazione e la competitività delle imprese
nell'Unione Europea.
Lo stage è stato svolto presso la cooperativa Dieffe che si occupa di
formazione professionale.
Il lavoro si è sviluppato su tre fronti principali. Dapprima è stata fatta una
ricerca bibliografica sullo stato dell’arte della valutazione, e in particolare sulla
valutazione della formazione professionale, ambito principale su cui si sviluppano
i progetti di iniziativa comunitaria. In seguito si è proceduto ad analizzare e ad
applicare il modello di monitoraggio e valutazione utilizzato dalla cooperativa
Dieffe ad un progetto a metà della sua realizzazione. Si è trattato, quindi, di una
valutazione in itinere. In contemporanea a quest’esperienza e subito dopo si è
proceduto ad analizzare gli aspetti più carenti degli strumenti di rilevazione,
cercando di apportare delle migliorie e di individuare gli indicatori adeguati. Tali
miglioramenti saranno utili nella valutazione finale dello stesso progetto e nelle
azioni di monitoraggio e valutazione di progetti simili negli anni a venire. Dopo
l’esame del modello e il monitoraggio e la valutazione del progetto, avendo quindi
testato le esigenze del personale preposto alla valutazione, si è tentato di realizzare
un programma di gestione delle informazioni e dei dati raccolti utilizzando un
database manager system commerciale. L’esperienza è stata fatta a stretto
contatto con i responsabili della valutazione della Dieffe, seguendo le loro
direttive ed i loro suggerimenti.
CAPITOLO I
LA VALUTAZIONE: STATO DELL’ARTE
La valutazione, intesa come metodo d’analisi dei processi di realizzazione
di interventi sociali, è andata raccogliendo solo negli ultimi anni anche in Italia
un’attenzione crescente, soprattutto grazie ad iniziative legislative nazionali e
all’interesse dei governi locali.
1.1 Una definizione di valutazione
La valutazione è principalmente un’attività di ricerca sociale, applicata,
realizzata nell’ambito di un processo decisionale, in maniera integrata con le fasi
di programmazione, progettazione ed implementazione, avente come scopo la
riduzione della complessità decisionale attraverso l’analisi degli effetti diretti e
indiretti, attesi oppure no, voluti o non voluti dell’azione sociale, compresi quelli
non riconducibili ad aspetti materiali.
In questa situazione la valutazione assume il ruolo peculiare di strumento
condiviso di giudizio di azioni socialmente rilevanti, assumendone
necessariamente le conseguenze operative relative al rapporto tra decisori,
operatori e utenti dell’azione.
Valutare quindi (Hadji, 1992) significa:
• confrontare, mettere in rapporto una realtà (dei dati di fatto) con un
riferimento (progetto, intenzione, modello, …);
• apprezzare, esprimere un giudizio relativamente ad una realtà in rapporto ad
un riferimento;
• produrre informazione utile a supporto delle decisioni.
Essa è strumento chiamato non solo a misurare e a documentare eventi, ma
anche azioni, e come tale necessariamente entra nella sfera dei comportamenti dei
soggetti. Il primo carattere della valutazione da richiamare è la consapevolezza
che essa è soprattutto una logica scientifica applicata ad un contesto politico:
bisogna quindi tenere conto di tutte le contraddizioni che ne conseguono. Un altro
carattere costitutivo della valutazione è che essa è strumento non autonomo ma è
strettamente connessa a progetti espliciti d’azione sociale, in altre parole ad un
programma rigorosamente strutturato.
La valutazione si occupa poi di fenomeni dinamici che non possono essere
analizzati al di fuori della dimensione temporale: ciò crea alcune complicazioni
dovute ai cambiamenti e agli adeguamenti che possono intervenire nei vari
contesti.
1.1.1 Obiettivi della valutazione
Gli obiettivi della valutazione presenti in letteratura sono:
1. determinare il livello di raggiungimento degli obiettivi del programma;
2. accertare gli aspetti forti e quelli deboli degli elementi considerati nel
prendere decisioni e nel costruire il programma;
3. determinare la generalizzabilità di un programma ad altri gruppi della
popolazione;
4. ottenere nuove conoscenze sul programma, sui suoi effetti o sui problemi che
si possono incontrare nella sua implementazione;
5. confrontare strategie o programmi alternativi rispetto all’efficacia o ai
costi/efficienza;
6. identificare ipotesi per studi ed approfondimenti futuri.
Secondo una consolidata letteratura si usa distinguere tra una valutazione di
efficienza e una di efficacia.
La prima indaga l’impiego ottimale delle risorse disponibili, non solo
quelle finanziarie ma anche quelle di tempo e professionalità, la seconda si
riferisce al grado di conseguimento degli obiettivi, attraverso il raffronto tra
risultati ottenuti e risultati attesi o bisogni che si intendeva soddisfare. E’ evidente
che i due concetti siano legati ma la valutazione di efficienza acquisisce
significato solo se accompagnata a quella di efficacia: quando si valuta l’impiego
di risorse pubbliche il criterio da considerare maggiormente è quello di
massimizzazione del risultato, ma spesso, essendoci problemi di reperimento di
risorse, un altro criterio di valutazione è costituito, a parità di risultati,
dall’ottimizzazione dell’impiego delle risorse e dalla massimizzazione
dell’efficienza.
1.1.1.1 La valutazione di efficacia
Il confronto può essere fatto con i seguenti termini:
• un obiettivo da raggiungere;
• uno standard cui uniformarsi;
• la situazione che si verrebbe a determinare in assenza dell’azione;
• le diverse alternative (o agenti) per l’esecuzione dell’azione;
• la domanda di servizio da soddisfare.
La valutazione di efficacia delle politiche pubbliche è generalmente
distinta in due categorie fondamentali:
• efficacia interna (o gestionale), intesa come capacità di raggiungere gli
obiettivi o i risultati attesi fissati a priori dai decisori;
• efficacia esterna (o sociale), intesa come capacità del prodotto/servizio offerto
dal decisore di soddisfare i bisogni degli utenti.
Nel primo tipo di valutazione ci si preoccupa di confrontare risultati attesi
con quelli ottenuti senza necessariamente chiedersi se i primi sono coerenti con i
bisogni della collettività; nel secondo ci si chiede se i risultati ottenuti, al di là
della loro coerenza con quelli programmati, hanno davvero assolto, e in quale
misura, ai bisogni sociali che rendono necessario l’intervento (Palumbo, Vecchia,
1996).
Nel caso di azioni una tantum, volte alla produzione di un bene o di
un servizio, la valutazione più opportuna è quella che pone l’accento sul confronto
tra quanto realizzato e quanto preventivato in termini di tempi, costi e
caratteristiche dell’opera: in questi casi l’efficacia è sinonimo di rapporto tra
risultati ottenuti e attesi.
In altri casi è prevalente un criterio di confronto basato su standard
qualitativi che possono riguardare sia il processo produttivo sia il prodotto.
In tutti i casi una domanda che dovrebbe animare il processo di
valutazione dovrebbe essere: cosa sarebbe successo in assenza di tale campagna?
La risposta a tale domanda fa trarre delle considerazioni evidenti sul successo del
progetto da sottoporre a valutazione. Essa è ottenuta attraverso tecniche statistiche
che hanno lo scopo di mettere in confronto situazioni: per esempio attraverso
quasi o non experimental designs o disegni sperimentali.
Con queste tecniche si confrontano due sottopopolazioni di cui solo una
sottoposta al programma; nei disegni sperimentali le due popolazioni sono scelte
in maniera casuale.
1.1.2 Gli attori del processo di valutazione
La caratteristica dei processi di programmazione e valutazione è che essi si
presentano come processi di costante scelta tra soluzioni all’interno di varie
possibilità che concernono strategie, costi, obiettivi parziali.
I soggetti investiti di responsabilità e di aspettative nella valutazione sono:
a) il mandante (ad esempio l’Unione Europea che finanzia interventi di
formazione professionale con fondi del Fondo Sociale Europeo);
b) l’agente o gli agenti (ad esempio i governi locali che amministrano tali fondi);
c) il sub-agente o i sub - agenti (ad esempio i centri di formazione professionale);
d) gli utenti.
La valutazione differisce secondo la prospettiva e gli scopi che possono
coinvolgere tali soggetti. Questi soggetti possono essere in possesso di differenti
strumenti e informazioni, avere diverse necessità nella valutazione ed esserne
coinvolti in maniera differente.
1.1.3 Quando valutare
I frangenti nei quali viene effettuata la valutazione sono i seguenti:
1. ex ante, in sede di predisposizione della proposta progettuale, ossia prima
dell’avvio di un intervento;
2. on going o in itinere, durante la realizzazione dell’azione;
3. conclusiva, al termine dell’attuazione di un programma o intervento;
4. ex-post, quando l’intervento o il programma hanno iniziato a dare i loro frutti.
In alcuni casi non si opera una distinzione tra valutazione conclusiva ed
ex-post, utilizzando quest’ultimo termine per identificare entrambe.
L’orientamento di molti studiosi è che, invece, venga mantenuta, in quanto alcuni
effetti dei programmi possono essere rilevati solo al termine delle stesse, mentre
altri richiedono per il loro dispiegarsi un certo tempo.
Secondo le esperienze più diffuse, l’interesse principale viene riferito
soprattutto alle due modalità di valutazione di efficacia ex-ante e di efficacia ex-
post. La prima riguarda la coerenza tra bisogni ed obiettivi (efficacia esterna ex-
ante), o quella tra obiettivi e risultati attesi (efficacia interna ex-ante); la seconda,
invece, la coerenza tra i risultati conseguiti e i bisogni (detta anche valutazione
d’impatto) o tra i risultati conseguiti e risultati attesi (valutazione degli esiti).
1.1.4 Approcci alla valutazione
In Tabella 1.1 è riportato un quadro riassuntivo della varietà di approcci
alla valutazione praticati attualmente. Dalla tabella si può vedere come la
tendenza è quella di prestare attenzione alle esigenze dei fruitori della valutazione:
manager, politici, operatori, utenti e delle istanze, spesso contraddittorie, di cui
sono portatori, cercando di rispondere con flessibilità dal punto di vista
metodologico a questo tipo di esigenze.
Impostazione
filosofica
Ideologia e valori
centrali
Destinatari Metodi preferiti Tipiche domande
valutative
Post-positivismo Teoria dei
Sistemi/efficienza,
spiegabilità,
conoscenza
causale
Politici e
dirigenti di alto
livello
Quantitativi:
sperimentali e
quasi-
sperimentali,
analisi dei
sistemi, modelli
causali, analisi
costi-benefici
I risultati che si vogliono
ottenere sono veramente
attribuibili al
programma? E' il più
efficiente?
Pragmatismo Amministrazione /
praticabilità,
controllo della
qualità, utilità
Manager del
programma di
medio livello,
amministratori e
altri dirigenti
Eclettico, misto:
indagini
strutturate e non-
strutturate,
questionari,
interviste,
osservazione
Quali parti del
programma funzionano e
quali vanno migliorate?
E' efficace il programma
in relazione ai fini
dell'organizzazione?
Rispetto ai bisogni dei
beneficiari?
Interpreta-
tivismo
Pluralismo/
comprensione,
diversità,
solidarietà
Dirigenti di
programma,
operatori e
beneficiari
Qualitativo:
studio di casi,
interviste,
osservazione,
esame di
documenti
Come viene vissuto il
programma dai vari
soggetti coinvolti?
Tabella 1.1 (Fonte: Paoletti, 1998)
Viene espresso, inoltre, un nascente interesse per metodi qualitativi di
analisi valutativa (De Sandre, 1996), che d'altronde hanno preso piede in
particolare nei paesi di cultura anglosassone.
In questo contesto sta destando sempre più interesse un approccio
etnometodologico alla valutazione: l’analisi etnometodologica è interessata a
descrivere nel dettaglio come un dato contesto sociale o istituzionale è prodotto,
fatto accadere, incarnato dall’azione dei membri. Essa va ad indagare i
comportamenti degli operatori mentre sono in azione in modo da individuare
eventuali errori e disfunzioni nelle azioni, favorendo quindi la correzione delle
stesse.
Questo tipo di approccio può essere integrato anche in un metodo di analisi
quantitativa, infatti, questa può fornire dati d’insieme rispetto all’andamento di un
programma o del funzionamento di un’organizzazione, ma non può fornire
strumenti per capire come i problemi vengano generati, né come è possibile
affrontarli, mentre analisi esclusivamente qualitative non possono informarci su
un vasto numero di casi e rispetto a un gran numero di problematiche, essendo un
metodo estremamente analitico.
1.1.5 La qualità e la valutazione
Gli approcci alla valutazione che esistono in letteratura sono legati al
concetto di qualità, che è perno del processo di regolazione dei servizi.
Esiste un approccio scientifico in cui si giudica la qualità di un intervento
in funzione della sua corrispondenza con livelli predefiniti e accettati dalla
comunità scientifica dei professionisti: si tratta di un approccio più legato alla
valutazione di processo.
Un altro approccio è quello manageriale in cui la qualità è identificata con
i risultati prodotti dall’impresa e con la capacità di soddisfare le esigenze del
cliente: approccio più legato alla customer satisfaction.
Spesso nasce l’esigenza di integrare i due approcci creando quindi una
logica multidimensionale nella valutazione della qualità: si cerca, quindi, di
definire un insieme di regole di giudizio costruite su indicatori relativi alle diverse
fasi del processo di produzione. I problemi che i valutatori devono risolvere sono:
l’integrazione di sistemi di giudizio diversi e l’individuazione di criteri e
indicatori adeguati.
Nella Pubblica Amministrazione il concetto di qualità deve tradursi non
solo nella consonanza tra prestazioni erogate, bisogni e attese degli utenti
(auspicabilità, efficacia/appropriatezza) ma più in particolare è possibile
individuare alcune specifiche dimensioni della qualità nei servizi pubblici, il cui
peso cambia col variare del contesto e della tipologia del cliente.
Esse possono essere così individuate:
1. qualità tecnica: ”cosa si fornisce”. La qualità viene misurata in termini di
tempi di risposta, alternative fornite, bisogni soddisfatti, impatto di contesto;
2. qualità relazionale: ”come si fornisce”. Il riferimento è agli aspetti di
comunicazione e relazionali;
3. qualità ambientale: “dove”. Assumono particolare importanza le
caratteristiche fisiche dell’ambiente in cui si eroga il servizio;
4. qualità immagine: ”da chi”. Equivale alla “reputazione territoriale” dell’ente
erogatore;
5. qualità organizzativa: “come si organizza”. Il riferimento è alle modalità
organizzative interne di gestione del processo;
6. qualità economica: “quanto si spende”. Qual è il costo sia per l’utente sia per
l’ente erogatore?
Le procedure e i meccanismi per garantire e mantenere la qualità sono:
• norme e indicazioni governative per il funzionamento delle strutture e la
gestione dei servizi;
• controllo sullo sviluppo dei servizi da parte degli Enti pubblici;
• supervisione sui dirigenti manager;
• sorveglianza sui processi di formazione da parte dei professionisti;
• critiche da parte degli utenti sul servizio;
• definizione degli elementi positivi dei servizi da parte dei professionisti.
1.1.6 Il contesto attuale della valutazione
La valutazione come già accennato ha subito negli ultimi anni un notevole
impulso dovuto ad alcuni interventi legislativi e ad alcune esigenze politiche.
La ricerca di modalità più efficienti per utilizzare le risorse senza
risparmiare a discapito della qualità dei servizi è dovuta essenzialmente oltre che
ad un maggiore interesse per la qualità dei servizi sociali anche da un’impellente
necessità di diminuzione della spesa pubblica.
Attualmente è in corso una profonda ristrutturazione dei servizi sociali
dato che l’impianto del Welfare ha bisogno di un notevole ammodernamento per
riuscire a mantenersi in vita con le attuali caratteristiche.
La valutazione sta superando l’ambito esclusivo della produzione e del
mercato privati, dove risulta come naturale offerta (e pretesa) di garanzia di
qualità fatta in situazione di competizione per attirare e soddisfare clienti sempre
più esigenti, e sta sempre più coinvolgendo le amministrazioni pubbliche “dove è
più vivace la “coda” di proteste e di contestazioni rispetto alla produzione dei
servizi degli enti” (De Sandre, 1998).
1.2 La formazione professionale
La formazione professionale è divenuto un fenomeno di ampie dimensioni:
l’offerta è sempre più ampia ed articolata. Si organizzano corsi di formazione in
occasione dell’avvio di nuovi programmi pubblici, per l’aggiornamento dei
dipendenti di un’azienda di fronte ai repentini cambiamenti tecnologici moderni
oppure con lo scopo di reinserire nel mondo del lavoro persone da esso respinte.
La formazione, indubbiamente, ha un ruolo strategico. E’ un’occasione di
arricchimento individuale e collettivo, un momento di apprendimento di
comportamenti utili alle esigenze di sviluppo sociale ed economico dei singoli
come delle istituzioni. La formazione è ormai diventata una tappa ricorrente e
fondamentale nell’arco della vita lavorativa degli individui e nello sviluppo delle
organizzazioni sia del privato sia del pubblico. I programmi di formazione
toccano i più vari argomenti e contesti, non di rado coinvolgono gli stessi
formatori con corsi di formazione ad essi rivolti (formazione formatori).
La formazione è un processo complesso che vede il coinvolgimento di più
discipline, sia tecniche sia sociali. L’obiettivo finale della formazione è quello del
miglioramento della prestazione del formato attraverso l’apprendimento di
conoscenze, capacità e atteggiamenti, cercando di utilizzare le più diverse
metodologie didattiche.
1.2.1 I bisogni di formazione
L’organizzazione di un corso di formazione nasce da un’opportuna analisi
dei bisogni di formazione. La formazione può essere vista come un investimento
dell’azienda, come un’occasione di valorizzazione personale del formato oppure
come una necessità della Società per seguire un programma di recupero sociale.
I bisogni di formazione possono avere diverse definizioni:
• desideri di sviluppo personale finalizzati ad un migliore svolgimento dei
compiti;
• scarto tra contenuti di formazione manageriale e ciò che i formati
desidererebbero e dovrebbero apprendere;
• desiderio di competenza per la preparazione professionale;
• strumento di cui avvalersi per risolvere problemi: fatto istituzionale;
• strumento per il miglioramento globale dell’azienda o della Società.
L’analisi di tali bisogni riveste una duplice valenza: è determinante sia nel
momento in cui si programma l’intervento, sia quando si valuta se tale programma
ha appunto risposto ai bisogni esistenti.
Gli attori coinvolti nella formazione sono:
• i formatori, cioè gli operatori della formazione;
• i clienti/utenti, tutti coloro ai quali è rivolta l’iniziativa di formazione;
• i committenti, coloro che agendo all’interno e per conto di un’organizzazione
si trovano ad essere estensori di una richiesta di azioni finalizzate alla
preparazione professionale di altre persone o gruppi.
1.2.2 La formazione continua
L’investimento in conoscenza non può essere confinato in luoghi o tempi
delimitati. Questa è una necessità sentita soprattutto dai lavoratori che sentono il
bisogno di rinnovare la professionalità di cui dispongono; ma anche da tutte le
componenti della società che si accorgono dei cambiamenti in atto, dei problemi e
dei prodotti nuovi e non consolidati. L’apprendimento, quindi, deve essere
continuo, ma soprattutto deve essere diluito nel vissuto e nel lavoro quotidiano. Il
bisogno di sapere non può essere soddisfatto con esperienze di apprendimento
saltuarie, che interrompono per periodi più o meno lunghi la vita lavorativa. La
formazione deve, invece, diventare continua, distribuita capillarmente nel tempo
di lavoro, immersa nel luogo di produzione, così come continue sono le domande
che ci si pone man mano che si affrontano i problemi. Tuttavia la formazione
continua è ancora un bisogno, non è una realtà organizzata.
Essa dovrebbe essere organizzata in modo da:
• separare il meno possibile la formazione dal luogo e dal momento del lavoro.
La formazione deve essere diffusa nel territorio e distribuita nel tempo;
• utilizzare le nuove tecnologie multimediali, ciò rende virtuale la diffusione nel
territorio e la distribuzione nel tempo in modo da ridurre i costi e aumentare la
qualità;
• trarre il sapere dall’esperienza e proporsi di concettualizzarlo, razionalizzarlo
e socializzarlo;
• non usare schemi esterni precostituiti ma favorire la nascita di sistemi esterni
di autoformazione.
L’offerta deve avvenire in modo organico, che non disturbi il flusso lavorativo. La
formazione continua dovrebbe articolarsi in:
• lezioni in classe, con grandi numeri e con corsi lunghi (tipo master);
• lezioni in classe distribuite nel territorio con corsi brevi;
• consulenza/formazione personalizzata nella singola azienda o gruppo di
aziende;
• autoformazione e autoapprendimento assistiti;
• lavoro in rete che organizza le diverse modalità di apprendimento.
1.2.3 La situazione attuale della valutazione della formazione
La valutazione degli interventi di formazione professionale riveste
un’importanza notevole per tutti gli attori in campo. E’ interesse dei committenti,
istituzionali o no, verificare la validità dei corsi a cui vengono inviati i propri
dipendenti o i propri cittadini.
Ricevi informazioni sui nostri servizi, sulle offerte e non perdere news e consigli su università e lavoro.
