II
In particolare, questo secondo obiettivo risulta articolato in due sotto-obiettivi. Da una parte,
si ha l’intento di determinare se risulta esserci allineamento tra:
- il modello teorico proposto ed i modelli formali di valutazione delle prestazioni
descritti ufficialmente dai Ministeri;
- i modelli formali e quanto risulta avvenire effettivamente nei CRA italiani.
Dall’altra, si vuole rilevare se e quanto i fattori influenzanti l’efficacia della valutazione
sono attualmente presenti nei CRA.
Metodologia
L’approccio metodologico utilizzato, che identifica lo schema logico della presente tesi, è
costituito da tre fasi successive:
I. Definizione del modello teorico. Innanzitutto, si è studiata la complessa realtà della
valutazione delle prestazioni della dirigenza attraverso un’attenta analisi della
letteratura in materia. In particolare, ci si è focalizzati nella ricerca di quei contributi
che fanno riferimento al tema della valutazione nell’ambito dei Ministeri,
individuando la letteratura inerente tale argomento riportata in bibliografia. Si sono
così identificati quattro elementi, o fattori, necessari per la buona riuscita della
valutazione delle prestazioni della dirigenza:
- il sistema di valutazione adottato, attraverso cui si svolge effettivamente il
procedimento valutativo che si conclude con la formulazione di un giudizio
in merito alle prestazioni dimostrate dalla dirigenza nello specifico arco
temporale di riferimento;
- le competenze dei soggetti coinvolti nel processo valutativo, con particolare
riferimento a quelle proprie dei dirigenti responsabili della valutazione;
- il commitment profuso dal responsabile della valutazione a sostegno sia della
diffusione della cultura della valutazione sia dello svolgimento del processo
di valutazione;
- l’informazione, ovvero i dati che sono rilevati, memorizzati e resi fruibili
mediante un supporto informativo, attraverso cui è possibile avere dei
riferimenti oggettivi per esprimere un giudizio di valutazione sulle
prestazioni.
Sommario
III
Tuttavia, in letteratura non si è individuata alcuna fonte che mettesse tra di loro in
relazione i quattro fattori influenzanti l’efficacia e l’efficienza della valutazione delle
prestazioni. Di conseguenza, si è costruito un modello teorico di analisi che descriva la
molteplicità degli aspetti connessi a tale tematica e le relazioni esistenti tra i fattori che
determinano la riuscita e l’utilità della valutazione stessa.
II. Svolgimento dell’indagine empirica. Per poter comprendere quanto la realtà della
valutazione delle prestazioni della dirigenza si discosta dalla situazione teorizzata, si
avvia una ricerca sperimentale che indaga come, attualmente, la pratica valutativa si
svolge all’interno dei CRA dei Ministeri.
Due sono i mezzi utilizzati per poter sviluppare la ricerca:
- la raccolta e la successiva analisi della documentazione formale che
regolamenta i tratti dei sistemi di valutazione delle prestazioni della
dirigenza che i CRA sono tenuti ad implementare;
- la somministrazione di un questionario ai 114 responsabili dei CRA e
l’elaborazione delle informazioni provenienti dal 77,2% della totalità dei
CRA. In particolare, il questionario sottoposto è una rielaborazione di un
questionario somministrato nel 2001, con l’intento di comprendere
l’evoluzione nel tempo dello stato di funzionamento del sistema di
valutazione presente nei CRA
III.Confronto tra modello teorico e risultati dell’indagine. La fase conclusiva
costituisce un momento di sintesi tra il modello teorico definito e l’indagine
condotta. Perciò, si confrontano i risultati ottenuti dall’indagine empirica con i
diversi aspetti teorizzati riguardanti la valutazione delle prestazioni.
Nello specifico, dapprima, ci si focalizza su quanto accade nei Ministeri per
verificare l’esistenza di due livelli di coerenza:
1. il primo, tra gli aspetti del modello teorico e quelli previsti dal modello
formale di valutazione;
2. il secondo tra le caratteristiche definite nel modello formale e quelle risultanti
dalle dichiarazioni dei responsabili dei CRA.
IV
Successivamente, si deduce se lo stato del sistema valutativo dichiarato dai CRA e lo
stato degli altri fattori influenzanti l’efficacia della valutazione, informazioni dedotte
dai questionari, sono in linea con quanto teorizzato.
In questo modo si ha una visione globale sullo stato attuale della realtà valutativa nei
Ministeri italiani.
Risultati
I risultati ottenuti riguardano:
1. la concezione del modello teorico;
2. le verifiche di coerenza di primo e secondo livello;
3. il confronto delle evidenze dell’analisi empirica con quanto teorizzato.
Modello teorico
Per costruire il modello teorico ci si è, dapprima, focalizzati sul sistema di valutazione, dal
momento che esso è il fattore maggiormente complesso e articolato, come si intuisce dallo
stesso termine, sistema, che lascia trasparire la presenza di più aspetti in connessione.
Perciò, si sono identificate le dimensioni di analisi del sistema, che risultano essere tre:
1. le finalità;
2. l’architettura;
3. il processo di valutazione.
Successivamente, si sono individuati gli elementi di ciascuna dimensione che nelle loro
interazioni originano le determinanti fondamentali, ovvero le caratteristiche che possono
assumere connotazione variabile nell’implementazione del sistema stesso (Tabella 1).
Sommario
V
DIMENSIONI D'ANALISI ELEMENTI DEL SISTEMA DETERMINANTI FONDAMENTALI
Finalità le finalità le modalità di utilizzo delle valutazioni
i piani di valutazione
i fattori di valutazione
le caratteristiche valutative di ciascun
fattore
le modalità operative di valutazione
le modalità di espressione del giudizio
i soggetti i ruoli
i momenti della
valutazione
le fasi del processo
la pianificazione temporale delle fasi
la frequenza di esecuzione del processo
il tempo
gli strumenti e le
metodologie
Architettura
Processo
l'oggetto della
valutazione
Tabella 1– Le dimensioni di analisi, gli elementi e le determinanti fondamentali del sistema di
valutazione delle prestazioni della dirigenza.
La presente trattazione non si limita, tuttavia, a fornire un modello che riguarda unicamente
il funzionamento del sistema di valutazione, ma ha sviluppato un modello teorico di più
ampia prospettiva che considera ed esplicita le relazioni esistenti tra i quattro elementi
identificati in letteratura, poiché si è interessati a comprendere le dinamiche che
determinano il successo della valutazione delle prestazioni dei dirigenti.
Quindi, dopo aver discusso il ruolo e l’importanza delle competenze, del commitment e
dell’informazione ai fini valutativi, si è giunti a definire il modello teorico illustrato nella
Figura 1.
VI
Figura 1 – Il modello teorico: il sistema di valutazione delle prestazioni e i suoi fattori critici di successo.
Poiché senza sistema valutativo non ha senso parlare di valutazione, considerato che
mancherebbero i presupposti che danno vita al processo attraverso cui esprimere un giudizio
finale di valutazione sulle prestazioni della dirigenza, si ritiene che il sistema di valutazione
costituisca il centro del nostro modello, l’elemento portante della valutazione in quanto è
grazie alla sua presenza che la valutazione si concretizza.
A questo punto risulta evidente che le competenze, il commitment e l’informazioni,
riconosciute fin dall’inizio quali elementi necessari per la buona riuscita della valutazione
delle prestazioni, rappresentano i fattori critici di successo del sistema stesso. Infatti, va
considerato che all’informazione è legato l’aspetto formale della valutazione stessa, ovvero
l’assenza di una completa e affidabile informazione non consente a livello operativo di
valutare, mentre agli altri due fattori sono connessi gli aspetti sostanziali della valutazione,
in quanto essi incidono profondamente sull’efficacia o meno dei risultati dell’azione
valutativa.
Sommario
VII
Verifiche di coerenza
In base alle informazioni a disposizione, si verifica il grado di coerenza di primo e di
secondo livello del sistema di valutazione adottato da cinque Ministeri:
- Ministero dell’Interno;
- Ministero delle Comunicazioni;
- Ministero delle Politiche Agricole e Forestali;
- Ministero del Lavoro e delle Politiche Sociali;
- Ministero delle Attività Produttive.
Per quanto riguarda l’allineamento tra le caratteristiche formali ufficialmente definite dai
Ministeri e quelle discusse nel modello teorico, i risultati sono mostrati nella Tabella 2.
FINALITA' Allineamento modello formale e modello teorico
Le modalità di utilizzo dei risultati della valutazione No
ARCHITETTURA
i piani di valutazione Si
i fattori di valutazione - Obiettivi: Si
- Competenze: No
le caratteristiche valutative di ciascun fattore No
le modalità operative di valutazione
- Manuale: No
- Schede: Si
- Colloquio: parziale
le modalità di espressione del giudizio Si
PROCESSO
- negoziazione: parziale
- monitoraggio: parziale le fasi del processo
- ridefinizione obiettivi: Si
la frequenza di esecuzione del processo Si
Tabella 2 - Le caratteristiche del sistema di valutazione delle prestazioni: allineamento tra modello
formale e modello teorico
Dalla verifica condotta emergono due aspetti maggiormente problematici che riguardano il
fatto che:
- formalmente l’unica finalità ufficialmente riconosciuta è l’attribuzione della
retribuzione di risultato al dirigente in base al giudizio finale sulle prestazioni
VIII
dimostrate. Ciò non è in linea con quanto descritto dal modello teorico, dal momento
che quattro sono le finalità per cui è bene utilizzare la valutazione, così da sfruttarne
a pieno le sue potenzialità.
- la maggioranza dei Ministeri non stabilisce formalmente di utilizzare il manuale
quale mezzo operativo per la valutazione e la metà dei Ministeri fa altrettanto per il
colloquio di valutazione. Ciò non è coerente con il modello teorico che descrive i
benefici connessi all’adozione degli specifici strumenti di valutazione.
I risultati ottenuti in merito all’allineamento tra le caratteristiche del sistema di valutazione
che ufficialmente sono descritte e quelle dichiarate dai responsabili dei CRA sono mostrati
nella Tabella 3.
FINALITA' Allineamento modello formale e caratteristiche dichiarate
Le modalità di utilizzo dei risultati della valutazione No
ARCHITETTURA
i piani di valutazione parziale
i fattori di valutazione - Obiettivi: n.d.
- Competenze: No
le caratteristiche valutative di ciascun fattore parziale
le modalità operative di valutazione
- Manuale: parziale
- Schede: parziale
- Colloquio: parziale
le modalità di espressione del giudizio n.d.
PROCESSO
- negoziazione: parziale
- monitoraggio: parziale le fasi del processo
- ridefinizione obiettivi: n.d.
la frequenza di esecuzione del processo Si
Tabella 3 - Le caratteristiche del sistema di valutazione delle prestazioni: allineamento tra modello
formale e caratteristiche dichiarate
Dal confronto è emerso che solo la frequenza di esecuzione del processo valutativo risulta
essere allineata, mentre le altre caratteristiche o non lo sono, o lo sono parzialmente. Pur
non essendo certi della veridicità delle dichiarazioni dei responsabili dei CRA, la loro non
Sommario
IX
coerenza con il modello formale lascia trasparire o una parziale consapevolezza dei dirigenti
di quanto descritto nei modelli formali o una parziale condivisione degli stessi.
Analisi empirica
Si mostrano ora le evidenze ottenute sul grado di presenza nei CRA del sistema di
valutazione e dei suoi fattori critici di successo per comprendere se sono in linea con quanto
teorizzato su di essi.
Le prime considerazioni emerse, riguardanti il sistema di valutazione della dirigenza sono:
- nel 2004, è stato ufficialmente rilevato che solo i CRA appartenenti al Ministero
della Giustizia e dell’Ambiente erano dotati di un sistema di valutazione funzionante
e, negli altri, esso era in fase di progettazione o di sperimentazione;
- l’indagine effettuata nel 2005 rileva che il 94,3% dei responsabili dei CRA del
campione dichiara che il sistema di valutazione delle prestazioni della dirigenza da
loro adottato è funzionante. Per essere certi della veridicità di questa affermazione, è
necessario verificare che le dichiarazioni fatte dai responsabili dei CRA
corrispondano a quanto realmente accade nei Ministeri italiani. Ciò rappresenta un
possibile sviluppo futuro della tematica oggetto della tesi.
Fermo restando che è necessario verificare l’attendibilità delle dichiarazioni, i due aspetti
rilevati suggeriscono che ci siano stati miglioramenti nella diffusione della cultura della
valutazione.
Inoltre, riguardo ai tre fattori critici di successo occorre specificare che non si è ritenuto
opportuno indagare il livello di presenza delle competenze, del commitment e la
disponibilità delle informazioni, attraverso domande esplicite da inserire nel questionario
rivolto ai responsabili dei CRA. Perciò, si sono stabiliti dei parametri indiretti che
forniscono un’indicazione sullo stato attuale dichiarato dei tre fattori critici di successo. In
questo modo si è confrontato se lo stato dei fattori critici di successo risultante dai
questionari è in linea con quanto teorizzato.
Le considerazioni emerse a tal proposito sono:
- risulta essere presente un livello di competenze coerente con le implicazioni che
l’adozione della valutazione delle prestazioni comporta, dal momento che
Xnell’87,7% dei CRA oggetto d’indagine si riscontra un livello di presenza medio alto
della cultura di programmazione e che circa la metà del campione risulta essere
capace di discernere ed utilizzare, se a disposizione, strumenti utili ai fini valutativi;
- apparentemente, l’attitudine e l’impegno all’utilizzo delle aree di competenza e delle
tipologie di indicatori, singolarmente considerate, che al momento non possono
essere adottate dai CRA, risultano essere molto positivi e diffusi. Infatti, ciò si
riscontra nella maggioranza del campione, che raggiunge il 100% in riferimento alla
volontà di utilizzo di ciascuna area di competenza e degli indicatori di tempestività.
Tuttavia, il giudizio positivo sulla presenza del commitment è smorzato dal grado di
coerenza riscontrato nei questionari compilati. Infatti, pur essendo la maggioranza
del campione coerente, il fatto che circa il 40% non lo sia, lascia sorgere dei dubbi in
merito al sentito impegno e alla consapevolezza di una percentuale significativa dei
responsabili dei CRA;
- riguardo la disponibilità delle informazioni necessarie per la valutazione è emerso
che cinque Ministeri risultano essere dotati di un sistema di controllo di gestione allo
stato evoluto. Essi sono: il Ministero dell’Economia e Finanza, quello delle
Infrastrutture e Trasporti, quello della Difesa, quello della Giustizia e quello
dell’Interno. In queste amministrazioni centrali dovrebbe essere presente un livello
qualitativo migliore di informazioni rispetto agli altri ministeri, ma non è stato però
possibile verificare tale aspetto direttamente.
Inoltre, si è visto che il sistema di controllo di gestione influenza alcune
caratteristiche implementative del sistema di valutazione, ma nulla si può affermare
sulla maggiore efficacia della configurazione del sistema valutativo in presenza del
sistema di controllo di gestione, rispetto a quando quest’ultimo è assente.
Sommario
XI
Articolazione del lavoro
Complessivamente la presente trattazione si articola in sei capitoli.
Nel primo viene descritto il contesto di riferimento in cui si inserisce la valutazione delle
prestazioni della dirigenza, sia da un punto di vista legislativo, sia descrivendo il ruolo che
essa riveste all’interno del sistema dei controlli interni nella amministrazioni dello Stato.
Il secondo capitolo descrive il modello teorico della valutazione delle prestazioni della
dirigenza nei Ministeri, descrivendo il ruolo e le relazioni tra i quattro fattori che sono
condizione necessaria per far si che gli effetti generati dalla valutazione delle prestazioni
siano vantaggiosi e utili per le amministrazioni dello Stato.
Nel terzo capitolo si illustra l’approccio di ricerca seguito per indagare la situazione attuale
nei Ministeri riguardo la valutazione della dirigenza, esplicitando gli obiettivi della ricerca,
le aree di analisi, le realtà ed i parametri rilevati e descrivendo la metodologia d’indagine
adottata.
Nel quarto capitolo si mostrano i risultati ottenuti dall’analisi della documentazione in
materia di regolamentazione dei sistemi di valutazione all’interno dei Ministeri italiani.
Si sono così individuati quelli che sono i tratti dei sistemi valutativi, descritti come requisiti
che i CRA sono tenuti ad implementare nei rispettivi Ministeri di appartenenza.
Nel quinto capitolo si sviluppano le elaborazioni dei dati pervenuti attraverso la
somministrazione del questionario ai CRA e si commentano le evidenze empiriche a
seconda del fattore influenzante l’efficacia della valutazione cui si riferiscono.
Il sesto capitolo, infine, considera le molteplici evidenze ottenute dall’indagine sperimentale
e trae le conclusioni riguardo cosa risulta attualmente accadere nei Ministeri italiani, rispetto
a quanto descritto nel modello teorico di analisi della valutazione delle prestazioni della
dirigenza.
XII
SUMMARY
Introduction
The assessment of top managers’ work performance in Italian public Departments is defined
by the legislative decree n. 286/1999. It refers to the system characteristics and its
principles.
Despite six years have already passed, the majority of the evaluation systems adopted by
Departments’ administration is not fully working in the way it should be. Furthermore,
Departments’ administration have not completely understood the norms stated by the D.
Lgs.286/99.
Given this situation, the necessity of clarifying the complexity about all the aspects linked to
performance assessment, and the one of exploring how things work at the moment have
risen. From this came the idea of this thesis.
Objectives
This thesis has two main objectives:
1. building a theoretical model about the main factors that affect performance
assessment effectiveness and the interaction between them;
2. developing a research about the way the assessment of top managers’ work
performance works in Italian Departments today. The purpose is to understand if
managers’ behaviours in the Departments encourage the success of the evaluation
system or not.
This second objective includes two sub-objectives. From one side the purpose is verifying
the alignment between:
Summary
XIV
- the theoretical model and the formal one that officially describes the evaluation
system in a Department;
- the formal model and what really happens in the Italian Departments’
administrations.
From the other side, the purpose is searching if the factors that affect performance
evaluation system effectiveness are present in the Departments’ administration and how
strong their presences are.
Methodology
The methodological approach that identifies the logical structure of this thesis, is made of
three phases:
I. Definition of the theoretical model. First of all, the complex topic of top managers’
performance assessment has been studied analysing the literature about it. We have
particularly focused on references that talk about this kind of evaluation in the
Department. In this way, four factors have been identified as the ones responsible for
the success of the evaluation:
1. the evaluation system implemented, through which the assessment process
takes place and the evaluation of performance, that top managers have shown
doing their activities, is obtained;
2. the skills of people involved in the evaluation process, focusing on the top
manager’s ones;
3. the commitment demonstrated by top manager in order to support the
assessment process and to promote the evaluation culture;
4. the information, meaning with this term both the data collected and the
information system that allows to store and to use the data. The information
represents the objectivity needed to express the evaluation.
Nevertheless, there are no references that talks about the relationship between those
factors. So, it has been built a model of analysis through which the many aspects
involved in the performance assessment and their relations can be described.
Summary
XV
II. Empirical survey. As a second step, is developed a research about the way the
assessment of top managers’ work performance works in Italian Departments today.
The research has been conducted in two ways:
- collecting and analysing formal documents that officially set rules about
performance evaluation system inside the Departments’ administration;
- testing 114 top managers and processing data coming from 77,2% of the total
number of them. The test submitted is the result of some modifications to a
previous test, used in 2001. The purpose of the testing sample is understanding
the development of the evaluation system used nowadays in the
administrations.
III. Comparison between the theoretical model and results of the research. As a final
step, the results obtained through the research have been compared to the theoretical
aspects described in the model. Specifically, two levels of consistency have been
verified:
1. between the aspects described in the model of analysis and the ones officially
settled by the Departments;
2. between the characteristic described in the formal model and the ones stated by
top managers of the Departments’ administration.
Then, we asked about the presence of the factors in order to see if they are positive
conditions for the effectiveness of performance assessment as described in the
theoretical model.
Results
Results concern:
1. theoretical model conception;
2. check of the two levels of consistency;
3. comparison between empirical evidences and theoretical aspects.