Gli effetti delle politiche di valutazione della ricerca scientifica

1 
 
Abstract 
 
Argomento della presente tesi sono gli effetti prodotti dalle politiche di valutazione 
della ricerca sul comportamento di ricercatori e scienziati; più in dettaglio, la tesi tratta 
in che modo gli attuali impianti valutativi incentrati sui moderni indicatori 
bibliometrici abbiano indotto l’adozione di comportamenti strategici e di forme di 
misconduct e in quale misura questo sia avvenuto. Si vedrà come l’assetto delle 
politiche di valutazione scientifica e la struttura di incentivi che queste generano, in 
particolar modo quelli economici, insieme alle caratteristiche degli indicatori 
bibliometrici, abbiano effetti reali sul comportamento dei soggetti coinvolti. Le scelte 
strategiche di risposta alle politiche di valutazione sembrano muoversi più sul fronte 
dell’accrescimento delle collaborazioni scientifiche e, soprattutto nel caso italiano, del 
ricorso alle auto-citazioni; alcune conferme riguardo l’adozione di comportamenti 
strategici arrivano anche dall’analisi dell’andamento del cosiddetto “bias di 
pubblicazione”, cioè alla tendenza a favorire articoli che presentano risultati positivi e 
statisticamente significativi. Al contrario, le ipotesi basate sulla crescita della 
produttività individuale e sul numero di ritrattazioni non sembrano trovare conferma 
nei dati. 
 
This thesis focuses on the effects of research evaluation policies on the behaviour of 
researchers and scientists. Specifically, the thesis discusses how the current evaluation 
systems, based on modern bibliometric indicators, have induced the adoption of 
strategic behaviours and forms of misconduct and to what extent this has happened. It 
shows how the structure of scientific evaluation policies and the framework of 
incentives generated by them, especially the economic ones, together with the 
characteristics of bibliometric indicators, have real effects on the behaviour of the 
subjects involved. The strategic choices in response to policies seem to push 
researchers for scientific collaborations and, especially in the Italian case for the use of
2 
 
self-citations. Some confirmation regarding the adoption of strategic behaviours also 
come from the analysis of the trend of the so-called “publication bias”, that is the 
tendency to favour articles that show positive and statistically significant results. By 
contrast, the growth of individual productivity and number of retractions do not seem 
to be confirmed by data. 
 
Introduzione 
 
Quando negli anni ’50 il chimico statunitense Eugene Garfield elaborò un indicatore 
per confrontare le riviste scientifiche e attribuire loro un giudizio qualitativo uniforme 
non avrebbe mai immaginato gli sviluppi successivi che questo avrebbe avuto nel 
mondo scientifico; oggi l’Impact Factor è il principale strumento di valutazione del 
mondo editoriale e intorno a esso orbitano investimenti di aziende e compagnie private 
e le politiche universitarie e della ricerca degli Stati. L’Impact Factor e in generale gli 
indicatori bibliometrici non sono un fattore neutrale e esterno alla ricerca scientifica; il 
loro legame con le politiche editoriali e della ricerca hanno reso questi strumenti in 
grado di “influenzare” e non solo più semplicemente di “valutare” il modo in cui la 
ricerca viene condotta. La presente tesi verterà proprio su alcuni aspetti del legame che 
esiste tra indicatori bibliometrici e politiche di valutazione e del modo in cui questo 
agisce sul comportamento di ricercatori e scienziati. 
 
Nel primo capitolo si fornirà un inquadramento storico della nascita della scientometria 
e della bibliometria, e si vedrà come quest’ultima si sia sviluppata nei suoi caratteri 
attuali negli Stati Uniti in risposta alle esigenze di controllo e di governo della ricerca 
scientifica espresse dallo Stato; si darà conto del dibattito intellettuale che ha 
accompagnato la nascita degli indicatori bibliometrici, di come questi fossero stati 
ideati per avere funzioni diverse rispetto al successivo utilizzo e di come le loro criticità 
fossero già note al tempo.
3 
 
Il secondo capitolo contiene una disamina degli elementi che caratterizzano le politiche 
universitarie e della ricerca; si vedrà come le attuali politiche valutative siano il frutto 
congiunto delle teorie di governo della cosa pubblica impostesi dagli anni ’80 e delle 
necessità, da parte dello Stato, di efficientamento e risparmio in rispetto dei sempre più 
stringenti vincoli di bilancio; la valutazione della ricerca scientifica nel caso italiano 
avrà una sezione dedicata, in cui si approfondirà soprattutto l’impianto della riforma 
ANVUR del 2010, caratterizzata dal fatto di essere l’unica in Europa e non solo a fare 
un ricorso così pervasivo agli indicatori bibliometrici. 
Nel terzo capitolo si tratteranno in modo analitico e teorico gli indicatori bibliometrici, 
prestando particolare attenzione all’Impact Factor e all’indice di Hirsch, e le tecniche 
di trattamento e normalizzazione dei dati utilizzate; e si darà conto del dibattito 
intellettuale che esiste intorno agli indicatori bibliometrici nella comunità scientifica. 
Il quarto capitolo verterà sulle forme di misconduct che affliggono la ricerca scientifica, 
di cui si fornirà una definizione e un inquadramento; si vedrà come i moderni indicatori 
bibliometrici abbiano dato luogo a nuove forme di misconduct che riguardano 
soprattutto le citazioni e la sfera della pubblicazione degli articoli. 
Il quinto e ultimo capitolo tratterà più nel dettaglio gli effetti prodotti dalle politiche 
valutative e dalla publish or perish culture; si metterà in dubbio l’idea che scienziati e 
ricercatori abbiano incrementato in modo anomalo e artificioso il numero delle proprie 
pubblicazioni, e si vedrà come questo fenomeno riguardi maggiormente il caso delle 
collaborazioni scientifiche; si dimostrerà come gli incentivi economici influenzino 
maggiormente il comportamento di ricercatori e scienziati rispetto a quelli istituzionali 
e legali; si vedrà come le ritrattazioni e l’andamento del fenomeno di file-drawer 
possano segnalare la presenza di forme di misconduct; infine, si affronterà il fenomeno 
delle auto-citazioni nel contesto italiano e del loro legame con la riforma ANVUR del 
2010.
4 
 
1) La nascita della bibliometria e i suoi fondamenti teorici 
 
1.1) Le origini della bibliometria 
 
L’idea che l’attività scientifica possa essere misurata e giudicata quantitativamente 
trova il suo primo fondamento filosofico nella sociologia positivistica ottocentesca, in 
autori come Comte e Spencer
1
. Inizialmente l’attenzione era posta sulla distribuzione 
statistica nella popolazione di quello che veniva considerato il merito o genio 
scientifico, solo nel corso del novecento la bibliometria inizia a svilupparsi come 
branca della scientometria che utilizza tecniche statistiche e matematiche per lo studio 
della distribuzione delle pubblicazioni scientifiche: “Bibliometrics, on the contrary, 
evolved from the analysis of quantitative patterns pertaining to the network of scientific 
documents produced by the scientists themselves”
2
.  
Al 1917 risale la prima applicazione pratica di questa metodologia, con uno studio sulla 
letteratura europea in tema di anatomia comparativa dal 1543 fino al 1860 da parte di 
Francis J. Cole e Nellie B. Eales
3
; questa sorta di investigazione bibliometrica, che si 
accredita a tutti gli effetti come il primo studio in questa disciplina, conteneva  molti 
degli aspetti principali dei moderni studi di bibliometria: l’utilizzazione del numero di 
pubblicazioni come unità quantitativa da trattare attraverso la matematica e la statistica 
e l’intento di valutare quello che oggi definiremmo la produttività scientifica di una 
certa area geografica. 
Nel 1927 i due chimici P. Gross e E. M. Gross analizzano l’intero apparato bibliografico 
di ogni pubblicazione avvenuta sul Journal of the American Chemical Society nel corso 
di un anno al fine di classificare le riviste del settore attraverso il numero di citazioni 
ricevute. Inoltre, ai due autori si deve il merito di aver considerato per primi la rilevanza 
del fattore temporale classificando in una posizione più elevata le riviste citate nelle 
 
1
 N. De Bellis, Bibliometrics and Citation Analysis: From the Science Citation Index to Cybermetrics, Lanham, MD: 
The Scarecrow Press, 2009, pag. 1. 
2
 Ibidem, pag. 3. 
3
 Cit., Bibliometrics and Citation Analysis: From the Science Citation Index to Cybermetrics, pag. 6.
5 
 
pubblicazioni più recenti: così facendo avevano per primi delineato un’equazione tra 
tasso di citazione, distribuzione temporale delle stesse e rilevanza del testo
4
.  
 
1.2) La fondazione matematica della bibliometria: i contributi di Lotka, 
Bradford e Zipf  
 
Intorno agli anni ’20 e ’30 abbiamo i primi contributi che andarono a formare i 
fondamenti empirici di questa nuova disciplina; contributi che per la loro portata 
analitica troveranno poi utilizzo ed estensione in altri settori scientifici. Ci si riferisce 
in particolar moto alle teorizzazioni di autori come Lotka, Bradford e Zipf e alle leggi 
matematiche che avrebbero preso il loro nome. Le regolarità matematiche individuate 
nei loro studi hanno spinto alcuni autori a parlare di “mahtematical foundations of 
bibliometrics”
5
. Questi tre autori erano accomunati dal fatto di applicare semplici 
elementi matematici per studiare la relazione tra fonti produttive e beni prodotti; nel 
caso di Lotka lo studio verte sul rapporto tra autori e produzione di articoli, in Bradford 
riguarda le riviste tematiche che ne ospitano gli interventi, mentre Zipf si concentra 
sulla frequenza delle parole utilizzate nei testi scientifici. Lotka, Bradford e gli studiosi 
che utilizzarono le teorie di Zipf in campo bibliometrico avevano riscontrato 
un’anomalia nella asimmetrica concentrazione di ampia parte della letteratura 
scientifica di certi settori intorno ai contributi apportati da pochissime fonti, a loro volta 
esposte in un numero limitato di riviste: un piccolo gruppo di autori era quindi 
responsabile della maggior parte della produzione di articoli.  
Questa ipotesi comune ai tre autori può essere espressa graficamente con dei dati creati 
a scopo esemplificativo. Ipotizziamo di classificare un insieme di autori in senso 
crescente per il numero di articoli che hanno prodotto nel corso di un certo lasso di 
tempo, in questo modo si ha una misura approssimativa della loro produttività 
scientifica. Possiamo adesso porre sull’asse x gli autori responsabili degli n contributi 
 
4
 Cit., Bibliometrics and Citation Analysis: From the Science Citation Index to Cybermetrics, pag. 9. 
5
 L’espressione viene utilizzata dal già citato De Bellis.
6 
 
scientifici e sull’asse y gli n contributi scientifici prodotti utilizzando una scala 
logaritmica
6
. 
 
 
 
Secondo questa ipotesi pochi autori sono responsabili della maggior parte dei contributi 
scientifici; deve essere specificato che l’interesse degli studiosi citati verteva non 
sull’intero insieme di autori ma in particolar modo sulla fascia caratterizzata da una più 
alta produttività.  
Una simile distribuzione della produttività scientifica avrebbe effetti notevoli se 
accompagnata da legislazioni che in tema di valutazione della ricerca, per quanto 
riguarda l’accesso a fondi e ai percorsi di carriera, siano incentrate sulla valutazione 
della produttività del singolo: su pochi individui andrebbero infatti a ricadere la 
maggior parte delle disponibilità economiche stanziate dallo Stato e spesso previste dai 
singoli istituti universitari. Il risultato potrebbe essere quello, riprendendo la 
terminologia dell’economia della concorrenza, di una sorta di “posizione dominante” 
di pochi ricercatori, la cui alta produttività genera inoltre un effetto moltiplicativo della 
propria visibilità in termini di citazioni, con tutto quello che ne consegue sulla 
possibilità di scalare ranking e graduatorie. Queste problematiche verranno affrontate 
 
6
 Il grafico è ripreso da Cit., Bibliometrics and Citation Analysis: From the Science Citation Index to Cybermetrics, 
pagg. 78-79. 
Log(n articoli)
Log(n autori) 
Esempio di curva di produttività scientifica 
nell'ipotesi di Lotka, Bradford e Zipf