Rapporto Finale GEV e ANVUR

8. CONCLUSIONI

La VQR 2004 – 2010 ha analizzato una serie impressionante di dati collegati alla ricerca e valutato oltre 180.000 tra articoli, monografie, e altri risultati pubblicati dai ricercatori italiani delle università e dei centri di ricerca nel settennio 2004 - 2010. Con i limiti e i caveat menzionati nel corso del rapporto, le quattordici relazioni di Area e il rapporto finale ANVUR presentano una mappa completa della qualità della ricerca nel nostro paese riferita alle strutture (università, enti di ricerca e consorzi interuniversitari) e ai dipartimenti che le compongono, antecedenti e successivi alla ristrutturazione dipartimentale degli atenei dettata dalla Legge 240.

Ciascuno dei GEV ha pubblicato e analizzato una graduatoria di struttura e di dipartimento per ciascuna delle quattordici aree scientifiche CUN e per sottoinsiemi di queste, fino al livello dei settori scientifico-disciplinari. Per l’ANVUR, l’obiettivo principale della pubblicazione trasparente dei risultati è di offrire a tutti gli interessati allo stato della ricerca italiana molti elementi concreti su cui riflettere e agire per consolidare i punti di forza, per migliorare le debolezze e adottare correttivi laddove opportuno.

Consci del pericolo di offrire argomenti di polemica per strumentalizzazioni tese alla ricerca manichea dei “buoni” e dei “cattivi”, vogliamo ribadire che la soluzione dei problemi non può che partire da una conoscenza accurata dei problemi stessi e, se possibile, delle cause che li hanno generati.

Un’analisi completa dei risultati, vista la loro mole, richiederà tempo e lavoro scientifico esperto, e per facilitare tale compito l’ANVUR intende mettere a disposizione i dati elementari della valutazione dopo averli depurati degli elementi sensibili.

Mettendo a confronto i risultati dell’Appendice H (i confronti internazionali nelle aree bibliometriche) con quelli della VQR, emerge un quadro della ricerca italiana nel suo complesso competitiva rispetto a singoli paesi e a insiemi significativi degli stessi, nonostante la posizione di retroguardia nel numero di addetti alla ricerca e nel suo finanziamento.

La VQR, però, mostra che la buona qualità media si compone di realtà assai eterogenee. Insieme a università che ottengono risultati positivi in molte Aree, vi sono atenei spesso al di sotto della media di Area. Pur con eccezioni significative a livello di SSD e dipartimento, questa divisione configura anche una preoccupante separazione tra aree geografiche, che potrebbe dipendere in parte da dati di contesto che la VQR non doveva e non poteva analizzare.

Nel corso del processo di valutazione, durato venti mesi e concluso con un mese di anticipo rispetto alla scadenza prevista dal DM, l’ANVUR, i GEV, gli assistenti dei presidenti GEV, il gruppo di lavoro CINECA e i revisori, hanno superato numerose difficoltà e, laddove necessario, corretto la rotta in corso d’opera. In previsione del prossimo esercizio di valutazione, per favorirne una riuscita ancora migliore, si mettono in luce alcuni elementi importanti.

Lo strumento della VQR è particolarmente adatto a valutare insiemi omogenei di dimensione significativa, come sono le università. Presenta delle criticità nell’applicazione a insiemi piccoli e fortemente disomogenei come gli enti di ricerca vigilati dal MIUR.
- Anzitutto, la valutazione dovrebbe essere estesa a tutti gli enti di ricerca, indipendentemente dal Ministero vigilante; in caso contrario la valutazione degli enti di ricerca lascia fuori realtà molto importanti che assorbono una quota anche maggioritaria dei finanziamenti (si pensi ad esempio agli enti di ricerca che dipendono dal Ministero della Salute).
- Degli otto enti di ricerca vigilati dal MIUR, due non sono enti di ricerca in senso stretto; infatti, per l’Agenzia Spaziale Italiana e per il Consorzio per l'Area di Ricerca Scientifica e Tecnologica di Trieste la missione principale è quella di agenzia con il compito di sviluppare e promuovere la ricerca scientifica, piuttosto che svolgerla direttamente “in house”. I rimanenti hanno dimensioni e aree di attività profondamente diverse, con il CNR che svolge attività di ricerca in tutte le aree e gli altri che si limitano a uno o due Aree.
- In futuro, dovrà essere meglio definita e formalizzata la categoria dei docenti e ricercatori universitari “affiliati da almeno tre anni a Enti di ricerca…” (lettera d, comma 4, articolo 4 del DM). L’incidenza della loro produzione scientifica sulla valutazione degli enti di ricerca è molto significativa, e una interpretazione non corretta del concetto di “affiliazione” può modificare le graduatorie.
L’analisi dell’Appendice B sul confronto tra valutazione bibliometrica e peer ha messo in evidenza, con l’eccezione di una sola Area, differenze sistematiche nel punteggio medio derivante dai due tipi di valutazione. Abbiamo elencato nell’Appendice alcune possibili cause, che sono difficilmente superabili. Una di queste è la conoscenza completa a priori dell’algoritmo di valutazione bibliometrica, che ha consentito alle strutture di scegliere gli articoli con la certezza della valutazione finale. In questo, l’elevato numero medio di pubblicazioni per ricercatore e per anno nelle aree bibliometriche ha consentito in molti casi di scegliere tre lavori per ricercatore di qualità adeguata. In ogni caso, questa differenza sistematica genera valutazioni più generose nelle aree con percentuali più elevate di valutazioni bibliometriche, ed è uno dei motivi principali che sconsigliano confronti tra aree diverse.
Gli algoritmi di valutazione bibliometrica adottati dai GEV si sono basati su una calibrazione incompleta causa i tempi ristretti e la disponibilità delle banche dati. A pubblicazione dei criteri avvenuta, è stato avviato un esercizio di calibrazione accurato analizzando tutto il database ISI WoS; i risultati sono riportati nell’Appendice A, e la metodologia affinata consentirà in futuro di adottare algoritmi bibliometrici confrontabili tra Aree diverse.
La scelta di associare ogni prodotto a un soggetto valutato senza consentirne il riuso all’interno della stessa struttura ha indubbiamente reso meno robusta la valutazione dei dipartimenti, perché la selezione dei prodotti è avvenuta con l’obiettivo di massimizzare il risultato di struttura. Inoltre, l’aver consentito di riutilizzare lo stesso prodotto attribuendolo a un coautore affiliato a una diversa struttura non ha favorito gli enti di ricerca che hanno una grande diffusione nel territorio e che sono caratterizzati da pubblicazioni con un numero elevato di coautori (si vedano anche le considerazioni del rapporto del GEV02 a tale proposito).
In futuro, si dovranno definire meglio le tipologie di prodotti ammissibili, in modo da ridurre la percentuale di prodotti non valutabili che nella VQR costituiscono l’uno per cento circa.
Come già messo in evidenza, l’incertezza statistica dei risultati dipende dalla dimensione del campione, e si riduce nel passaggio da grandi strutture a piccole strutture, dall’Area ai sub-GEV e SSD, dalle strutture ai dipartimenti. Per motivi di tempo non è stato possibile analizzare l’incertezza statistica dei risultati, così come non vi è stato modo di approfondire la relazione tra il risultato della valutazione e le caratteristiche delle strutture e dei soggetti valutati (per età, ruolo, genere, dimensione complessiva, finanziamenti, ecc.). L’ANVUR, con l’aiuto di esperti, intende portarla a compimento.
Il processo di selezione dei revisori peer è stato accurato, e per la prima volta nel nostro paese, ha preso in considerazione, oltre alla disponibilità, la qualità scientifica e la competenza. Uno dei risultati importanti della VQR è la costituzione di un archivio di revisori di qualità certificata che sarà prezioso per le future attività dell’agenzia. L’interfaccia predisposta dal CINECA per le revisioni peer è stata perfezionata in corso d’opera, anche grazie anche ai suggerimenti e rilievi dei revisori e dei componenti GEV. Sarebbe stato preferibile dedicare più tempo e “forza lavoro” alla messa a punto dello strumento software prima di metterlo a disposizione degli utenti finali.
L’analisi delle revisioni peer ha mostrato che in pochi casi si sono manifestati comportamenti poco virtuosi, con revisori che hanno classificato tutti i prodotti loro assegnati nella stessa classe in contraddizione con gli altri revisori dello stesso prodotto. Questa informazione è stata utilizzata dai Gruppi do Consenso interni ai GEV per pesare in maniera minore tali revisioni, e, a volte, intervenire modificando il giudizio finale. In futuro, sembra opportuno rendere obbligatoria, oltre all’attribuzione del punteggio, anche l’espressione di un giudizio sintetico da parte dei revisori.
Il DM e il Bando prevedevano tre criteri per l’attribuzione del punteggio da parte dei revisori. Tra questi, il terzo criterio legato all’internazionalizzazione si è dimostrato particolarmente critico nelle Aree dove prevale, a livello di lingua e di oggetto dell’indagine, la natura “nazionale” rispetto al respiro internazionale. Nonostante gli encomiabili sforzi interpretativi dei GEV nel comunicare ai revisori il significato particolare del termine, il criterio dell’internazionalizzazione ha finito per penalizzare alcune Aree (e settori) rispetto ad altre. Peraltro, la soluzione non sembra essere quella di eliminare del tutto tale criterio, che ha comunque comunicato il messaggio dell’importanza dell’apertura e dell’allargamento della platea di potenziali utenti della pubblicazione scientifica.
Oltre alla valutazione dei prodotti scientifici, la VQR ha analizzato altri aspetti importanti legati alla ricerca. In particolare, l’aspetto legato alla qualità del reclutamento, la cui analisi è apparsa statisticamente robusta grazie ai numeri molto elevati dei neo-assunti e/o promossi negli atenei nel settennio (dell’ordine di svariate centinaia per gli atenei medio-grandi). E’ significativo che emerga una forte correlazione tra i risultati della valutazione dei prodotti e l’attenzione posta a reclutare i ricercatori migliori, in una spirale virtuosa di causa-effetto che rende fiduciosi sul miglioramento futuro della qualità della ricerca nel nostro paese.
L’identificazione di indicatori idonei a valutare le attività di terza missione è un problema tuttora aperto. Lo stesso termine “terza missione”, che al contrario delle prime due (didattica e ricerca) identifica queste attività con un ordinale (terzo) invece che con un sostantivo definitorio, ne indica il carattere ancora provvisorio. Nel rapporto gli indicatori di terza missione si limitano a misurare la quantità di alcune tipologie di attività (brevetti, spin-off, ecc.), senza avventurarsi nell’analisi delle loro caratteristiche specifiche e, tantomeno, della loro qualità. Pur adempiendo il dettato del Bando nel calcolare gli indicatori finali di terza missione per ogni struttura, l’ANVUR considera l’attività di valutazione delle attività di terza missione come sperimentale, e ne sconsiglia per il momento l’applicazione ai fini della distribuzione di risorse.

In conclusione, crediamo che la VQR dispiegherà i suoi effetti benefici nei mesi e negli anni a venire se i suoi risultati saranno studiati nel dettaglio e analizzati con attenzione, e utilizzati dagli organi di governo delle strutture per avviare azioni conseguenti di miglioramento. Un segnale incoraggiante è lo spirito di grande interesse e collaborazione con l’ANVUR delle strutture valutate, per le quali la VQR ha richiesto lavoro e impegno in un momento di grande trasformazione e difficoltà (in particolare per le università).