3.1. LA VALUTAZIONE MEDIANTE PEER REVIEW

La procedura connessa alla valutazione mediante peer review ha avuto inizio a Febbraio 2012 con la costituzione di un albo di revisori ANVUR suddiviso per GEV. Pur avendo a disposizione l’albo di revisori CINECA, utilizzato in precedenza dal MIUR per la valutazione ex ante dei progetti PRIN e FIRB, si è ritenuto opportuno costituire un nuovo albo, tenuto conto del fatto che i revisori presenti nell’albo del CINECA non erano mai stati sottoposti a valutazione preventiva sulla base delle loro credenziali scientifiche, e che il numero degli esperti stranieri era piuttosto limitato.

I GEV hanno quindi operato prima una selezione dei revisori dell’albo CINECA in base a criteri di merito scientifico (indice h di Hirsch, numero di citazioni, produzione scientifica recente) e, successivamente, lo hanno integrato con un numero molto elevato di esperti scelti sulla base degli stessi criteri e interpellati individualmente al fine di valutarne la disponibilità a partecipare alla VQR. Ovviamente, la scelta dei criteri di merito è stata modulata dai vari GEV a seconda della disponibilità o meno di informazioni di natura bibliometrica.

In parallelo, il Consiglio Direttivo dell’ANVUR (d’intesa con i Presidenti GEV), ha pubblicato un modulo di autocandidatura, compilabile da coloro che, non essendo già presenti nell’Albo dei Revisori, intendessero contribuire al processo di valutazione.

Integrando le liste dei revisori dell’albo CINECA e dei candidati valutati positivamente con quelle costruite dai GEV, si è pervenuto all’albo iniziale ANVUR-VQR, costituito da oltre 16.000 nomi. Il processo di selezione è proseguito anche durante la fase di valutazione per coinvolgere competenze non coperte dalle liste definite fino a quel momento e resesi necessarie per la valutazione di prodotti specifici.

I membri GEV responsabili del singolo prodotto hanno scelto separatamente i due revisori, ponendo una particolare attenzione a evitare i conflitti d’interesse sulla base delle indicazioni contenute nei documenti sui criteri di valutazione.

Nelle Tabelle 3.1, 3.2, 3.3 e nella Figura 3.1 sono riportate alcune statistiche sui revisori che hanno partecipato alla VQR. Esse fanno riferimento alla nazionalità italiana o “straniera”, intendendo con quest’ultimo termine l’affiliazione ad una istituzione estera e non la nazionalità del revisore.

Tabella 3.1: Numero di revisori per Area distinti per nazionalità (italiana o straniera)

Tabella 3.2: Revisioni assegnate, effettuate e rifiutate per Area e per nazionalità (italiana o straniera), con l’esclusione delle revisioni effettuate internamente dai membri GEV

Tabella 3.3: Numero e percentuali di prodotti totali e prodotti sottoposti a revisione peer per Area

Figura 3.1: Numero di revisioni assegnate, effettuate e rifiutate per Area e per nazionalità (italiana o straniera)

Complessivamente, la VQR ha impegnato 14.770 revisori “attivi” (che cioè hanno svolto almeno una revisione), di cui 10.150 italiani e 4.620 con affiliazione estera. Nell’Area 1 i revisori stranieri sono più del doppio di quelli italiani, nell’Area 9 oltre il quadruplo, mentre nelle altre aree prevalgono i revisori italiani.

Dalla Tabella 3.3 si evince che i GEV 10, 12 e 14 hanno valutato la totalità dei prodotti (i prodotti mancanti per raggiungere il 100% sono quelli considerati non valutabili) con modalità peer. È importante sottolineare che un campione pari a circa il 10% dei prodotti valutati bibliometricamente, nelle aree che lo consentivano, è stato anche sottoposto a revisione peer al fine di misurare il grado di correlazione delle due metodologie di valutazione. Un’analisi dettagliata della metodologia di confronto e dei suoi risultati si trova nell’Appendice B.

Parte delle revisioni peer sono state effettuate da membri GEV, con le stesse procedure delle revisioni esterne. Tali revisioni interne hanno riguardato soprattutto i prodotti che la valutazione bibliometrica aveva assegnato alla classe IR che, quindi, richiedevano una valutazione peer. Complessivamente, la percentuale di revisioni peer effettuate direttamente all’interno dei GEV è stato contenuto e pari al 16,5%, percentuale prossima a quella dei prodotti assegnati dalla valutazione bibliometrica alla classe IR. Ogni prodotto soggetto alla valutazione peer ha avuto almeno due revisioni. In qualche caso, per il ritardo nella consegna della valutazione da parte di alcuni revisori, circostanza che ha suggerito l’invio a un terzo revisore, il numero di revisioni è stato superiore a 2.

A ogni revisore è stato richiesto di valutare il prodotto sulla base di tre domande a risposta multipla⁵, una per ognuno dei criteri a, b, c della Sezione 2.5. A ogni risposta era associato un punteggio. La somma dei tre punteggi era confrontata con tre soglie per generare una classificazione finale in quattro classi. La classificazione era proposta al revisore per consentirgli di confrontarla con la definizione delle classi 1,2,3 e 4 della Sezione 2.5 e, eventualmente, di modificare i punteggi.

Ogni GEV ha costituito dei gruppi di consenso formati da due o tre membri, che, sulla base dei punteggi espressi dai due (o più) revisori e di un procedimento definito a priori, perveniva alla classificazione finale. Le valutazioni finali sono state approvate prima singolarmente dal Presidente GEV e poi complessivamente dal GEV in seduta plenaria.

Al di là di piccole variazioni tra i GEV, il procedimento richiedeva l’approvazione del gruppo di consenso nel casi di valutazioni peer coincidenti o con differenze di una sola classe, mentre consentiva la richiesta di una terza revisione peer nel caso di valutazioni discordanti per due o tre classi. Nella Tabella 3.4 si riportano per ogni GEV i numeri assoluti e le percentuali dei prodotti che hanno avuto revisioni discordanti per una, due o tre classi. L’argomento è anche ripreso nell’Appendice B, dove si confrontano le valutazioni bibliometriche e peer su un campione di prodotti per tutti GEV che potevano disporre degli indicatori bibliometrici.

Tabella 3.4: Numero e percentuali di revisioni peer discordanti per 1, 2 e 3 classi per Area