3.2. LA VALUTAZIONE BIBLIOMETRICA

La valutazione bibliometrica dei GEV 1, 2, 3, 4, 5, 6, 7, 8, 9 e 11 (con le precisazioni sopra indicate) ha riguardato gli articoli pubblicati su riviste indicizzate nelle basi di dati WoS e Scopus. L’ANVUR ha acquisito da Thomson-Reuters ed Elsevier, tramite il CINECA, i dati grezzi con le informazioni bibliometriche di tali archivi per gli anni 2004-2011 e per la produzione scientifica mondiale. Contrariamente alla scelta effettuata in altri paesi per esercizi di valutazione analoghi, l’ANVUR ha preferito utilizzare entrambe le basi di dati per evitare di legarsi a un solo gestore, e per sfruttare al meglio le caratteristiche di parziale complementarietà delle due basi di dati.

L’algoritmo di valutazione di tutti i GEV bibliometrici si basa sul calcolo di due indicatori per ogni prodotto: il numero di citazioni e l’Impact Factor WoS (o l’equivalente JCR di Scopus). Alla coppia di valori dei due indicatori, con regole lievemente diverse da GEV a GEV per le quali si rimanda ai rapporti finali di Area, si è associata una fra cinque classi: le quattro classi della VQR e una quinta classe (IR) ottenuta nel caso di indicazioni divergenti dei due indicatori (ad esempio, un prodotto con elevato numero di citazioni pubblicato su una rivista con IF molto basso o viceversa). I prodotti IR sono stati sottoposti a valutazione peer.

Nella Tabella 3.5 si riportano i numeri assoluti e le percentuali (calcolate sui prodotti sottoposti a valutazione bibliometrica) di prodotti valutati bibliometricamente e di prodotti con classificazione IR per ogni GEV. L’attribuzione dei prodotti alle aree è fatta sulla base del soggetto valutato cui i prodotti sono stati associati. Ciò spiega come mai vi siano alcuni prodotti delle aree 10, 12 e 14 che sono stati valutati bibliometricamente: per tali prodotti le strutture avevano suggerito per la valutazione un GEV diverso da quello di afferenza del soggetto valutato.

Tabella 3.5: Numero e percentuali di prodotti totali e prodotti valutati bibliometricamente e classificati IR per Area

Come già anticipato, gli algoritmi dei GEV per la valutazione bibliometrica hanno utilizzato regole non identiche per l’attribuzione della classe a partire dai valori dei due indicatori. Una calibrazione accurata di questi algoritmi non è stata possibile prima dell’approvazione e pubblicazione dei criteri per mancanza di tempo e per l’indisponibilità delle basi di dati nei primi mesi del 2012.

Successivamente, a fini metodologici e nella prospettiva di un utilizzo futuro, si è studiata una procedura di calibrazione basata sulla definizione quantitativa delle quattro classi di merito VQR. La procedura e i suoi risultati sono descritti nell’Appendice A.

Il processo di valutazione bibliometrica è stato automatizzato dal CINECA “agganciando” i prodotti conferiti dalle strutture alle basi di dati ISI WoS e Scopus acquisite, calcolando i due indicatori, e confrontandoli con le soglie per pervenire alla classe finale. Iniziata nel mese di Luglio 2012, la valutazione bibliometrica si è conclusa a Dicembre 2012.

Una percentuale non trascurabile dei prodotti bibliometrici non è stata immediatamente valutata dall’algoritmo CINECA per vari motivi: assenza del dato grezzo nell’archivio acquisito, mancanza dell’indicatore d’impatto della rivista per l’anno di pubblicazione, ecc. I valori degli indicatori per tali articoli sono stati calcolati dai GEV e inviati al CINECA per la valutazione finale.