2.5. LA METODOLOGIA DI VALUTAZIONE

La valutazione dei prodotti conferiti dalle strutture è avvenuta utilizzando, singolarmente o in combinazione, le seguenti metodologie:

• valutazione diretta da parte del GEV, anche utilizzando l’analisi bibliometrica basata sul numero di citazioni del prodotto e su indicatori di fattori di impatto della rivista ospitante il prodotto;

• peer review, affidata a esperti esterni indipendenti fra loro, scelti dal GEV (di norma due per prodotto), cui è stato affidato il compito di esprimersi, in modo anonimo, sulla qualità delle pubblicazioni selezionate.

Il giudizio di qualità finale è stato espresso sulla base dei seguenti criteri:

1. rilevanza, da intendersi come valore aggiunto per l'avanzamento della conoscenza nel settore e per la scienza in generale, anche in termini di congruità, efficacia, tempestività e durata delle ricadute;

2. originalità/innovazione, da intendersi come contributo all'avanzamento di conoscenze o a nuove acquisizioni nel settore di riferimento;

3. internazionalizzazione, da intendersi come posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni.

Il risultato finale della valutazione consisteva nell’attribuzione a ciascun prodotto di una delle seguenti classi di merito e del relativo peso:

• Eccellente: la pubblicazione si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale (peso 1);

• Buono: la pubblicazione si colloca nel segmento 60% - 80% (peso 0.8);

• Accettabile: la pubblicazione si colloca nel segmento 50% - 60% (peso 0.5);

• Limitato: la pubblicazione si colloca nel 50% inferiore (peso 0);

• Non valutabile: la pubblicazione appartiene a tipologie escluse dal presente esercizio o presenta allegati e/o documentazione inadeguati per la valutazione o è stata pubblicata in anni precedenti o successivi al settennio di riferimento (peso -1);

• In casi accertati di plagio o frode, la pubblicazione è pesata con peso -2.

Per ciascun prodotto mancante rispetto al numero atteso è stato assegnato un peso negativo pari a -0,5.

Ogni GEV ha approvato i propri criteri di valutazione,, che sono stati pubblicati dall’ANVUR il 29 febbraio 201.

L’ANVUR ha lasciato un margine di autonomia ai GEV nell’interpretazione e modulazione dei criteri definiti dal DM e dal Bando: alcuni elementi sono comuni ai vari GEV, mentre su altri, più specifici, ogni GEV ha scelto la via più rispondente alle caratteristiche delle discipline che lo compongono.

Gli elementi comuni a tutti i GEV:

• la responsabilità finale in capo ai GEV della valutazione dei prodotti con l’attribuzione delle classi di merito;

• la scelta di utilizzare per la valutazione la tecnica della informed peer review⁴, che consiste nel tener conto di più elementi di valutazione per la classificazione finale di merito. A seconda delle caratteristiche peculiari del GEV, gli elementi vanno dall’uso di due basi di dati per la valutazione bibliometrica, alla combinazione di valutazione peer e bibliometrica, alla valutazione peer accompagnata da una classificazione delle riviste ottenuta per via non bibliometrica;

• la valutazione dei prodotti di ricerca di cui ai punti b,c,d,e della Sezione 2.2 mediante peer review;

• l’uso della informed peer review per la valutazione delle monografie e dei capitoli di libro;

• la procedura per l’individuazione dei revisori esterni;

• lo svolgimento guidato della peer review tramite la predisposizione di una scheda di revisione che prevedeva tre domande a risposta multipla pesata;

• le regole di funzionamento dei GEV;

• le norme atte a evitare i conflitti di interesse.

Gli elementi comuni ai GEV (GEV01-07, parte del GEV08, GEV09, parte del GEV11) che potevano avvalersi delle basi di dati Web of Science (WoS) e Scopus per la valutazione bibliometrica:

• l’utilizzo di due indicatori, il primo legato alla rivista che ha ospitato il prodotto e il secondo rappresentato dal numero di citazioni ricevute;

• il calcolo delle distribuzioni cumulative dei due indicatori all’interno di una categoria disciplinare omogenea (ad esempio una Subject Category di ISI WoS) per l’anno di pubblicazione dell’articolo da valutare utilizzando le due basi dati WoS e Scopus complete (cioè non limitate ai record nazionali);

• la partizione delle distribuzioni in 4 classi che contengono una percentuale data di riviste e di articoli;

• la costruzione di una matrice 4x4 i cui elementi sono individuati dai valori della coppia di indicatori;

• l’assegnazione di una fra cinque classi finali a ciascuna delle 16 celle: le 4 classi di merito della VQR e una classe undecided (IR nel seguito) caratterizzata da indicazioni divergenti dei due indicatori; gli articoli che ricadevano in quest’ultima classe sono stati valutati utilizzando la informed peer review.

Il GEV13 ha optato per un algoritmo di valutazione differente, con un diverso peso tra indicatore bibliometrico e indicatore citazionale (si veda il rapporto dell’Area 13 per approfondimenti sul tema).

I GEV che utilizzano la bibliometria hanno adattato l’algoritmo di valutazione alle proprie esigenze specifiche. In particolare, alcuni GEV hanno utilizzato matrici 4x4 diverse a seconda della data di pubblicazione dell’articolo, per tenere conto della diversa maturità dell’indicatore citazionale.

Gli elementi comuni ai GEV (parte del GEV08, GEV10, la maggior parte del GEV11, il GEV12 e il GEV14) che non dispongono di banche dati sufficientemente affidabili e di metodologie condivise a livello internazionale:

• l’utilizzo generalizzato della informed peer review per la valutazione di tutti i prodotti di ricerca;

• la classificazione delle riviste dei settori scientifico-disciplinari di competenza in due o tre classi di merito, mediante un procedimento che ha coinvolto le società scientifiche, revisori anonimi e il GEV, come primo passo di un processo che l’ANVUR ha intrapreso, in parallelo alla VQR e in conseguenza delle previsioni del DM 76 sulla Abilitazione scientifica nazionale, di un censimento generale delle riviste di tali aree e di una classificazione delle stesse con procedure condivise dalle comunità scientifiche di riferimento. È importante sottolineare che la classificazione delle riviste non è stata per lo più utilizzata ai fini della valutazione;

• L’utilizzo della classificazione delle riviste per un confronto ex post di natura statistica e informativa con gli esiti della valutazione peer.