PREMESSA

La valutazione periodica delle attività di ricerca e di terza missione delle università e degli enti di ricerca è uno dei compiti affidati all’ANVUR dal DPR 76 del 1/2 /2010. L’articolo 3 comma 1 lettera a) recita: “L’agenzia…valuta la qualità dei processi, i risultati e i prodotti delle attività di gestione, formazione, ricerca, ivi compreso il trasferimento tecnologico delle università e degli enti di ricerca…”.

Le finalità dell’ampio esercizio di valutazione dei risultati di ricerca oggetto del rapporto sono molteplici:

• presentare al Paese una valutazione imparziale e rigorosa della ricerca nelle università, negli enti di ricerca e nelle loro articolazioni interne (dipartimenti, istituti,…), che ognuno potrà utilizzare per i propri scopi:

  • gli organi di governo delle Strutture per intraprendere azioni volte a migliorare la qualità della ricerca nelle aree che appaiono deboli rispetto al panorama nazionale;

  • le famiglie e gli studenti per orientarsi nelle difficili scelte collegate ai corsi di studio e alle università;

  • i giovani ricercatori per approfondire la propria formazione e svolgere attività di ricerca nei migliori dipartimenti;

  • le industrie e gli enti pubblici per indirizzare la domanda di collaborazione alle strutture che ospitano, nelle aree scientifiche di loro interesse, gruppi di ricerca validi per qualità e massa critica;

  • e molti altri ancora…;

• determinare una graduatoria nazionale per area scientifica e per struttura basata sugli indicatori del Bando che costituisca uno degli elementi su cui basare la distribuzione della quota premiale del Fondo di Finanziamento Ordinario delle università;

• offrire una valutazione dei dipartimenti degli atenei e delle sottostrutture degli enti di ricerca agli organi di governo interni per orientare, nella loro autonomia, la distribuzione interna delle risorse acquisite;

• consentire un confronto della qualità della ricerca nazionale con quella dei principali paesi industrializzati.

La valutazione e i risultati qui descritti non riguardano per nulla la qualità dell’attività didattica svolta dalle università, e quindi la loro utilizzazione come ausilio all’orientamento ai giovani in procinto di iscriversi all’università è via via più appropriata laddove la ricerca gioca un ruolo importante, vale a dire per i corsi di laurea magistrale e per i corsi di dottorato, anche se l’ANVUR ritiene che una buona didattica nelle università richieda, a ogni livello, l’accompagnamento di un’attività di ricerca adeguata.

È essenziale sottolineare che la valutazione e i risultati qui descritti non riguardano in alcun modo la qualità e quantità dell’attività didattica che si svolge nelle università. L’ANVUR ritiene comunque che una buona didattica richieda, a ogni livello, la presenza di un’attività di ricerca adeguata. Quindi il rapporto può essere utile anche per orientare le scelte dei giovani, particolarmente laddove la ricerca gioca un ruolo importante, vale a dire per i corsi di laurea magistrale e soprattutto per i corsi di dottorato.

Inoltre, le graduatorie contenute nel rapporto riguardano unicamente gli esiti di una valutazione della ricerca nelle strutture che rispetta rigorosamente il dettato del DM e del Bando, e non devono essere confuse con i ranking degli atenei che alcune organizzazioni, quotidiani e università pubblicano ogni anno. Se da un lato i ranking discendono da valutazioni a spettro più ampio, non riguardando unicamente la ricerca e i parametri a essa collegati e coinvolgendo atenei di tutti i paesi, dall’altro la profondità e il dettaglio della valutazione della ricerca degli atenei italiani nella VQR sono di gran lunga superiori. Pertanto, non è possibile confrontare i ranking con i risultati della VQR.

Tra le finalità della VQR non compare il confronto della qualità della ricerca tra aree scientifiche diverse. Lo sconsigliano i parametri di giudizio e le metodologie diverse di valutazione delle comunità scientifiche all’interno di ciascuna area (ad esempio l’uso prevalente della bibliometria in alcune Aree e della peer review in altre), che dipendono da fattori quali la diffusione e i riferimenti prevalentemente nazionali o internazionali delle discipline, le diverse culture della valutazione, in particolare la diversa percezione delle caratteristiche che rendono “eccellente” o “limitato” un lavoro scientifico nelle varie aree del sapere e, infine, la variabilità tra le Aree della tendenza, anche involontaria, a indulgere a valutazioni più elevate per migliorare la posizione della propria disciplina.

Pertanto, le tabelle che per comodità di visualizzazione riuniscono nel rapporto i risultati delle valutazioni nelle varie Aree non devono essere utilizzate per costruire graduatorie di merito tra le aree stesse, un esercizio senza alcun fondamento metodologico e scientifico.

Questo stesso caveat riguarda in qualche caso il confronto tra settori scientifico-disciplinari (SSD) interni a un’Area. Mentre in alcuni casi è possibile confrontare la qualità della ricerca tra SSD della stessa Area, in altri casi (evidenziati nei singoli rapporti di Area) tale confronto non è possibile né opportuno. Le graduatorie di Area e di sottoinsiemi più omogenei all’interno di un’Area, quali sub-GEV o SSD, sono finalizzate al confronto nazionale di natura verticale al loro interno.

Nel costruire le graduatorie di struttura (università, enti di ricerca) è necessario integrare in un unico indicatore le graduatorie delle diverse Aree nelle quali la struttura ha svolto attività di ricerca. Come si vedrà nel corso di questo rapporto, gli indicatori finali di struttura, così come l’indicatore finale di dipartimento, non sono influenzati in maniera significativa da eventuali differenze nei metri di valutazione utilizzati dalle singole Aree.

L’integrazione dei diversi indicatori di Area in un unico indicatore di struttura, simile a quello utilizzato nel precedente esercizio VTR, richiede necessariamente la definizione di pesi di area. Nell’Appendice D del rapporto sono proposte diverse modalità di calcolo dei pesi, e i valori dell’indicatore finale di struttura presentati nella Sezione 6 sono stati ottenuti utilizzandone uno. Si tratta di un esercizio a puro scopo esemplificativo, perché la decisione sull’adozione o meno della soluzione proposta e sulle modalità di utilizzazione dei risultati della VQR per la distribuzione della quota premiale del Fondo di Finanziamento Ordinario degli atenei compete al Ministro.

Il rapporto contiene anche, per ciascuna Area, graduatorie dei dipartimenti e delle sottostrutture. Nel caso delle università, le graduatorie sono proposte sia per i dipartimenti antecedenti l’applicazione della Legge di Riforma Universitaria n. 240 del 30 dicembre 2010, che, ove possibile, per i nuovi dipartimenti successivi alla Legge 240. L’attribuzione di un lavoro scientifico a un dipartimento è stato realizzato associando ciascun prodotto di ricerca a un soggetto valutato, in modo da ricostruire la valutazione dei nuovi dipartimenti sulla base delle afferenze dei soggetti valutati. Per gli enti di ricerca, la situazione è più diversificata. Alcuni enti (INAF, INFN), pur avendo al loro interno un’organizzazione in sottostrutture, hanno scelto di essere valutati soltanto come strutture, adducendo come motivazione principale la natura fortemente cooperativa della ricerca svolta, che coinvolge un numero elevato di sottostrutture e non consente di scinderne la produzione scientifica in modo da confrontarle. Il CNR ha invece chiesto di essere valutato come struttura e per ciascuno dei sette dipartimenti che lo compongono, senza scendere al livello dei singoli istituti.

E’ importante tenere conto del fatto che la scelta delle associazioni prodotto-soggetto valutato è stata effettuata dalle strutture stesse, con l’obiettivo di ottimizzare la valutazione complessiva della struttura, mettendo in secondo piano la valutazione dipartimentale o di sottostruttura. Le graduatorie dei dipartimenti e delle sottostrutture presenti nel rapporto sono dunque da intendersi come un supporto informativo offerto agli organi di governo delle strutture da utilizzare liberamente e in piena autonomia, essendo consapevoli del limite di cui sopra. La valutazione nazionale e centralizzata della ricerca svolta dall’ANVUR si pone obiettivi e utilizza metodologie diverse rispetto alla valutazione “locale” dei dipartimenti svolta dalle singole strutture. Le due devono coesistere, e la seconda può integrare la prima arricchendola di elementi di contesto e di programmazione che solo gli organi di governo locale sono in grado di conoscere e valorizzare. Inoltre, la valutazione locale, svolta con strumenti più veloci e meno costosi, può colmare lo iato temporale che intercorre tra una valutazione nazionale e la successiva, misurando progressi e cadute e predisponendo strumenti di intervento tempestivi.

L’ANVUR è disponibile a studiare con le strutture altri modi per comporre i risultati singoli e consentire una diversa metodologia di valutazione dei dipartimenti. Analogamente, è pronta a collaborare con le strutture per individuare strumenti di valutazione locale che siano condivisi e che evitino una frammentazione eccessiva di metodologie.

Last but not least, l’ANVUR sottolinea che i risultati della VQR non possono e non devono essere utilizzati per valutare i singoli soggetti. I motivi sono molteplici, e qui ne citiamo alcuni rilevanti: la scelta dell’associazione prodotti-soggetti valutati, dettata dall’ottimizzazione del risultato di struttura e non del singolo soggetto, la richiesta di conferire solo tre prodotti di ricerca pubblicati in sette anni, che costituiscono in molti settori della scienza un’immagine della produzione complessiva dei singoli soggetti molto parziale, la non considerazione del contributo individuale al prodotto nel caso di presenza di coautori, e, infine, l’utilizzo di metodi di valutazione la cui validità dipende fortemente dalla dimensione del gruppo di ricerca cui sono applicati.

Tutti gli indicatori descritti nel rapporto sono ottenuti come medie di elementi appartenenti a popolazioni molto eterogenee: grandi atenei generalisti attivi in tutte o quasi le Aree con molti ricercatori, atenei medio-grandi specializzati (come i Politecnici), atenei piccoli attivi in poche Aree, grandi enti di ricerca come il CNR attivo in tutte le quattordici Aree accanto a enti di grande tradizione presenti in molte università ma attivi in una singola Area, come l’INFN e l’INAF. I valori medi degli indicatori, man mano che si scende dalla valutazione di area della struttura a quella di sub-GEV, di SSD e di dipartimento, sono caratterizzati da un margine di incertezza statistica crescente, perché l’affidabilità della media campionaria dipende dalla dimensione del campione. Per motivi di tempo non è stato possibile analizzare l’incertezza statistica dei risultati, così come la relazione tra il risultato della valutazione e le caratteristiche delle strutture (per età, ruolo, genere, dimensione complessiva, finanziamenti, ecc.), un’analisi che l’ANVUR intende intraprendere in futuro come approfondimento della VQR.

L'ANVUR, per motivi di trasparenza e per mettere a disposizione della comunità scientifica non solo nazionale l’enorme mole di dati derivanti da quello che è il più vasto esercizio di valutazione mai tentato nel nostro paese, intende rendere pubblico il database della VQR dopo averlo depurato dei dati sensibili. La disponibilità dei dati della VQR consentirà di proporre e sperimentare nuovi indicatori bibliometrici e di approfondire, a partire da dati reali, il dibattito in corso sui vantaggi e gli svantaggi della valutazione bibliometrica e della peer review insieme a molti altri temi di interesse.

Il numero e la dimensione delle tabelle e figure contenute nel rapporto hanno suggerito di strutturare il rapporto finale in tre parti. La prima (questa) contiene il testo e le appendici e include i commenti alle tabelle e figure; nella seconda parte si trova l’analisi in dettaglio delle singole strutture, la terza presenta infine il confronto della ricerca italiana con il resto del mondo nelle aree bibliometriche.

Tutte le tabelle e figure della prima parte del rapporto con la loro didascalia sono contenute in allegato nell’ordine in cui sono citate nel testo; un secondo allegato, infine, contiene le tabelle in formato excel per consentire a chi lo desideri di utilizzare criteri di analisi e ordinamento diversi da quelli proposti nel testo. Le appendici del rapporto contengono numerosi dettagli sui metodi di valutazione e sugli indicatori, e la loro consultazione può essere tralasciata da chi è interessato unicamente ai risultati.

L’ANVUR e il CINECA hanno esercitato grande cura nella gestione e nell’analisi dell’immensa massa di dati della VQR. In particolare, le tabelle per tutte le aree sono state generate da un unico programma Stata applicato ai file informativi delle singole aree, in modo da garantire uniformità nel calcolo e nella presentazione degli indicatori. Nonostante tutte le cautele adottate e molti controlli incrociati, qualche errore può essere riuscito a insinuarsi nel difficile processo di coordinamento finale. L’ANVUR è disponibile a fornire informazioni e, se del caso, correggere eventuali errori segnalati.

Sergio Benedetto

Coordinatore della VQR 2004-2010

Roma, 30 Giugno 2013