Pubblicazioni / Ricerca sulla valutazione

• Romagnosi S.
  (2016) La valutazione della Terza Missione da parte dell’Anvur , numero monografico 141
  

  La valutazione della Terza Missione da parte dell’Anvur

  Ricerca sulla valutazione
• Romagnosi S.
  (2016) Produzione e gestione di beni culturali nella valutazione Anvur della terza missione , Vol. 10, pp. 25-32
  

  Produzione e gestione di beni culturali nella valutazione Anvur della terza missione

  Le attività di produzione e gestione dei beni culturali (scavi archeologici, poli museali e immobili storici) svolte da università ed enti di ricerca, rientrano nell’attuale esercizio di valutazione della terza missione, previsto dalla VQR 2011-2014. La terza missione è infatti rappresentata non solo da attività di valorizzazione della ricerca, ma anche da attività di produzione dei beni pubblici di natura sociale, educativa e culturale, sebbene queste ultime valutate in via sperimentale. Poiché si tratta di un primo sforzo organico da parte dell’Anvur di circoscrivere le numerose attività legate ai beni pubblici, la commissione di esperti cui è affidata la valutazione, fornirà informazioni sulla natura degli indicatori e dei criteri di valutazione proposti, al momento poco standardizzati e comparabili rispetto a quelli legati alle attività di valorizzazione della ricerca. I primi dati mostrano che le nostre università dispongono di un ricco patrimonio di beni culturali, di cui però sappiamo poco sulla sua effettiva valorizzazione.
  Ricerca sulla valutazione
• Blasi B., Romagnosi S., Bonaccorsi A.
  (2018) Do SSH Researchers Have a Third Mission (And Should They Have)? , pp. 361-392
  

  Do SSH Researchers Have a Third Mission (And Should They Have)?

  The notion of the third mission in SSH is still problematic, as well as the concept of research impact. Several streams of critical literature have raised the concern that using the third mission notion or impact may limit the academic freedom of researchers, and reduce the independence from market pressure and impoverish the SSH’s potential for critical thinking and unorthodox visioning. However, countries which have experienced selective cuts in research funding which have penalised SSH disciplines, have seen efforts to make the hidden connections between SSH research and society more visible. This chapter reports on the debate and controversies surrounding this issue. For the first time, preliminary evidence on Public Engagement activities of scholars in SSH, taken from the large-scale assessment of third mission of Italian departments and universities, is presented. This chapter argues that not only scholars in SSH do have a third mission, but that they are not less engaged than their colleagues from STEM disciplines.

  DOI: 10.1007/978-3-319-68554-0_16

  Ricerca sulla valutazione
• Ancaiani A, Anfossi AF, Barbara A, Benedetto S, Blasi B, Carletti V, Cicero T, Ciolfi A, Costa F, Colizza G, Costantini M, di Cristina F, Ferrara A, Lacatena RM, Malgarini M, Mazzotta I, Nappi CA, Romagnosi S and Sileoni S
  (2015) Research Evaluation , 24(3): 242-255
  

  Evaluating scientific research in Italy: The 2004-10 research evaluation exercise

  The Italian Research Evaluation assessment for the period 2004-10 (VQR 2004-10) has analyzed almost 185,000 articles, books, patents, and other scientific outcomes submitted for evaluation by Italian universities and other public research bodies. This article describes the main features of this exercise, introducing its legal framework and the criteria used for evaluation. The innovative methodology that has been used for evaluation, based on a combination of peer review and bibliometric methods, is discussed and indicators for assessing the quality of participating research bodies are derived accordingly. The article also presents the main results obtained at the University level, trying to understand the existing relationship among research quality and University characteristics such as location, dimension, age, scientific specialization, and funding.

  DOI: 10.1093/reseval/rvv008

  Ricerca sulla valutazione
• Montanaro P and Torrini R
  (2014) Bank of Italy Occasional Paper , 219
  

  Il Sistema Della Ricerca Pubblica in Italia (The Italian System of Public Research)

  Nel settore della ricerca pubblica l'Italia investe meno della media europea. Se rapportato alle risorse impegnate e ai ricercatori, l'output risulta però elevato e la sua qualità media, condotta presso università ed enti di ricerca, non è molto lontana rispetto a paesi prossimi come la Francia, anche se con difficoltà di affermazione nelle punte più avanzate. Il sistema italiano, assai articolato e frammentato nei soggetti che vi operano e nelle fonti di finanziamento, risente di una scarsa attitudine all'applicazione dei risultati e alla collaborazione con le imprese, che a loro volta investono poco e incontrano difficoltà a collegare la propria attività di ricerca con gli input provenienti dai centri di ricerca pubblica. Il sistema sconta inoltre la mancanza di una chiara strategia che stabilisca gli obiettivi da raggiungere, disegni missioni e modelli organizzativi delle strutture di ricerca coerenti con gli obiettivi individuati e definisca le risorse necessarie al loro raggiungimento. La pressante necessità di un rilancio della capacità innovativa del Paese, infatti, non può prescindere da un sistema della ricerca pubblica adeguatamente finanziato ed efficientemente governato.

  DOI: 10.2139/ssrn.2489908

  Ricerca sulla valutazione
• Ancaiani A and Fantoni S
  (2014) Melanges De La Casa De Velazquez , 44(2): 313-318
  

  The evaluation of the products of research and its impact on the university system and the institutions of research: the italian case

  Ricerca sulla valutazione
• Nappi CA and Poggi G
  (2015) Rassegna Italiana di Valutazione , 59
  

  L’indicatore di voto standardizzato di dipartimento basato sull’esercizio VQR 2004 2010

  Ricerca sulla valutazione
• Anfossi A, Ciolfi A, Costa F, Parisi G and Benedetto S
  (2016) Scientometrics
  

  Large-scale assessment of research outputs through a weighted combination of bibliometric indicators

  The paper describes a method to combine the information on the number of citations and the relevance of the publishing journal (as measured by the Impact Factor or similar impact indicators) of a publication to rank it with respect to the world scientific production in the specific subfield. The linear or non-linear combination of the two indicators is represented on the scatter plot of the papers in the specific subfield in order to immediately visualize the effect of a change in weights. The final rank of the papers is therefore obtained by partitioning the two-dimensional space through linear or higher order curves. The procedure is intuitive and versatile since it allows, after adjusting few parameters, an automatic and calibrated assessment at the level of the subfield. The derived evaluation is homogeneous among different scientific domains and can be used to address the quality of research at the departmental (or higher) levels of aggregation. We apply this method, that is designed to be feasible on a scale typical of a national evaluation exercise and to be effective in terms of cost and time, to some instances of the Thomson Reuters Web of Science database and discuss the results in view of what was done recently in Italy for the Evaluation of Research Quality exercise 2004-2010. We show how the main limitations of the bibliometric methodology used in that context can be easily overcome.

  DOI: 10.1007/s11192-016-1882-9

  Ricerca sulla valutazione
• Bertocchi G, Gambardella A, Jappelli T, Nappi CA and Peracchi F
  (2015) Research Policy , 44(2): 451-466
  

  Bibliometric evaluation vs. informed peer review: Evidence from Italy

  A relevant question for the organization of large-scale research assessments is whether bibliometric evaluation and informed peer review yield similar results. In this paper, we draw on the experience of the panel that evaluated Italian research in Economics, Management and Statistics during the national assessment exercise (VQR) relative to the period 2004-2010. We exploit the unique opportunity of studying a sample of 590 journal articles randomly drawn from a population of 5681 journal articles (out of nearly 12,000 journal and non-journal publications), which the panel evaluated both by bibliometric analysis and by informed peer review. In the total sample we find fair to good agreement between informed peer review and bibliometric analysis and absence of statistical bias between the two. We then discuss the nature, implications, and limitations of this correlation. (C) 2014 Elsevier B.V. All rights reserved.

  DOI: 10.1016/j.respol.2014.08.004

  Ricerca sulla valutazione
• Blasi B
  (2015) SOCIOLOGIA E POLITICHE SOCIALI , 18(2): 35
  

  Severità di giudizio: dinamiche valutative nell’area della sociologia nella VQR 2004-2010

  DOI: 10.3280/SP2015-002002

  Ricerca sulla valutazione