1 of 21

CoARA e il Capitolo Nazionale italiano

Seminario CRUI - 19 febbraio 2025

Francesca Di Donato

CNR - ILC

Francesca Masini

Alma Mater Studiorum – Università di Bologna

Co-Chair del National Chapter italiano di CoARA

2 of 21

L’Agreement (2022) stabilisce una direzione comune per la riforma della valutazione della ricerca, fondata su 10 impegni, nel rispetto dell'autonomia delle organizzazioni. 

L’Agreement contiene anche i principi e le tempistiche della riforma e pone le basi per la costituzione di una Coalizione di organizzazioni disposte a lavorare insieme per attuare la riforma.

717 membri

59 paesi

3 of 21

L’AGREEMENT E I 10 IMPEGNI

1. Riconoscere la diversità dei contributi alla ricerca e delle carriere dei ricercatori [tenendo in considerazione la natura specifica delle discipline]

2. Basare la valutazione della ricerca principalmente su un giudizio qualitativo, per il quale è centrale la revisione tra pari, sostenuta da un uso responsabile degli indicatori quantitativi

3. Abbandonare, nella valutazione della ricerca, l’uso improprio di indicatori basati su pubblicazioni e riviste, in particolare gli usi impropri di JIF (Journal Impact Factor/fattore di impatto delle riviste) e H-Index

4. Evitare l'uso di classifiche delle istituzioni di ricerca nella valutazione della ricerca

4 of 21

IL RUOLO DELLA SCIENZA APERTA IN COARA

Principi relativi ai criteri

e ai processi di valutazione

  • Incentrare i criteri di valutazione della ricerca sulla qualità. […] La qualità implica che la ricerca venga effettuata con processi e metodologie trasparenti e con una gestione che consenta il riutilizzo sistematico dei risultati precedentemente ottenuti .
  • Riconoscere la diversità delle attività e delle pratiche di ricerca, che si riflette nella diversificazione di risultati […] e premiare i comportamenti improntati a pratiche di scienza aperta, come la condivisione precoce delle conoscenze e dei dati, nonché la collaborazione scientifica aperta [...]
  • Riconoscere le capacità (comprese quelle della scienza aperta), le competenze e i meriti dei singoli ricercatori, ma anche la ricerca di gruppo e la collaborazione.

Principi generali

  • Rispettare le regole e le pratiche di eticità e integrità e assicurare che etica e integrità abbiano la massima priorità […]
  • Salvaguardare la libertà della ricerca scientifica […]. 
  • Rispettare l’autonomia delle istituzioni di ricerca […]. 
  • Garantire l’indipendenza e la trasparenza dei dati, delle infrastrutture e dei criteri necessari per la valutazione della ricerca […], in particolare attraverso una raccolta chiara e trasparente di dati, algoritmi e indicatori, assicurando il controllo […] da parte della comunità dei ricercatori […].

Barcelona Declaration on Open Research Information

5 of 21

WORKING GROUP INTERNAZIONALI (13)

6 of 21

COARA NATIONAL CHAPTERS (16)

7 of 21

COARA IN PRATICA:�DALLA FIRMA ALLA ROADMAP

A 1 anno dalla firma dell’accordo, i membri di CoARA preparano e rendono pubblica una Roadmap con relativo Action Plan del proprio piano di riforma

(☞ proroga di 6 mesi, fino a giugno 2024, per chi ha firmato a fine 2022)

I membri di CoARA rendono pubblici, periodicamente, i propri progressi e sono invitati a partecipare attivamente alle attività dei Working Group e dei National Chapter

A 5 anni dalla firma, i membri di CoARA si impegnano a realizzare almeno un ciclo di monitoraggio dei nuovi criteri, processi e/o strumenti di valutazione che avranno sviluppato

8 of 21

COARA IN ITALIA

La partecipazione alla Coalizione è stata aperta il 28 settembre 2022

In Italia, ANVUR ha firmato l’Agreement il 6 ottobre 2022, seguita da molte altre istituzioni

A febbraio 2025, l’Italia è il 2° paese più rappresentato, con 68 membri (di cui 73% università)

9 of 21

IL CAPITOLO NAZIONALE ITALIANO: 2023-2025

Un contesto nazionale sempre più sensibile ai temi di scienza aperta

Un numero elevato di istituzioni italiane che ha sottoscritto l’Agreement

Costituzione del NC italiano quando CoARA ha lanciato la call ad aprile 2023

PNSA (2022), Gruppo di Lavoro Attuazione PNSA (2023), bandi competitivi (PRIN, PNRR), VQR 2020-2024

10 of 21

I PARTECIPANTI AL CAPITOLO NAZIONALE

  • Agenzia nazionale di valutazione del sistema universitario e della ricerca – ANVUR (Marco Malgarini, Licia Romano)
  • Accademia Italiana di Economia Aziendale – AIDEA (Alessandro Zattoni)
  • Alma Mater Studiorum – Università di Bologna (Alberto Credi, Francesca Masini)
  • Associazione italiana per la promozione della scienza aperta – AISA (Maria Chiara Pievatolo, Roberto Caso)
  • Associazione Ricercatori in Sanità - Italia – ARSI (Valeria Elisa Contarino)
  • Ca’ Foscari Università di Venezia (Marco Sgarbi, Tommaso Piazza)
  • Consiglio Nazionale delle Ricerche – CNR (Francesca Di Donato, Ginevra Peruginelli)
  • IRCCS Ospedale San Raffaele (Roberto Buccione, Monica Fabbri)
  • Istituto Italiano di Tecnologia – IIT (Ugo Moschini, Elisa Molinari)
  • Istituto Nazionale di Fisica Nucleare – INFN (Nadia Pastrone)
  • Istituto Nazionale di Geofisica e Vulcanologia – INGV (Alessandro Carosi)
  • Istituto Nazionale di Oceanografia e di Geofisica Sperimentale – OGS (Nicola Casagli, Angela Saraò)
  • Italian Reproducibility Network – ITRN (Carlo Miniussi, Davide Crepaldi)
  • IULM (Emma Zavarrone, Giovanna Rocca)
  • Politecnico di Bari (Giuseppe Pascazio, Antonella Palermo)
  • Politecnico di Torino (Federica Cappelluti, Antonella Marino)
  • Scuola IMT Lucca (Emanuele Pellegrini, Anna Smaniotto)
  • Scuola Normale Superiore (Tommaso Pizzorusso, Donatella Tamagno)
  • Scuola Superiore Sant’Anna (Caterina Sganga, Maria Teresa Nevigato)
  • Tuscan Organisation of Universities and Research for Europe – TOUR4EU (Monica Barni, Simona Costa)
  • Università “G. d’Annunzio” di Chieti-Pescara (Patrizia Ballerini, Antonella Fontana)
  • Università Campus Biomedico di Roma (Leandro Pecchia)
  • Università del Piemonte Orientale (Maria Napoli, Cristina Coloccini)

53

  • Università dell’Aquila (Maria Benedetta Mattei)
  • Università dell’Insubria Flavia Marinelli (Gabriella Margaria)
  • Università della Campania Luigi Vanvitelli (Lucia Altucci)
  • Università della Tuscia (Clara Cicatiello, Marco Barbini)
  • Università di Bergamo (Davide Scotti, Mariafrancesca Sicilia)
  • Università di Brescia (Alessandro Padovani)
  • Università di Cagliari (Luciano Colombo, Cristina Aresu)
  • Università di Camerino (Guido Favia, Anna Maria Eleuteri)
  • Università di Cassino e del Lazio meridionale (Elena Garcea, Andrea Riggio)
  • Università di Catania (Salvatore Baglio, Alessia Tricomi)
  • Università di Ferrara (Massimiliano Mazzanti, Monica Campana)
  • Università di Firenze (Debora Berti, Denise Cuccia)
  • Università di Macerata (Silvana Colella, Ermanno Calzolaio)
  • Università di Messina (Luigi Calabrese, Giuseppe Bonanno)
  • Università di Milano (Maria Pia Abbracchio, Paola Galimberti)
  • Università di Milano-Bicocca (Bonaria Biancu, Silvia Penati)
  • Università di Modena e Reggio Emilia (Paolo Pavan, Ferdinando Di Maggio)
  • Università di Padova (Fabio Zwirner, Andrea Berti)
  • Università di Palermo (Annamaria Bartolotta, Maria Luisa Saladino)
  • Università di Pavia (Elisa Roma, Federico Forneris)
  • Università di Pisa (Alessandro Tredicucci, Vittoria Raffa)
  • Università di Torino (Alessandro Vercelli)
  • Università di Trento (Vanessa Ravagni, Francesca Demichelis)
  • Università di Trieste (Alessandro Baraldi)
  • Università di Urbino Carlo Bo (Orazio Cantoni, Erika Pigliapoco)
  • Università di Verona (Denis Delfitto)
  • Università per Stranieri di Siena (Caterina Toschi)
  • Università Politecnica delle Marche (Paolo Mariani, Nadia Raffaelli)
  • Università Roma Tre (Paolo Visca, Francesco Ferracci)
  • Università Suor Orsola Benincasa (Simona Collina, Lucilla Gatt)

11 of 21

Sforzo di sensibilizzazione che mira a sostenere l’attuazione della riforma a livello nazionale e a incoraggiare altre organizzazioni a firmare l’Agreement.

Promuovere la discussione sulla revisione e sullo sviluppo di criteri, strumenti e processi per valutare le istituzioni di ricerca, i singoli ricercatori e i progetti (impegno CoARA 6)

Favorire l’apprendimento reciproco e la condivisione di buone pratiche, nonché sensibilizzare la comunità nazionale sui principi promossi dalla riforma (impegni CoARA 7-8)

OBIETTIVI PRINCIPALI DEL NC

12 of 21

Interagire e collaborare con gli altri National Chapter: Andorra, Cipro, Finlandia, Francia, Germania, Ungheria, Irlanda, Norvegia, Polonia, Portogallo, Spagna, Svezia, Svizzera, Ucraina, Regno Unito.

Stabilire connessioni con i Working Group, per esplorare l’impatto dei loro risultati sulle pratiche nazionali e fornire un feedback basato sulle esperienze della comunità italiana su temi più specifici.

Creare una rete attiva tra le istituzioni italiane, promuovere il dialogo relativamente agli Action Plan richiesti da CoARA e interagire con gli organi decisionali politici competenti a livello nazionale.

ATTIVITÀ PRINCIPALI DEL NC

13 of 21

Work Package 1

Coordination, engagement and expansion of the National Chapter

(Lead: UNIBO e CNR)

Coordinamento interno/esterno e coinvolgimento nuove istituzioni

(T1.1 - Lead: UNIBO e CNR)

Allineamento Action Plan (T1.2b - Lead: UNITN e San Raffaele) + Traduzione italiana Agreement (T1.2a - Lead: UNIPD)

Disseminazione e formazione

(T1.3 - Lead: UNIMORE e AISA)

Work Package 2

Coordination with CoARA Working Groups and National Chapters

(Lead: UNITO)

Raccogliere input e restituire feedback ai WG internazionali (T2.1 - Lead: UNIMIB)

Raccogliere input e restituire feedback agli altri NC (T2.2 - Lead: CNR)

Disseminazione e formazione sui risultati dei WG e dei NC (T2.3 - Lead: POLITO)

Work Package 3

National WGs on relevant topics for Italian community

(Lead: ANVUR, UNIFI, UNIFE e UNIPI)

Evitando sovrapposizioni con i Working Group internazionali

(T3.1 - Lead: UNIFE E UNIFI )

PIANO DI LAVORO DEL NC

14 of 21

STATO DI AVANZAMENTO E PROSSIMI PASSI

  • Coinvolgimento nel National Chapter di 8 ulteriori organizzazioni rispetto al progetto iniziale (45 > 53)
    • Coinvolgimento del MUR in qualità di uditore nelle assemblee generali del National Chapter
  • Draft report sull’attività di stesura di Roadmap / Action Plan a cura del gruppo di lavoro sul Task 1.2b
  • Traduzione dell’Agreement in italiano, per favorire la penetrazione dei principi di CoARA nel contesto nazionale ☞ https://zenodo.org/records/13629063
  • Creazione di un sito del National Chapter e messa a punto del sistema di comunicazione interno ed esterno https://www.coara-italia.it/
  • 25 settembre 24: Il CoARA Action Plan della Commissione europea, Silvia Bottaro (video, solo audio, e slide)

15 of 21

GLI ACTION PLAN DELLE ISTITUZIONI ITALIANE

I piani d’azione sono depositati nella community dedicata su Zenodo

16 of 21

STATO DI AVANZAMENTO E PROSSIMI PASSI

  • Organizzazione di incontri di aggiornamento sulle attività dei WG a cura del gruppo di lavoro sul Task 2.1 ☞ vedi sito
  • Creazione di una mailing list per i National Chapter istituita dal Secretariat di CoARA su richiesta dei National Chapter
  • 17 ottobre 2024: workshop on “National activities in support of research assessment reforms” organizzato dalla Commissione europea a Bruxelles con i co-chair dei capitoli nazionali.
  • 13/14 marzo 2025: “Defining success” meeting NCs a Bonn
  • Programmazione eventi di disseminazione, formazione e sensibilizzazione ☞ vedi sito

17 of 21

STATO DI AVANZAMENTO E PROSSIMI PASSI

  • Avvio dei lavori del WP3 sulla costituzione di Working Group interni al NC su possibili temi di rilevanza nazionale

    • Il reclutamento dei ricercatori: analisi del contesto Italiano, confronto con alcune realtà Europee e proposte per una migliore valorizzazione del personale ricercatore” ☞ Distribuzione di una survey (a breve)

18 of 21

Framework che adottano criteri qualitativi 1

OLANDA

Position paper: “Room for everyone’s talent

National framework for the quality assurance of research: Strategy Evaluation Protocol 2021 – 2027 (SEP).

Un sistema di riconoscimento e di premiazione che:

1. Consente la diversificazione e la vitalizzazione dei percorsi di carriera, promuovendo così l'eccellenza in ciascuna delle aree chiave;

2. Riconosce l'indipendenza, le qualità individuali e le ambizioni degli accademici, oltre a riconoscere le prestazioni del team;

3. Enfatizza la qualità del lavoro rispetto ai risultati quantitativi (come il numero di pubblicazioni);

4. Incoraggia tutti gli aspetti della scienza aperta;

5. Incoraggia una leadership accademica di alta qualità.

5 aree di valutazione

  1. Formazione
  2. Ricerca
  3. Impatto
  4. Leadership
  5. Prestazioni professionali

19 of 21

Framework che adottano criteri qualitativi 2

NORVEGIA

NOR-CAM (personalizzazione della OS-CAM)

Priorità:

  1. Open science
  2. Valutare e riconoscere un’ampia gamma di competenze
  3. Necessità di ridurre l’uso degli indicatori bibliometrici

6 principi:

1. Misurare qualità e eccellenza combinando giudizio qualitativo e quantitativo

2. Riconoscere diverse competenze (ma non necessariamente in tutte le aree)

3. Valutare tutti i risultati, competenze e attività sulla base dei principi OS

4. Praticare la trasparenza nella valutazione

5. Promuovere l’equilibrio di genere e la diversità

6. Assistere nelle procedure di valutazione

20 of 21

SFIDE E CONCLUSIONI

  • Cambiamento culturale
    • Quello auspicato da CoARA è un cambiamento culturale profondo, che implica un ripensamento non solo della valutazione della ricerca, ma anche delle pratiche di ricerca stesse (☞ valorizzare una più ampia gamma di attività ecc.)
    • Alla base di CoARA c’è la visione della valutazione come attività scientifica, che deve quindi rispondere alle stesse regole della “ricerca in senso stretto” (integrità, responsabilità, rigore,...)
  • Da bottom-up a top-down
    • CoARA promuove una riforma costruita dal basso, sensibilizzando la comunità scientifica e poggiando su principi fondamentali come quelli dell’integrità, dell’etica e della libertà della ricerca
    • Tuttavia, è cruciale che questo movimento dal basso inneschi anche un movimento dall’alto, da parte di ministeri e agenzie di valutazione

21 of 21

GRAZIE PER L’ATTENZIONE!

CONTATTI CO-CHAIR