Il 18 marzo si è conclusa la fase di inserimento dei prodotti per la VQR 2011-2014. Articolo33, da sempre favorevole alla valutazione, questa volta non ha promosso nessun boicottaggio e siamo convinti che ciò avrà un effetto positivo per il ranking del CNR. Eppure, motivi di principio e pratici per una campagna di astensione non sarebbero mancati anche questa volta.

Pur senza entrare nel dibattito sulla modalità globale scelta da ANVUR per la valutazione (si rimanda a tal proposito alle approfondite - e critiche - analisi di ROARS), né nei motivi, per noi condivisibili, che hanno indotto gli universitari ad un'azione di boicottaggio, è sicuramente opportuno segnalare alcuni fatti.

L'efficienza della valutazione: chi valuta i valutatori?

L'intero processo di valutazione ANVUR presenta a nostro giudizio elementi che rasentano la follia. Riepiloghiamo la procedura nelle sue linee essenziali: ANVUR sceglie di valutare Università ed Enti di ricerca globalmente e nelle sue articolazioni (Dipartimenti o Istituti) con una metodologia prevalentemente bibliometrica; utilizza perciò gli indicatori prodotti da WOS e SCOPUS; decide di non utilizzarli in modo freddo ma sostanzialmente di ridefinire una sua griglia di valutazione basata sulle bande diagonali di una matrice valutazione bibliometrica-citazioni (e glissiamo sul fatto che le tabelle sono state in continua evoluzione con l'ultimo aggiornamento datato 29 febbraio!).

Per dipanare questa matassa, la CRUI si è dotata di un software che automatizza in una buona misura la procedura di valutazione, interfacciando le banche dati delle pubblicazioni dei ricercatori/professori con gli indicatori WOS e SCOPUS e con le tabelle ANVUR e quindi facilitando di molto la scelta dei prodotti. Non sarebbe stato più semplice, più economico, più produttivo e meno dispendioso in termini di tempo-ricercatore se l'ANVUR stessa avesse prodotto il software certificato e lo avesse consegnato agli Enti?

Il colmo sarebbe se l'ANVUR acquisisse il software della CRUI per fornirlo ai GEV come ausilio alla valutazione. Considerato che la valutazione è globale per Ente/Università e le sue articolazioni, non sarebbe stato più semplice, più economico, più produttivo e meno dispendioso in termini di tempo-ricercatore se la valutazione fosse stata fatta direttamente da ANVUR in base ai dati ormai sempre disponibili sulle pubblicazioni di Università/Enti?

Peraltro, sarebbe stato possibile prendere in considerazione tutti i prodotti (non solo un sottoinsieme) ed evitare alcune storture come variazioni esagerate nel numero di citazioni tra una classe di valutazione ed un'altra. Siamo proprio sicuri che il ranking finale al termine di tutta la procedura sarà diverso da quello che si sarebbe ottenuto con un criterio freddo basato solo sugli indici bibliometrici di SCOPUS e WOS?

Contenuto e contenitore: il Relativismo nella valutazione

Il meccanismo di valutazione bibliometrica dei singoli "prodotti" ideato da ANVUR non è solo incredibilmente (e come detto forse anche inutilmente) cervellotico, ma è fonte di sorprendenti contraddizioni. Uno stesso lavoro poteva essere infatti valutato da GEV diversi, secondo settori disciplinari diversi e indicatori bibliometrici diversi, con il risultato che ogni combinazione di parametri produce il suo indice di valutazione, portando all'assurdo che lavori eccellenti per un GEV non lo fossero per una altro (conta più il contenuto o il contenitore?). Di conseguenza, il "bravo ricercatore" avrebbe dovuto innanzitutto vagliare i GEV ammissibili per il suo prodotto, e quindi stimarne la valutazione, consultando tra le centinaia di tabelle prodotte dall'ANVUR.

Al termine, se non soddisfatto, gli rimaneva comunque la possibilità di suggerire l'invio del prodotto a peer review, nell'estremo tentativo di invocare una valutazione veramente di "merito". Ma questo, solo se la richiesta fosse corredata da ampia e convincente motivazione.

Il contributo della dirigenza alla valutazione del CNR

Venendo allo specifico del CNR, non si può non sottolineare che, mentre le Università si sono attrezzate a gestire questa complessità, il CNR è invece giunto completamente impreparato all'appuntamento, lasciando i suoi ricercatori allo sbaraglio. A cose fatte, si è diffusa la notizia di come, sul filo di lana, l'amministrazione abbia provato ad acquisire il software realizzato dall'Università della Basilicata e adottato dalla CRUI.

Dopo una fugace apparizione dell'interfaccia in versione accessibile (26 febbraio), il software è stato messo a disposizione dei soli Direttori il 13 marzo, ben cinque giorni prima della scadenza finale! Eppure, la dirigenza dovrebbe avere ben chiaro (anche per l'esperienza del precedente esercizio di valutazione) che una scelta non ottimale dei prodotti ha conseguenze non banali nella valutazione complessiva dell'Ente, per cui non si capisce il motivo per il quale una data così importante sia stata vissuta con un'improvvisazione così palese e deleteria.

Non ci pare necessario aspettare che il ranking del CNR sia peggiore di quello che sarebbe potuto essere per invocare un'azione nei confronti di quei dirigenti responsabili di questo ennesimo esempio di inefficienza, basterebbe legare a questi "successi" i loro premi di risultato anziché a operazioni di semplice routine come avviene adesso.