Si chiama ANVUR ed è l’Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca. Come nel caso delle agenzie di rating che valutano l’economia dei paesi lo scopo dalla valutazione ANVUR è indirizzare gli investitori, in Italia principalmente lo Stato che è dispensatore dei (pochi sic) fondi distribuiti al comparto: da noi infatti gli investitori privati contano per appena un terzo rispetto alla media europea, mentre in altri paesi come la Francia il rating della ricerca determina anche gli investimenti elargiti da enti e fondazioni private.

In questi giorni ANVUR ha pubblicato la prima valutazione del nostro sistema ricerca. Analizzando una serie di parametri, primo tra tutti la produzione scientifica (pubblicazioni su riviste internazionali nel periodo 2004-2010) ha stillato graduatorie, ha dispensato bollini verdi e rossi per le Università e gli Enti di ricerca controllati dal MIUR.

Il CNR, a cui mi vanto di appartenere, sembra uscito male da questa valutazione: un bollino rosso che ha sorpreso, viste altre valutazioni internazionali come quella di SCIMAGO – che in un periodo prossimo a quello monitorato da Anvur assegna al CNR al primo posto nazionale e il 23° al mondo. Il primato nazionale al CNR peraltro lo conferma anche una recente graduatoria del gruppo editoriale Nature.

Vale la pena quindi capire meglio come l’Anvur effetti la sua valutazione, anche senza entrare nei dettagli dei complessi algoritmi utilizzati. Ogni valutazione dipende infatti dai parametri che si utilizzano e che, in questo caso, possono influenzare anche l’organizzazione della ricerca, poiché è logico attendersi che tutti cercheranno di uniformarsi a questi criteri per ottenere punteggi migliori in futuro.

Un primo problema è quello di stillare una graduatoria che riduce il ‘peso’ dei migliori ed esalta il contributo degli insufficienti. Nello specifico si chiedeva infatti a ogni ricercatore di un ente di presentare sei prodotti da valutare per il periodo 2004-2010. Consideriamo due colleghi, A con 20 prodotti e B con solo 3. Dei 23 Anvur ne considera solo 9 (6 di A e 3 di B) e la valutazione paradossalmente è negativa. Sarebbe stata invece positiva se i due avessero avuto in totale 12 prodotti ma divisi equamente, perchè in quell caso tutti sarebbero stati valutati. Il risultato è che paradossalmente la maggior produttività viene penalizzata se non distribuita in modo omogeneo.

Il secondo e più pericoloso problema è qualitativo. Non tutte le riviste scientifiche sono uguali. Su alcune è più facile pubblicare su altre meno. E per pubblicare su quelle più selettive si deve lavorare di più e in collaborazione. Anvur penalizza le collaborazioni. Se i ricercatori A e B hanno sei lavori ciascuno su una rivista a medio impatto la valutazione è positiva. Se hanno collaborato insieme a sei lavori su riviste più importanti, ognuno dei due può presentare solo tre lavori e il giudizio Anvur è peggiore. Il messaggio è: meglio soli che bene accompagnati su riviste prestigiose.

Detto questo, la valutazione negativa ricevuta dal CNR deve far comunque riflettere per cercare di identificare i problemi alla base di questo insuccesso. In parte (a mio parere molto limitato) l’insuccesso é dovuto ad una protesta sindacale. Una parte dei ricercatori si è rifiutata di presentare i proprio prodotti per la valutazione come protesta (autolesionista) contro la riforma dell’ente.

Altri problemi strutturali sono riconducibili al metodo antiquato del concorso per reclutare i ricercatori. Metodo che non premia sempre i migliori e non prevede un’assunzione di responsabilità del direttore dell’Istituto escluso dalla selezione. Ma la valutazione negativa dipende anche dall’eccessiva burocratizzazione dell’ente nella gestione dei fondi che i ricercatori si procurano da agenzie esterne per il proprio lavoro: anche se tutti continuano a parlare di semplificazione, una parte considerevole del tempo dei ricercatori è destinata agli adempimenti burocratici.

Infine i finanziamenti del ministero. Non esiste quasi più un fondo istituzionale per tenere aperto gli istituti “a uomo fermo” (per pagare cose come il riscaldamento o l’affitto, tanto per intenderci) e questi soldi vengono sottratti ai fondi per la ricerca, penalizzando ulteriormente la capacità di produrre scienza.

Insomma, valutare la ricerca è giusto ed è indecoroso che ci sia arrivati solo oggi. Ma per valutare dobbiamo anche rifondare e arrivare ad una gestione più razionale della ricerca.