Da mesi dicono che saremo valutati. E adesso sembra proprio che inizierà il secondo ciclo di valutazione della ricerca.

Non sono mai stato entusiasta del tentativo gestionale di ridurre la complessità ad un numero. Un numero magico sulla base del quale operare delle scelte e decidere del destino delle persone.  Ma è chiaro che una valutazione è necessaria per cercare di spendere in modo appropriato i soldi delle nostre tasse e operare per il meglio del paese.

Quando un biologo sente parlare di valutazione pensa subito alla selezione. Non quella naturale descritta da Darwin. Bensì quella artificiale applicata dagli agricoltori e dagli allevatori secondo un “disegno intelligente” (o almeno si spera). Per selezionare una varietà bisogna prima stabilire quali sono le caratteristiche che ci interessano in modo da identificare la pianta o l’animale che meglio soddisfa le nostre esigenze. E’ chiaro quindi che la valutazione si pone tra due momenti “politici”: prima decidere che cosa vogliamo e poi decidere cosa fare sulla base della valutazione. In altre parole separare i buoni dai cattivi, operare la selezione. Se non sappiamo cosa vogliamo non possiamo fare la valutazione. E se non vogliamo operare delle scelte, allora non ha senso spendere tempo e denaro a valutare.

Solo che nel caso della valutazione della ricerca i passaggi politici non vengono esplicitati. In particolare non viene detto in modo esplicito dove si vuol arrivare e che cosa fare di chi non è bravo.

Qualcuno potrebbe obiettare che queste sono cose abbastanza ovvie. E’ ovvio che vogliamo un sistema ricerca di eccellenza e dei ricercatori che producano almeno un lavoro scientifico all’anno. Ed è ovvio che chi non è adeguato va contro-selezionato. Ma queste ovvietà, che sono molto diffuse anche nel mondo accademico, sono parte della soluzione o rischiano di essere parte del problema?

Prendiamo il caso della prima valutazione ANVUR che ha considerato la produttività delle università e degli enti pubblici di ricerca italiani nel periodo 2004-2010. La valutazione ha permesso di stilare una classifica che è stata poi utilizzata dal ministero per assegnare una frazione dei finanziamenti ordinari. Finanziamenti che non sono (come qualcuno potrebbe pensare) destinati alla ricerca, bensì al mantenimento delle università e degli enti di ricerca (stipendi, spese di mantenimento delle strutture, tasse).

La valutazione prendeva in esame la produzione scientifica misurata per numero e qualità dei lavori pubblicati. Ad ogni ricercatore veniva chiesto di presentare un certo numero di lavori pubblicati nel periodo in esame (3 nel caso dell’Università e 6 per gli enti pubblici di ricerca). Se aveva pubblicato meno dei lavori richiesti gli veniva assegnato un punteggio negativo.

Mettiamo il caso di due enti, A e B, entrambi con solo due ricercatori. Nel caso di A, uno dei due ricercatori era inattivo (zero lavori) e l’altro bravissimo (30 lavori). I 24 lavori in più prodotti dal ricercatore bravo però non venivano considerati. Nel caso dell’ente B, ognuno dei due ricercatori produceva solo i sei lavori. Nella classifica finale B (con 12 lavori totali) era davanti ad A (con 30 lavori totali). E il bravo ricercatore di A veniva penalizzato insieme al suo ente. Quindi, meglio produrre tutti il minimo necessario. O mettere il nome del ricercatore inattivo sui propri lavori.

Un altro criterio prevedeva che uno stesso lavoro non potesse venire presentato da due ricercatori dello stesso Istituto. Nelle discipline scientifiche  tutti i lavori hanno molti autori. E spesso ricercatori di uno stesso Istituto collaborano. Questa regola ha così un effetto devastante. Consideriamo sempre i due Enti A e B, ognuno con solo due ricercatori. I due ricercatori di A lavorano sempre insieme e nel periodo considerato pubblicano solo sei lavori sulla migliore rivista scientifica del mondo. Avrebbero dovuto pubblicarne 12  e quindi ricevono un punteggio negativo. I due ricercatori dell’ente B invece non collaborano tra loro, ognuno pubblica sei lavori ma su una rivista non molto prestigiosa. Vengono considerati positivamente. Ancora una volta B è davanti ad A. Il messaggio è che non va bene pubblicare insieme anche se si fanno cose di ottima qualità. E per favore non collaborate all’interno di un Istituto.

E potrei continuare per ore con esempi di questo tipo. Il messaggio che volevo dare però mi sembra chiaro.

Molti potrebbero, giustamente, criticare gli esempi che ho fatto. In fondo gli Enti e le Università hanno migliaia di ricercatori. E grazie alle leggi dei grandi numeri i problemi da me paventati in realtà non esistono. Gli enti A e B dei due esempi non sono credibili. Vero. Ma il messaggio comunque è passato. Tutti i ricercatori lo hanno recepito. I criteri utilizzati per valutare i la produzione scientifica nel periodo 2004-2010 hanno influenzato inevitabilmente il loro comportamento per cercare di evitare punteggi negativi in futuro.

Fatto è che gli algoritmi molto probabilmente verranno cambiati. A tutt’oggi, tuttavia, non si conoscono i criteri con cui verranno valutati i prodotti scientifici del periodo 2011-2014.

Inoltre la tendenza è che la valutazione verrà spostata dagli enti ai singoli Istituti. E qui le leggi dei grandi numeri non valgono.

Questo solleva a mio avviso due ordini di problemi. Uno specifico per i singoli istituti. Un punteggio negativo potrebbe infatti ridurre in modo significativo i finanziamenti ministeriali  destinati alle spese generali  (manutenzione e tasse) costringendo ad utilizzare a questo scopo i fondi che i ricercatori bravi si procurano da varie agenzie nazionali ed internazionali, pubbliche e private. Ridurrebbe anche la possibilità di assumere nuovi ricercatori, unica strada percorribile per cercare di migliorare la produttività. Mi chiedo anche se un istituto sia semplicemente la somma dei suoi ricercatori. O se non debba essere valutato sulla base della sua produzione complessiva.

Il secondo problema è più generale. Siamo sicuri che questa strategia sia quella vincente? Concentrare tutti i finanziamenti su chi è “eccellente” e “tagliare i rami secchi” sono due parole d’ordine di moda. Ma riflettono la realtà? E’ chiaro che il sistema ricerca va migliorato. Del resto è sorprendente che un sistema in uno stato asfittico permanente e che non viene finanziato da decenni  sia ancora in grado di produrre qualcosa. Io intravedo nella strategia che viene perseguita una mancanza di programmazione organica, di visione generale. Come se chi deve prendere delle decisioni avesse paura di farlo in modo esplicito. Da decenni. Per questo, perseguire valori positivi come quello dell’eccellenza rischia di tramutarsi in una distruzione dell’ecosistema della ricerca, una riduzione della “biodiversità”. E sappiamo che in ogni sistema biologico la complessità e varietà significa robustezza e capacità di adattarsi ai cambiamenti. Come dire che chi oggi viene visto come mediocre, potrebbe domani essere la carta vincente per affrontare una nuova sfida.

Insomma, la soluzione dovrebbe venire da un esame attento delle singole realtà e della loro capacità di fare dei piani plausibili per il futuro. Dovrebbe passare attraverso un esame puntuale delle singole strutture. Non da semplicistici algoritmi gestionali.