È stata già definita come la ranking-mania, ovvero la tendenza di stilare classifiche su ogni cosa. Affligge i dipartimenti di marketing ma anche autorevoli quotidiani finanziari, dal “Financial Times” al “Sole 24 Ore”, che hanno dato i voti ai master in Finanza globali, il primo, e alle università italiane, il secondo.

LEGGI QUI LA CLASSIFICA DEL SOLE 24 ORE 

MANEGGIARE CON CURA

La classifica del Sole misura le performance raggiunte da tutti gli atenei, statali e non, per quel che riguarda la didattica e la ricerca. Pratiche per districarsi nel magma delle offerte dei vari atenei, le classifiche però andrebbero maneggiate con cura: “Sono utili e, se analizzate bene, aiutano a scegliere e a individuare le strade che danno migliori prospettive di carriera. Ma allo stesso tempo creano una élite di istituti che non necessariamente risponde a logiche meritocratiche”, ha scritto sul “Corriere della Sera” Danilo Taino.

LE CRITICHE

L’ambizione del quotidiano confindustriale di “offrire un’indagine a 360° di tutti i principali aspetti dell’attività degli atenei, per fornire a studenti e famiglie una guida completa in grado di offrire strumenti per una scelta universitaria il più possibile fondata e consapevole”, ha innescato la caccia all’errore.

E a più di qualcuno i conti non sono tornati. Sorpresi dai risultati di quest’anno, che hanno stravolto la gerarchia costituita, i ricercatori di Roars hanno provato a raccapezzarsi tra i dati forniti dal Sole. Ma “la nota tecnica del Sole 24 Ore è indecifrabile e sgrammaticata”, hanno scritto in un articolo pubblicato sul sito degli accademici.

“Trovati è molto bravo ma parametri? Decisi da chi e in base che?”, ha scritto su Twitter Francesco Pizzetti, professore ordinario di diritto costituzionale a Torino e docente alla LUISS, già Presidente dell’Autorità per la protezione dei dati personali.

LE PECCHE SECONDO ROARS

METODOLOGIA

Per Roars è impossibile dare credito alla classifica complessiva: “Non sembra esserci un grande sforzo metodologico. Avendo considerato nove indicatori per la didatttica, normalizzati ciascuno tra 0 e 100, se ne calcola la media per ottenere la classifica generale per la didattica. Si tratta di una metodologia di aggregazione non validata, che, come brillantemente spiegato da Billaut et. al, è soggetta alla cosiddetta “normalization trap””.

UN’OPERAZIONE SPERICOLATA

E le classifiche dei singoli indicatori? “Il Sole rielabora i voti VQR (Valutazione della Qualità della Ricerca) per stilare una classifica della qualità della ricerca. Un’operazione abbastanza spericolata, dato che la stessa ANVUR  aveva messo in guardia relativamente alla possibilità di comparare i voti ottenuti nelle diverse aree scientifiche”, commenta Roars.

LA SORPRESA SPIEGATA

Per capire poi a quale marchingegno numerico abbia fatto ricorso la classifica del Sole 24 Ore per piazzare in testa agli atenei italiani Macerata, con un punteggio di 2,6, seguita da Salerno con un punteggio 1,9, superiore al Politecnico di Milano con il suo 1,7, i ricercatori di Roars hanno messo mano, senza nessun risultato,  al foglio excell messo a disposizione dal Sole 24 ore.

Solo dispiegando per curiosità la versione cartacea del quotidiano classificatore ai ricercatori sarà svelato l’arcano: “Nella versione on-line è stata scambiata la colonna della Qualità della produzione scientifica (voti VQR)  con quella della Competitività della ricerca (fondi esterni), che ha a che fare con la capacità di attrazione di risorse per progetti. È in questo campo  che Macerata e Salerno eccellono, non nella valutazione dei prodotti della ricerca. Andando a ricontrollare sul sito del Sole si vede che anche le “Classifiche personalizzate” sono sbagliate”, si legge nell’articolo.

L’ARCO TEMPORALE

Nel citare la fonte utilizzata per stilare la classifica, ossia i dati forniti dell’Agenzia nazionale di valutazione del sistema universitario e della ricerca (Anvur) il Sole 24 ore ha anche commesso uno svarione nell’indicare l’arco temporale a cui tali dati fanno riferimento.

L’AFFIDABILITA’ DELLA CLASSIFICA

“Non citare correttamente il periodo temporale della VQR 2004-2010 è indubbiamente una distrazione, ma messa assieme alla nota metodologica in stile supercazzola e allo scambio di colonne rende l’idea della cura che sta dietro tutta l’operazione”, commentano i ricercatori di Roars.