Gli indici citazionali li aveva pensati Eugene Garfield per mappare la rete delle conoscenze scientifiche e aiutare i bibliotecari a decidere quali riviste comprare. Il Journal Impact Factor, una sua creazione, venne poi usato per misurare il valore dei singoli ricercatori. L’idea di partenza era buona: affidarsi a dati oggettivi per arginare favoritismi e giudizi personali nella valutazione accademica, un problema particolarmente sentito in Italia, dove la revisione tra pari era l’unico metro di giudizio.
La trappola di Goodhart
Quella che sembrava una novità affidabile si è scontrata con una regola nota agli economisti: quando una misura diventa un traguardo, perde valore come misura. I trucchi si sono fatti via via più raffinati. Si è passati dall’eccesso di autocitazioni ai giri di citazioni reciproche, fino a sistemi organizzati come le «review mills»: gruppi di ricercatori italiani che, nel ruolo di revisori, obbligavano i colleghi a citarli, gonfiando così i propri indicatori. Un editor coinvolto risultava avere quasi 3000 revisioni verificate su Web of Science, ma solo una minima parte era visibile a tutti.
Pubblicità
Le fabbriche di articoli
Se le review mills sono l’organizzazione opportunista di gruppi universitari, le «paper mills» sono un pericolo ben più serio: aziende esterne che vendono articoli e citazioni come merce, con prezzi legati all’Impact Factor della rivista. Scoperte per la prima volta dodici anni fa, si sono diffuse in modo sistematico e hanno contaminato intere banche dati. Editori complici o impreparati accettano lavori che violano in modo evidente il metodo scientifico, contando sul fatto che scovarli è difficile.
L’IA non è la soluzione
Usare l’intelligenza artificiale per bloccare gli articoli falsi prima della pubblicazione non sembra sufficiente: chi li produce ha dimostrato di sapersi adattare per sfuggire ai controlli. E il dato più inquietante è che proprio i settori su cui IA e big data puntano di più, come le banche dati genomiche e biomolecolari, sono già inquinati da materiale di origine dubbia.
Fiducia a rischio
«La bibliometria è per la valutazione della ricerca ciò che la diagnostica per immagini è per la medicina», sostiene Giovanni Abramo. Ma se i dati sono sporchi il paragone si capovolge: è come un esame che mescola le cartelle di pazienti diversi, e finisce per premiare chi imbroglia invece di chi fa ricerca seria.
