Science rivela la scarsa affidabilità delle riviste scientifiche. Scoppia il caso

Quando Didier Raoult lo scorso anno ha pubblicato diversi studi che pretendevano di mostrare la promessa dell'idrossiclorochina come trattamento per COVID-19, i critici hanno rapidamente denunciato i suoi metodi. Raoult, un microbiologo dell'Università di Aix-Marseille, deve ora affrontare un'azione disciplinare da parte di un regolatore medico francese e il farmaco nel frattempo è stato ampiamente screditato come trattamento COVID-19.

Ma alcuni ricercatori avevano un'altra preoccupazione: la pubblicazione sorprendentemente prolifica di Raoult sulla rivista New Microbes and New Infections, dove alcuni dei collaboratori di Raoult risultano come redattori associati e redattori capo. Dalla creazione della rivista nel 2013, il nome di Raoult è apparso su un terzo dei suoi 728 articoli. Florian Naudet, un metascientista dell'Università di Rennes, si è chiesto quanto fosse diffuso questo sistema. Lui ei suoi colleghi hanno collaborato con la psicologa dell'Università di Oxford Dorothy Bishop, che aveva sviluppato un metodo per identificare gli autori per esplorarne la portata nella letteratura della ricerca biomedica.

Il gruppo ha estratto i dati su quasi 5 milioni di articoli pubblicati tra il 2015 e il 2019 in più di 5000 riviste biomediche indicizzate dai Broad Subject Terms della US National Library of Medicine, che cataloga il focus tematico delle riviste. Questo metodo non ha incluso le riviste che non sono registrate nel catalogo, tra cui riviste meno affermate come New Microbes e New Infections, dice Naudet. I ricercatori hanno quindi contato il numero di articoli che ogni autore aveva pubblicato per identificare il ricercatore più prolifico di ogni rivista.

Nella metà delle riviste, l'autore più prolifico ha pubblicato meno del 3% degli articoli. Ma 206 riviste apparivano quanto meno anomale, con un solo autore  responsabile tra l'11% e il 40% degli articoli  riferisce il team in un preprint pubblicato questo mese. Sebbene molte di queste riviste anomale siano poco conosciute, alcune invece hanno titoli riconoscibili con grande notorietà:  Journal of Enzyme Inhibition and Medicinal Chemistry,  Journal of American Dental Association e  Current Problems in Surgery.

I ricercatori hanno anche confrontato il tempo dalla presentazione alla pubblicazione e hanno scoperto che gli autori prolifici hanno beneficiato di revisioni più rapide. E in un campione casuale di 100 riviste anomale scelte per un esame più attento, i ricercatori hanno trovato ciò che considerano una prova di favoritismo o, come lo chiamano, "nepotismo": per circa un quarto di queste riviste, l'autore prolifico era il redattore capo della rivista, e nel 61% di loro l'autore faceva parte del comitato editoriale.

Lo studio, che non è stato ancora sottoposto a peer review, è "ben fatto", afferma Ludo Waltman, bibliometrico dell'Università di Leiden, e solleva interrogativi sull'integrità e sull'affidabilità della letteratura scientifica. La coautrice dello studio Clara Locher, farmacologa dell'Università di Rennes, osserva che c'è ancora del lavoro da fare perché l'analisi non mostra se gli articoli scritti da prolifici ricercatori di queste riviste "nepotistiche" siano di qualità inferiore. Naudet afferma che chiedere ai lettori di valutare un sottoinsieme di articoli potrebbe far luce su questa domanda.

Ma Waltman mette in guardia dal fare semplici distinzioni binarie tra riviste "buone" e "cattive". Molti cadono in una zona grigia, dice, e tracciare linee luminose rischia di dare un tacito timbro di approvazione a riviste che non superano un limite arbitrario ma possono comunque avere problemi sostanziali. Quello che serve, dice, è più trasparenza da parte delle riviste sui loro processi editoriali. Il modo migliore per le riviste di evitare il nepotismo, dice, sarebbe pubblicare i commenti dei revisori tra pari di ogni articolo, consentendo ai lettori di giudicare da soli se è stato adeguatamente recensito.