Gérer les erreurs dans les publications scientifiques

La publication scientifique occupe une place centrale dans l’activité des chercheurs. C’est sur elle que repose la validation des résultats et c’est elle qui permet un plus large partage des connaissances. C’est au travers de leurs publications que les scientifiques acquièrent notoriété et reconnaissance. La qualité et la rigueur des processus de publication scientifique sont un gage d’honnêteté de la recherche scientifique, et une part de la confiance que la société porte à l’institution scientifique dépend de l’intégrité de ce processus.

L’évaluation par les pairs (ou peer review), avec ses différentes modalités, est aujourd’hui reconnue comme étant la norme pour assurer la qualité et la légitimité d’une publication.

Malgré cela, les mauvaises pratiques sont fréquentes. Que faut-il alors faire quand une erreur ou une fraude est identifiée dans un article déjà publié ? Comment est-il possible d’améliorer la peer review pour limiter ces problèmes ?

Des publications douteuses ou problématiques

Un rapport du « Scientific, Medical and Technical publishers », une association internationale gérée au profit des éditeurs savants, scientifiques, techniques, médicaux et professionnels, estime à près de trois millions le nombre d’articles publiés en 2018 dans plus de 40 000 revues évaluées par les pairs [1]. Ce nombre progresse de l’ordre de 4 % chaque année. Le nombre total d’articles déposés dans les bases de données les plus utilisées dépassent probablement les 80 millions [2].

Cette situation reflète en partie la croissance de l’activité de recherche et de développement. Mais du côté des chercheurs, on a également maintes fois souligné l’effet pervers du publish or perish. La production scientifique est de plus en plus abondante et, pour être promus, reconnus et cités, les scientifiques sont obligés de proposer un grand nombre d’articles, si possible dans des revues prestigieuses. La quantité importera alors souvent plus que la qualité.

Ainsi, sans qu’il soit possible de l’estimer précisément, un nombre significatif d’articles sont publiés alors que leur qualité réelle ne le justifie pas. Cela peut aller d’un défaut méthodologique à une véritable fraude. L’évaluation faite par des relecteurs part d’un principe de bonne foi : ils évaluent les méthodes et les résultats soumis sans avoir accès au laboratoire pour éventuellement identifier des méconduites. Du côté des éditeurs, les processus sont de moins en moins efficaces : les relecteurs ne sont pas assez nombreux (c’est un travail bénévole, chronophage et peu valorisé) et les délais de relecture de plus en plus courts sont délétères pour la qualité de l’évaluation.

Déjà en 1994, le statisticien anglais Doug Altman estimait que la plupart des publications médicales étaient de mauvaise qualité et dénonçait des erreurs méthodologiques, affirmant que « d’énormes sommes d’argent sont dépensées chaque année pour des recherches qui sont gravement défectueuses en raison de l’utilisation de conceptions inappropriées, d’échantillons non représentatifs, de petits échantillons, de méthodes d’analyse incorrectes et d’interprétations erronées » [3]. Le méthodologiste américain John Ioannidis estimait quant à lui en 2005 que la plupart des articles publiés étaient faux en le justifiant par plusieurs causes : « Lorsque les tailles d’effet sont plus petites ; lorsqu’il y a un plus grand nombre et une moindre présélection des relations testées ; où il y a une plus grande flexibilité dans les conceptions, les définitions, les résultats et les modes analytiques ; lorsqu’il y a plus d’intérêts et de préjudices financiers » [4].

Corrections, mises en garde et rétractations

Les publications rapportant des résultats faux ou douteux occupent donc une certaine place dans la littérature scientifique. Plusieurs solutions sont proposées parmi lesquelles l’erratum (signaler des défauts mineurs, le plus souvent sur la forme), la mise en garde (informer le lecteur qu’une investigation est en cours) et la rétractation.

La rétractation correspond à une situation où les résultats ont fait l’objet d’une invalidation. L’article ne doit plus être considéré pour son contenu scientifique. Néanmoins, un article rétracté reste accessible afin que les erreurs ou fraudes constatées puissent être prises en compte à l’avenir. Les causes de rétractation peuvent être multiples : une erreur de l’éditeur qui publie deux fois le même article, des erreurs sincères ou a contrario des fraudes (falsification de résultats, invention de résultats, plagiat), des conflits sur le nom des auteurs (et donc la propriété des résultats), etc.

Dans un point de vue publié dans La Presse médicale en 2012, trois universitaires lyonnaises soulignaient que « la correction des articles erronés ou frauduleux est nécessaire au progrès [afin] de prévenir la communauté scientifique qu’elle ne doit plus prendre en compte certains articles et également s’assurer que leurs résultats ne seront plus cités. » Elles précisaient qu’« étant donné que ce sont les rédacteurs des revues qui, avec les auteurs, prennent la responsabilité du contenu, c’est à eux que revient le devoir de rétablir la vérité, si possible avec les auteurs » [5].

Retraction Watch est un site qui recense et analyse depuis 2010 les rétractations d’articles scientifiques [6]. Sa base de données contient à ce jour plus de 35 000 articles rétractés (à mettre en relation avec les plus de 80 millions d’articles identifiés dans les bases de données les plus connues). Pour l’un des fondateurs du site, l’augmentation constatée du nombre de rétractations est un bon signe, il signifie « que la science est de plus en plus scrutée et rigoureuse, et que l’édition scientifique fait son travail » [7]. Pour autant, selon lui, le taux de rétractation est inférieur à 0,1 % alors qu’il estime, « sur la base de preuves tirées d’enquêtes, d’études et de rapports de détectives – qu’un article sur cinquante [2 %] répondrait à au moins un des critères de rétractation du Committee on Publication Ethics, une association à but non lucratif, au RoyaumeUni » (sur ces critères, voir [8]).

Reconnaître une erreur ?

Les raisons de ne pas reconnaître une erreur sont nombreuses et concernent tous les acteurs. Un chercheur constatant a posteriori une erreur dans un de ses articles peut être tenté de ne pas informer ni l’éditeur ni son institution, permettant ainsi la pérennité de sa publication. Il pourra également refuser de reconnaître une erreur qui lui est signalée par un rédacteur en chef, que ce soit pour ne pas entacher sa réputation et la qualité de son travail, ou par manque de temps. De leur côté, les institutions cherchent en priorité à protéger leur image et peuvent parfois être conduites à ne pas signaler publiquement des erreurs de certains de leurs chercheurs. Enfin, les éditeurs de revues engagent leur réputation et la plupart ne souhaitent pas que l’on remette en cause la qualité de leur processus d’évaluation.

Cependant, les sanctions en cas de fraude ou d’erreur dissimulée peuvent être sévères et conduire dans des cas extrêmes à la fermeture d’un laboratoire de recherche ou à l’annulation d’un soutien financier. Un chercheur reconnu coupable de fraude pourra être expulsé de son équipe ou être interdit de publication par des rédacteurs de revues. La rétractation peut aussi être fortement préjudiciable pour les coauteurs, même s’ils n’ont eu qu’une contribution plus limitée au projet (dans le domaine de la recherche biomédicale, le premier auteur est souvent le doctorant ou le post-doctorant responsable du projet, le dernier auteur est le directeur du laboratoire et les autres auteurs, parfois des techniciens, ont des contributions variables) [9].

Néanmoins, certains chercheurs sont amenés à demander eux-mêmes la rétractation d’une de leurs publications. Face à des erreurs, voire des fraudes constatées, ils peuvent préférer ne pas nuire à l’intégrité scientifique. Un jeune chercheur témoigne ainsi du processus qui l’a conduit à demander le retrait d’une de ses publications. Les résultats rapportés étaient apparus invalidés suite à une contamination croisée de deux lignées de bactéries. Dès lors, plutôt que de « passer tranquillement à autre chose », et malgré une « partie égoïste et anxieuse » de lui qui aurait pu l’y pousser, face à une erreur que « probablement personne n’aurait jamais vu », le chercheur a préféré signaler le problème, croyant en « l’importance de l’honnêteté intellectuelle » [10].

La rétractation d’un article n’est pas forcément synonyme de fraude et pourrait même être un indicateur de qualité pour les revues et le signe d’une bonne relation entre les auteurs et les éditeurs. Frances Arnold, prix Nobel de chimie en 2018, avait ainsi demandé à la revue Science de rétracter un de ses articles car elle n’avait pas pu reproduire une expérience, tout en s’excusant envers ses collègues [11].

Enfin, rappelons que les publications scientifiques douteuses sont nombreuses. Les revues de faible qualité, encore appelées prédatrices, se concentrent uniquement sur le nombre de publications sans aucun recul sur le contenu scientifique. Peu soucieuses de qualité ou d’intégrité scientifique, avec un objectif mercantile, elles peuvent avoir, pour le public, l’apparence de revues à comité de lecture comme les autres. Elles peuvent aussi parfois tromper des chercheurs, voire être un moyen pour certains d’entre eux, peu scrupuleux, de voir leurs travaux publiés [12].

Intervenir en aval, dans le processus de relecture

Pour tenter de prévenir les situations où un article doit être corrigé ou rétracté, une certaine ouverture du processus de publication peut permettre la mise en place d’outils d’analyse. Dans cette approche, les auteurs doivent décrire où et comment ont été archivées les données de leurs recherches, préciser si elles sont accessibles par d’autres équipes et comment les obtenir. Des internautes lanceurs d’alerte prennent part à cette surveillance et analysent des articles susceptibles de correction ou rétractation. Grâce aux archives ouvertes, des pairs peuvent vérifier les publications avant et après validation par le rédacteur en chef. Cette forme de participation commune à la détection des publications suspectes permet d’informer et d’alerter à la fois les lecteurs, les comités de rédaction des revues et les éditeurs. Le site Internet communautaire PubPeer [13] offre aux utilisateurs la possibilité de commenter les publications. Mais ces commentaires n’ont pas beaucoup d’influence pour faire modifier les articles et ainsi améliorer la qualité de la recherche scientifique.

Les processus d’évaluation pourraient également être améliorés d’une manière plus radicale. Face à un certain manque de transparence, un mouvement se dessine en faveur d’un open peer review visant à mieux reconnaître le travail des relecteurs et à accroître la responsabilité des rédacteurs et des auteurs. Ainsi la plateforme eLife propose-t-elle à partir de janvier 2023 un nouveau processus de relecture : « Chaque prépublication envoyée pour examen par les pairs sera publiée sur le site Web eLife en tant que “prépublication relue par les pairs” qui comprendra une évaluation eLife, des critiques publiques et une réponse des auteurs (si disponible). Lors de la rédaction de l’évaluation par eLife, les rédacteurs et les réviseurs utiliseront un vocabulaire commun pour résumer l’importance des résultats et la force des preuves rapportées dans la prépublication » [14].

Les enjeux de qualité des processus de relecture vont bien au-delà de la seule communauté scientifique. Ils touchent directement aux applications potentielles des découvertes scientifiques, mais aussi à la confiance que la société peut accorder à la production scientifique en général.