Accueil / Chloroquine et trottinette : le problème des revues prédatrices

Chloroquine et trottinette : le problème des revues prédatrices

Publié en ligne le 6 décembre 2020 - Covid-19 -

Le 23 mars 2020, un décret restreint l’utilisation de l’hydroxychloroquine comme traitement de la pandémie de Covid-19. Il n’est alors plus possible de l’utiliser dans cette indication en dehors du cadre hospitalier. En réaction, des médecins de ville montent un collectif nommé « Laissons les médecins prescrire » [1] pour réclamer « la liberté de prescrire ». Le 30 avril 2020, ce collectif publie une étude en faveur de l’efficacité de l’hydroxychloroquine, testée sur eux-mêmes et leurs familles. Il s’agit d’un document de 37 pages [2], publié sur Internet et non pas dans une revue scientifique, contenant notamment un rapport d’expérience assorti de recommandations (préconisant le traitement de tous les patients symptomatiques, mais aussi des personnes asymptomatiques testées positives). L’étude présentée est très faible méthodologiquement et les données présentées ne permettent pas de soutenir la conclusion des auteurs ni les recommandations qu’ils émettent. Ce genre d’autopublication est sans valeur scientifique, mais les auteurs annoncent dans le document que l’étude fera l’objet d’une publication en anglais en bonne et due forme « dans les jours à venir ». Mais quelle revue sérieuse pourrait accepter de publier un tel article ? Invoquant « un blocage systématique des publications sur l’hydroxychloroquine en phase précoce », Violaine Guérin (endocrinologue et gynécologue, première autrice de l’étude) explique à un journaliste de France Info avoir proposé à ses collègues de soumettre leur article à une revue asiatique, l’Asian Journal of Medicine and Health (AJMH), après l’avoir soumis à plusieurs autres (qui l’ont probablement refusé, non en raison d’un blocage lié au sujet, mais du fait de sa médiocrité) [3]. Martine Wonner (députée et psychiatre), co-autrice de l’étude, affirme d’ailleurs au même journaliste « avoir autant confiance dans cette revue que dans le Lancet  » (une des revues médicales les plus réputées). Leur article est ainsi publié dans l’AJMH le 15 juillet 2020 [4]. Tout cela déclenche une vive réaction dans le milieu de la recherche et de la médecine : cette revue est manifestement une revue prédatrice [5].

Les revues prédatrices

Qu’est-ce qu’une revue prédatrice ? Il s’agit d’une revue prenant l’apparence d’un journal scientifique, mais sans en avoir les qualités minimales. Un vrai journal, lorsqu’il reçoit un article, le fait relire par des chercheurs indépendants des auteurs de la soumission et spécialistes du sujet pour qu’ils en fassent une critique argumentée (peer review, ou évaluation par les pairs). Les éditeurs peuvent alors décider de refuser l’article, de le publier en l’état ou d’exiger des auteurs des corrections plus ou moins importantes. Cette étape peut prendre plusieurs mois, car le processus de relecture est long, pouvant occasionner de nombreux allers-retours entre les auteurs et chaque relecteur. Ensuite, si l’article est finalement accepté, le journal s’occupe de sa publication et de sa diffusion. Plus un journal est prestigieux, plus ses critères de sélection sont sévères.

Un chien barbet surprenant un cygne, Jacques-Charles Oudry (1720-1778)

Les revues prédatrices, elles, sont peu regardantes sur la qualité des articles qu’elles publient et sur les compétences de leurs relecteurs (s’il y en a, ce qui n’est même pas toujours le cas). Elles publient des articles sans fournir un service éditorial digne de ce nom, et certaines font même un démarchage agressif auprès des chercheurs pour qu’ils leur soumettent des articles, en mettant en avant des frais de publication bas et une relecture « de grande qualité » (en réalité, elles acceptent tout et confient la relecture à des chercheurs qui ne travaillent pas forcément dans le domaine dont relève l’article). Dans certains cas, leurs pratiques sont même frauduleuses (promettre des services inexistants ou de nature trompeuse, faire croire à tort que la revue est référencée dans les bases de données bibliographiques médicales – comme Medline – ou inventer un facteur d’impact 1, etc.). Ces revues sont nombreuses : des listes 2 en recensent au minimum 1 300 à 1 500, bien que certaines revues non listées mériteraient d’y figurer (c’est d’ailleurs le cas de l’AJMH, listée nulle part). La définition étant floue et les différents critères utilisés discutables, il est parfois difficile d’affirmer qu’une revue est prédatrice. Quoi qu’il en soit, ces revues n’ont aucune crédibilité, mais de nombreux chercheurs se font piéger. C’est parfois même tentant d’y publier : l’avancement des chercheurs repose essentiellement sur le volume de publication, ce qui peut avoir pour effet pervers de stimuler la course à la publication en favorisant des pratiques douteuses, comme publier des articles de mauvaise qualité en grande quantité, faire mettre son nom parmi les auteurs d’une étude sans y avoir participé, court-circuiter la relecture en passant par des revues dont on connaît personnellement les éditeurs, ou encore publier dans une revue prédatrice en toute connaissance de cause. Ces pratiques, quoique minoritaires, gangrènent la recherche.

L’AJMH au banc d’essai

Revenons à notre exemple. Les tarifs de publication de l’AJMH sont publics : avec une réduction de 89 % sur un prix initial de 500 $, cela ne coûte que 55 $. Devant de tels tarifs, un groupe de médecins et de chercheurs a décidé de payer pour tenter de publier un canular et ainsi tester la qualité de cette revue, puisque les docteurs Guérin et Wonner mettent en avant dans les médias cette publication et s’en servent pour promouvoir un traitement dont on sait déjà à ce moment-là qu’il est inefficace. Nous étions principalement quatre à participer : Mathieu Rebeaud (doctorant en biochimie), Florian Cova (professeur assistant de philosophie à l’université de Genève), Michaël Rochoy (médecin généraliste) et moi-même.

Une course de vélocipèdes au Jardin du Luxembourg, Artiste inconnu, 1818

Le canular est rédigé rapidement : l’idée est lancée le lundi 20 juillet 2020 et l’article est soumis à la revue le vendredi 24 juillet au soir. Le texte d’une qualité désastreuse est truffé d’absurdités et devrait être rejeté immédiatement par n’importe quelle personne se donnant la peine de le lire. En voici les grandes lignes.

Le titre est “SARS-CoV-2 was unexpectedly deadlier than push-scooters (« Le SRAS-CoV-2 est contre toute attente plus mortel que les trottinettes »), en référence à une phrase du professeur Raoult affirmant le 17 février 2020 qu’il y a plus de morts par accident de trottinette que par coronavirus en Italie [6].

Mardi gras (Pierrot et Arlequin), Paul Cézanne (1839-1906)

L’introduction contient de nombreuses allusions à Didier Raoult (son utilisation de YouTube et Dropbox pour promouvoir son travail, ses phrases polémiques sur les « trois Chinois qui meurent » ou les accidents de trottinettes, etc.), ainsi que des affirmations hautement fantaisistes, par exemple que l’hydroxychloroquine et l’azithromycine sont la clé pour résoudre tous les problèmes du monde, y compris le conflit israélo-palestinien. Nous y expliquons que l’idée d’utiliser ce traitement contre les accidents de trottinettes vient de leur forte similarité avec le coronavirus : « Les deux peuvent avoir des conséquences mortelles à la suite desquelles le patient peut même mourir. »

Nous présentons trois études en une (ce qui est contraire aux habitudes). L’étude 1 consiste en une recherche sur Google Actualités des accidents mortels de trottinettes depuis un an. Nous y affirmons que, puisque nous n’avons pas trouvé d’accident mortel en mars 2020, l’hydroxychloroquine et l’azithromycine (utilisées à ce moment là) ont un effet protecteur. Concernant l’étude 2, nous expliquons que, puisque les résultats n’allaient pas dans notre sens, nous les avons supprimés. L’étude 3 est présentée comme une expérience au cours de laquelle des volontaires roulent en trottinette sur une pente de 45° avant de heurter un mur en brique. Des analyses statistiques sans queue ni tête nous permettent de conclure que ceux qui ont pris de l’hydroxychloroquine et de l’azithromycine avant la descente ont un meilleur taux de survie, et donc que le traitement protège des accidents de trottinettes. Nous ajoutons trois images : une capture d’écran Twitter sur laquelle les boutons du logiciel sont visibles, un graphique sur les accidents de trottinettes vieux de trois ans et une image faussement présentée comme une fracture du bassin. Notre conclusion fait référence à Batman et à Jean-Claude Dusse (personnage incarné par Michel Blanc dans la série de films Les bronzés) et nous proposons d’utiliser massivement notre traitement pour sauver des millions de vies.

Chacun pourra juger de la crédibilité de tout cela : aucune phrase ne tient la route 3 (voir ici la version finale : [7]).

À partir de ce moment-là, deux hypothèses sont envisageables : soit la revue ne fait absolument pas relire les articles, et le nôtre passera sans problème ; soit il y a une relecture, et il sera immédiatement rejeté.

Nous soumettons donc le canular à l’AJMH et recevons rapidement une réponse : il y a un problème avec notre article ! Le problème : deux des figures sont en français… Nous tombons un peu des nues : ni le titre ni le contenu ne semblent inquiéter le rédacteur en chef, mais la présence d’un peu de français, oui. Ni une, ni deux, nous traduisons les figures le plus salement possible : le texte français n’est effacé qu’à moitié et nous réécrivons par-dessus dans un anglais approximatif. Cela semble leur suffire…

C’est à ce moment-là que l’on nous demande de payer les frais de publication (qui en théorie ne sont versés que si l’article est publié, ce qui montre bien que les éditeurs de cette revue ne prévoient pas de rejeter le moindre article).

Quelques jours plus tard, des commentaires de relecteurs nous sont envoyés : trois chercheurs indépendants ont bel et bien évalué notre travail ! Tout cela est d’ailleurs accessible en ligne, sur le site même de la revue [8]. En voici un résumé pour mieux comprendre les méthodes de cette revue (et de nombreuses autres du même genre).

Le relecteur numéro 3 n’a manifestement pas lu l’article : ayant apparemment vu dans le titre le mot hydroxychloroquine, il nous a simplement envoyé un paragraphe tout fait sur la molécule, sans rapport avec notre texte. Le relecteur numéro 1 liste un grand nombre de problèmes évidents. Quelques exemples : le titre racoleur et sans rapport avec le sujet, l’utilisation de Google Actualités et Wikipédia comme sources, la référence à des articles de recherche sans rapport avec le sujet, l’absence de méthode claire ou encore la taille d’échantillon trop faible. Le relecteur numéro 2 liste aussi beaucoup de problèmes. Par exemple, il signale que s’il n’y a pas eu de décès par accident de trottinette en mars 2020, c’est probablement parce que le pays était confiné (en précisant qu’il faudrait « prendre ça en compte »), s’étonne que l’on cache les résultats de l’étude 2, s’alarme que l’on propose d’ajouter de l’hydroxychloroquine au sel de table, etc.

Nous répondons à chacun de façon absurde : nous justifions certaines aberrations par le fait que c’est une habitude en France de faire ainsi, nous reconnaissons que notre article n’est pas très bon et nous signalons que nous allons corriger certains points évoqués. En vérité, nous ne corrigeons rien, mais les relecteurs ne semblent pas être allés vérifier. L’étape de relecture s’arrête là. Nous avons donc eu droit à un relecteur qui n’a rien lu et à deux autres qui n’ont pas vérifié si nous corrigions bien les points (pourtant bloquants) qu’ils soulevaient… Et manifestement, aucun ne s’était rendu compte de la supercherie, pourtant évidente.

Par la suite, trois éditeurs donnent leur avis sur le texte (là encore, tout est accessible sur le site de la revue). L’éditeur numéro 1 se rend compte que rien ne va et explique que le manuscrit n’est pas publiable en l’état. Nous répondons à ses différentes remarques de la même manière qu’aux relecteurs, mais cette fois-ci, nous avons droit à un retour de sa part. Inexplicablement, notre réponse semble lui convenir, hormis pour une chose : nous avons affirmé que les auteurs faisaient partie du comité d’éthique qui a approuvé le projet de recherche (ce qui est évidemment interdit, il faut un comité indépendant). Et il insiste là-dessus. Nous nous en sortons par une pirouette, en expliquant que nous nous sommes mal exprimés et que même si nous faisions partie du comité, nous sommes sortis de la salle au moment de juger notre projet. Cela lui suffit : il dit, dans un troisième et dernier message, qu’il est d’accord pour la publication. L’éditeur numéro 2 demande d’emblée à ce que l’article soit rejeté. Il semble bien comprendre qu’il n’y a rien à en tirer, mais apparemment sans comprendre qu’il s’agit d’un canular, et pas seulement d’un mauvais article. L’éditeur numéro 3 accepte le texte sans détailler plus. Et là encore, cela s’arrête là, malgré l’avis négatif d’un des trois éditeurs. Nous avons donc passé toutes les étapes. En ne changeant presque rien au premier jet (et même en ajoutant de nouvelles absurdités).

Six personnes ont lu notre canular et il est quand même accepté… Il est publié le 15 août 2020 (soit trois semaines seulement après la soumission) [7]. C’est ridicule : toute cette relecture n’a été qu’une vaste mascarade. Le jour même, nous révélons notre canular sur Twitter. Dès le lendemain, notre article est rétracté pour « fraude ». Nous n’avons évidemment pas été remboursés de nos 55 $.

Quelles leçons tirer ?

L’animal de compagnie du professeur, Zacharie Noterman (1820-1890)

Peu importe cette rétractation, la démonstration était faite : l’AJMH est une revue prédatrice. Cela n’est une surprise pour personne dans le milieu de la recherche, mais puisque les docteurs Guérin et Wonner utilisaient dans les médias leur article publié dans cette revue comme un argument sérieux, cela permettait de le démontrer pour le grand public. Et au-delà de cet exemple précis, cela permet aussi de dénoncer un problème que les gens connaissent mal : celui des revues prédatrices.

En réponse à notre publication, certains nous ont reproché d’avoir dupé l’AJMH de façon malhonnête, et affirmé que cela ne prouvait rien puisque même une revue prestigieuse pouvait l’être, à l’instar du Lancet qui a récemment dû rétracter pour fraude une étude défavorable à l’hydroxychloroquine basée sur les données de l’entreprise Surgisphere [9]. Cette comparaison avait pour objectif de montrer que n’importe quelle revue peut être trompée. Pourtant, les deux situations n’ont rien à voir. Notre « article » ne dissimule rien : il n’est composé que d’affirmations absurdes, de tests statistiques incohérents et de conclusions infondées. Qu’il ait été accepté démontre l’absence de relecture scientifique sérieuse par l’AJMH, qui se contente de publier en échange d’argent. Dans le cas du Lancet, ce n’est pas l’article en lui-même qui a été mis en cause, mais les données utilisées, qui se sont révélées douteuses et qui n’ont pas pu être vérifiées par les éditeurs du Lancet puisque Surgisphere n’a pas voulu les leur transmettre quand des doutes sont apparus. Le processus de relecture par les pairs tel qu’il est normalement pratiqué (et qui, malgré ses défauts, reste la meilleure manière d’évaluer un travail de recherche), n’a pas été mis en défaut par incompétence ou négligence, mais en raison de l’utilisation de données auxquelles les relecteurs n’avaient pas accès. La rétractation de l’étude par le Lancet montre d’ailleurs bien que le système peut corriger ses propres erreurs même après coup. Et cela ne change de toute façon rien à la question de l’efficacité de l’hydroxychloroquine qui ne s’appuie pas sur une étude isolée mais sur une accumulation de données. En l’occurrence, les essais cliniques de bonne qualité ne montrent pas d’efficacité de l’hydroxychloroquine. Une récente méta-analyse montre même une augmentation de la mortalité en cas d’association avec l’azithromycine [10], suggérant une toxicité de cette association.

Nous avons eu bien plus de succès médiatique que prévu : de nombreux médias francophones généralistes ont parlé de notre canular. Et cela, nous l’espérons, a permis à certains de comprendre qu’un « article scientifique » n’est pas forcément une source fiable. Nous espérons aussi que notre article pourra servir d’exemple concret pour démontrer au grand public que tous les articles scientifiques ne se valent pas, et qu’il existe des revues qui permettent de publier n’importe quoi en échange d’argent. Et de servir d’enseignement aussi aux futurs médecins et chercheurs.

Références


1 | Site du collectif « Covid-19 laissons les médecins prescrire »,
2 | « Etude rétrospective chez 88 sujets avec 3 approches thérapeutiques différentes », communiqué de presse, 30 avril 2020. Sur stopcovid19.today
3 | Magnenou F, « Il faut être vigilant pour ne pas se faire piéger : comment les “revues prédatrices” parasitent les études scientifiques », France Télévisions, 4 août 2020.
4 | Guérin V et al., “Azithromycin and HydroxychloroquineAccelerate Recovery of Outpatients with Mild/Moderate COVID19Violaine Guérin”, Asian J Med Health, 2020, 18 :45-55.
5 | Maisonneuve H, « Covid-19 : des Français adorent les revues prédatrices pour publier leurs articles refusés sur AZI / HCQ... c’est du lourd ! », blog Rédaction médicale, 21 juillet 2020.
6 | Raoult D, « Coronavirus : moins de morts que par accident de trottinette », Nous avons le droit d’être intelligents – Bulletin d’information scientifique de l’IHU, 17 février 2020.
7 | Rebeaud M et al., “SARS-CoV-2 was Unexpectedly Deadlier than Push-scooters – Could Hydroxychloroquine be the Unique Solution ?”, Asian J Med Health, août 2020.
8 | Open Peer Review Support Company, “Peer Review History. Retracted : SARS-CoV-2 was Unexpectedly…”. Sur sdiarticle4.com
9 | Mehra M. et al., “RETRACTED : Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID-19 : a multinational registry analysis”,The Lancet, 22 mai 2020.
10 | Fiolet et al.,“Effect of hydroxychloroquine with or without azithromycin on the mortality of COVID-19 patients : a systematic review and meta-analysis”, Clinl Microb Inf, 26 août 2020.

1 Le facteur d’impact est un indicateur qui évalue la visibilité d’une revue scientifique à partir du nombre de références faites aux articles qu’elle publie.

2 La plupart sont dérivées de celle de Jeffrey Beall. Par exemple : beallslist.net ou predatoryjournals.com/journals

3 À noter que même la liste des auteurs est fantaisiste pour un lecteur francophone, avec des auteurs fictifs comme Didier Lembrouille, Sylvano Trottinetta, Ötter F. Hantome (auteur fantôme) ou Nemo Macron (le chien du président de la République française, avec son affiliation « académique » au Palais de l’Élysée). Mais tout l’article est à l’avenant.