Vous ne passerez pas ! Le rôle du rapporteur

 

En quoi consiste le travail d’un rapporteur (aussi appelé évaluateur, expert, relecteur, reviewer ou encore referee) au sein d’une revue scientifique ? À première vue, il s’agit d’une mission simple : séparer le bon grain de l’ivraie, autrement dit, les mauvais manuscrits de ceux qui mériteraient d’être publiés.

Mais comment différencier un bon manuscrit d’un mauvais ? Comme dans bien des circonstances de la vie, le choix n’est pas toujours évident, car entre le noir et le blanc, il existe de nombreuses nuances de gris.

C’est pourquoi je réfléchis toujours longuement avant d’accepter de me lancer dans une expertise de manuscrit : suis-je compétent sur le sujet traité ?

Si oui, je commence par examiner la science décrite dans l’article : le propos est-il cohérent ? les méthodes utilisées sont-elles adaptées ? Le manuscrit le mieux rédigé du monde n’aurait aucun intérêt si son propos n’était pas correct ou pas crédible…

Quelques points d’attention fréquents

Si les résultats scientifiques présentés sont corrects ou ont l’air corrects, j’examine alors le texte en détail. Les illustrations, les équations, les schémas présentés ont-ils du sens et un intérêt, idéalement sans qu’il soit nécessaire de lire le texte ? Même si l’anglais est apparemment devenu la langue de la science, il faut aussi penser aux lecteurs qui ne maîtrisent pas bien cette langue (et la question se pose d’autant plus lorsqu’un texte est publié dans une autre langue). Car oui, il est encore possible de publier dans des langues autres que l’anglais, et je suis heureux de pouvoir y contribuer du mieux que je peux, malgré ma connaissance limitée des langues étrangères. À mon sens, c’est aussi cela qui permet d’avoir une communauté scientifique inclusive.

À cette étape, il faut également vérifier que les légendes sont lisibles : tout le monde n’est pas en mesure de déchiffrer une police taille 5 pt !

Un autre point important à examiner est la section de l’article qui en annonce les résultats. Comment les résultats présentés sont-ils décrits ? Comment les nouveaux résultats sont-ils replacés dans leur contexte scientifique ? L’auteur connaît-il bien la littérature du domaine ? L’auteur a-t-il oublié de rappeler des points déjà connus mais importants pour le sujet, et que tous les lecteurs ne connaissent pas forcément ? De mon point de vue, il est fondamental que l’auteur connaisse bien les travaux plus anciens. Je ne crois pas qu’il existe de sujet en chimie sur lequel rien d’important n’ait été publié au 20^e siècle. Par ailleurs, il est bien sûr crucial que l’auteur connaisse des travaux auxquels il n’a pas lui-même contribué. Si la majorité des références bibliographiques citées viennent de l’auteur lui-même ou de son équipe de recherche, regardez-y de plus près et posez-vous des questions !

Il n’est pas obligatoire que l’introduction consiste en une véritable revue exhaustive du sujet. Pour autant, le lecteur doit être pris en main et guidé, et le contexte de l’étude présentée doit être décrit. J’aime aussi prêter attention au titre choisi pour l’article. Bien sûr, on ne demande pas aux auteurs de savoir rédiger un encart publicitaire, mais un titre un peu accrocheur, voire humoristique, est toujours bienvenu. Quel article préféreriez-vous lire : “Les Comptes Rendus Chimie, revue de chimie depuis 1835″ ou “Les Comptes Rendus Chimie : une revue historique prête à relever les défis du 21^e siècle” ?

Bien entendu, même une vérification scrupuleuse de tous ces éléments n’empêche pas toujours que soient publiées des études fabriquées de toutes pièces, pour peu que leurs auteurs y mettent suffisamment de génie criminel. De même que quoique vous fassiez pour protéger votre maison, les cambriolages arrivent… Des interrogations persistent toutefois : quel est le risque que cela arrive dans les Comptes Rendus Chimie ? Qu’est-ce qui peut pousser un auteur à prendre de tels risques, quels avantages en tire-t-il ?. N’est-il pas plus simple de mener une “vraie” recherche, plutôt que d’inventer une étude de toutes pièces ?

Rédiger un rapport

Une fois toutes ces questions posées, les choses sérieuses commencent : il s’agit de rédiger un rapport, et de procéder à l’évaluation proprement dite du manuscrit. Si celui-ci est excellent, c’est facile : il n’y a rien à rajouter ou à enlever, et l’article peut être dit “publiable en l’état”.

Les choses se compliquent si le manuscrit n’est qu’à moitié bon, voire complètement mauvais. Pourquoi ? Parce que les auteurs sont généralement fiers de leur production, et que personne n’aime entendre que le fruit de son labeur n’a aucun intérêt ! En outre, l’objectif est de faire comprendre aux auteurs quels sont les problèmes ou les lacunes de leur recherche, de façon qu’ils puissent les résoudre lorsque c’est possible, ou faire mieux dans leurs prochains travaux. On apprend de ses erreurs, mais seulement lorsqu’elles nous sont pointées avec politesse, bienveillance et respect. Nous en avons (ou aurions) tous dû faire l’expérience à l’école : pour comprendre une leçon, nous avons besoin que l’enseignant sache évaluer où nous en sommes et soit capable de nous expliquer où nous nous sommes trompés. Il en va de même ici. Tout chercheur a en tête des exemples de rapports d’expertise qui dans le meilleur des cas ne lui ont rien apporté, et dans le pire des cas l’ont mis en fureur et poussé à rejeter en bloc toute tentative d’amélioration.

L’évaluation scientifique dans un contexte concurrentiel

Dans ce contexte, qu’est-ce que les Comptes Rendus Chimie ont de spécial ? Tout d’abord, l’organisation qui les publie, l’Académie des sciences, et ensuite, la réputation de la revue. Pourquoi ? Parce que l’Académie des sciences ne cherche pas à gagner de l’argent grâce à ses publications scientifiques. Elle est avant tout au service de la science elle-même, et par-là, de l’humanité toute entière. Dans cet objectif, elle a fait le choix de diffuser ses publications en libre accès, et sans que les auteurs ne doivent payer pour cela.

C’est pour cette raison que, même si les Comptes Rendus Chimie ne comptent pas (encore ?) parmi les principales revues scientifiques internationales en chimie, il nous est possible à tous, auteurs, évaluateurs et éditeurs, de collaborer pour améliorer cela, si nous le voulons. Je préfèrerais toujours une revue qui s’attache à publier une science robuste et fiable, basée sur des données de confiance, et alimenté par des scientifiques attachés à ces valeurs de qualité et de pertinence.

Cet état d’esprit n’a pas toujours la cote en ce moment : de nombreux chercheurs préfèrent publier dans des revues qui excellent par des indicateurs bibliométriques quantitatifs tous plus obscurs et compliqués à calculer les uns que les autres, ou accorder moins d’importance à la robustesse de l’évaluation scientifique. C’est sûr qu’à court terme, c’est plus simple pour se faire mousser et se distinguer de ses collègues. Mais c’est aussi dangereux, notamment dans un contexte où de plus en plus d’articles sont rétractés après leur publication lorsqu’on y décèle des manquements, et où auteurs et éditeurs s’arrangent pour tricher avec les métriques.

Espérons donc que les Comptes Rendus Chimie persistent dans leur attachement aux valeurs traditionnelles de la science, et continuent à offrir des opportunités de publication à tous les scientifiques, et en particulier aux chercheurs disposant de moins de ressources qu’en France ou en Allemagne. Car le seul critère qualité d’une revue à but non lucratif peut être la qualité intrinsèque des articles publiés, et personne ne peut prédire ce qui aura de l’importance pour la science de demain ou tombera dans l’oubli à jamais.

Évaluateur, une position délicate

L’évaluateur n’est pas l’auteur de l’article, encore moins la personne à l’origine de la recherche décrite. Mais évidemment, il sait toujours tout mieux que tout le monde, et a des idées brillantes pour améliorer le manuscrit. Il en va de la science comme des matches sportifs, par exemple, un match de foot France-Allemagne : est-ce que les spectateurs ne connaissent pas cent fois mieux les règles du jeu que les entraîneurs des différentes équipes, ou même, que l’arbitre lui-même ?

Bien sûr que dans son rapport, l’évaluateur doit partager ses idées avec les auteurs, et espérer que ceux-ci en tireront profit. Cependant, il est fondamental que l’évaluateur n’appuie pas son expertise et la décision rendue sur ses propres idées, mais sur la recherche telle qu’elle est présentée dans le manuscrit. Rien de plus.

Autre sujet brûlant au sein de la communauté scientifique : la notion de diversité et d’inclusivité. A-t-elle sa place dans le processus d’évaluation ? À titre personnel, je ne crois pas. Déjà, parce qu’à moins de connaître personnellement les auteurs, il est souvent impossible de déterminer leur genre en se basant uniquement sur leur prénom (en Allemagne, Andrea est un prénom féminin, mais en Italie, c’est masculin ; et quid d’un(e) Italien(ne) qui travaille en Allemagne ?). Ensuite, parce qu’on se demande bien en quoi le sexe ou le genre d’un(e) chercheur(-euse) peut avoir un impact sur la qualité de la recherche présentée… De mon côté, je n’ai repéré aucune corrélation pour l’instant ! Il en va de même pour l’ethnicité des auteurs.

En revanche, l’établissement d’affiliation est souvent plus problématique. Compte-tenu du ratio bons manuscrits / mauvais manuscrits déjà soumis par des auteurs de l’université de Perpète-les-Oies, il est parfois difficile de rester entièrement neutre lorsqu’un nouvel article arrive.

Mais parce que les évaluateurs sont eux-mêmes des scientifiques, ils n’hésitent pas à se prendre eux-mêmes comme sujets d’étude, et à s’appliquer un regard critique. Les auteurs, évaluateurs et éditeurs sont avant tout des chercheurs, et à ce titre, ils ne sont (la plupart du temps) pas responsables des décisions politiques prises dans leur pays d’origine, ou des événements historiques des mille dernières années…

Qu’en est-il des sentiments personnels, et d’une éventuelle sympathie / antipathie pour les auteurs ? Bien entendu, nous autres scientifiques sommes avant tout des êtres humains. Pour peu que nous travaillions dans le même domaine, il n’est pas rare que nous nous connaissions, ou du moins, que nous connaissions les travaux des uns et des autres. Il est impossible de faire totalement abstraction de nos ressentis. Évidemment que nous sommes flattés si nos travaux sont cités, et que nous sommes mieux disposés envers nos héros scientifiques personnels, nos modèles absolus, ou des lauréats de prix Nobel. Mais nous sommes (et devrions être au maximum) conscients de ces problèmes humains. Pour ma part, je me sentirais prêt à refuser d’évaluer un manuscrit pour de telles raisons, surtout si je n’aime pas du tout un des auteurs (pour quelque raison que ce soit). Et cela sans regret, car le travail d’évaluateur est un travail bénévole, sans aucune compensation financière : c’est grâce à cela que l’on peut rester indépendant et objectif.

Ce ne sont certainement pas mes rapports rendus pour les Comptes Rendus Chimie qui financent mes vacances sur la côte d’Azur. Mais si j’ai envie d’aller y faire un séjour, c’est peut-être parce que les Comptes Rendus Chimie me donnent un aperçu positif de la France, et me rendent curieux de découvrir un pays dont l’ambassadeur pour la Chimie est toujours aussi jeune, sérieux et enthousiaste depuis 1835.

 

 

Ralph Puchta
Friedrich-Alexander-Universität, Erlangen, Allemagne

 

Ce billet a été rédigé par l’auteur en anglais, puis traduit en français par Justine Fabre. Sa version originale est disponible sur ce carnet.

---

Crédit pour l’illustration de couverture : Une examinatrice des National Institutes of Health évalue une proposition de subvention. Image fournie par le Center for Scientific Review (source). Domaine public.

---

---