L’évaluation scientifique à livre ouvert?

Pendant des décennies, le « double aveugle » s’est imposé comme l’un des piliers de la publication scientifique. Dans ce modèle, ni les personnes auteures ni les évaluatrices ou évaluateurs ne connaissent mutuellement leur identité, un mécanisme conçu pour limiter les biais et juger les travaux sur leur valeur scientifique plutôt que sur la réputation de celles et ceux qui les signent. 

Ce processus, largement adopté à partir des années 1970, demeure aujourd’hui au cœur de la validation des connaissances scientifiques. Or, plusieurs acteurs du milieu commencent à en souligner les limites. Difficulté à recruter des évaluateurs, rapports expéditifs, anonymat parfois illusoire dans les domaines très spécialisés ou manque de transparence sur les décisions éditoriales alimentent une réflexion croissante sur l’avenir de l’évaluation par les pairs. 

C’est dans ce contexte que le Pôle Revues du Réseau Circé, un réseau soutenu par le Fonds de recherche du Québec (FRQ) qui accompagne les revues savantes dans la transition vers le libre accès immédiat selon le modèle diamant, a dévoilé un nouveau rapport lors du 93e Congrès de l’Acfas. Intitulé Rapport sur l’évaluation ouverte : l’évaluation par les pairs à l’heure de la science ouverte, le document explore différentes avenues inspirées de la science ouverte afin de rendre le processus d’évaluation plus transparent et, potentiellement, plus collaboratif.

Réalisé sous la direction scientifique de René Audet, professeur titulaire au Département de littérature, théâtre et cinéma de l’Université Laval, avec Anne-Marie Fortier, professeure agrégée au même département et Vincent Larivière, titulaire de la Chaire UNESCO sur la science ouverte, professeur titulaire à l’École de bibliothéconomie et des sciences de l’information de l’Université de Montréal, le rapport a été produit par Alexandra Michaud, Lucía Cespedes, Arilys Jia et Adrien Savard-Arseneault. Il s’appuie notamment sur un sondage mené auprès de plus de 700 revues québécoises et canadiennes, qui a recueilli 134 réponses, ainsi que sur une recension des pratiques déjà implantées dans certaines revues savantes.

Les fissures du modèle traditionnel

Pour M. Audet, le double aveugle a longtemps joué un rôle essentiel pour protéger l’intégrité scientifique et éviter que le prestige d’une chercheuse ou d’un chercheur influence le jugement porté sur un manuscrit. Mais après près d’un demi-siècle de pratique, certaines fragilités deviennent plus visibles.

Le premier problème est logistique : « La plupart des directions de revues savantes ont extrêmement de difficultés à recruter des évaluateurs et des évaluatrices », explique-t-il. Le travail d’évaluation exige du temps, demeure peu valorisé dans les carrières universitaires et repose largement sur une contribution invisible à la communauté scientifique.

À cela s’ajoute un problème de spécialisation croissante. Dans plusieurs domaines très pointus, trouver une personne possédant l’expertise requise devient difficile. Les directions de revue peuvent alors se tourner vers des collègues proches du champ, parfois même issus du réseau immédiat de recherche entourant le sujet étudié.

L’anonymat, principe central du double aveugle, apparaît aussi parfois plus théorique que réel. « Quand on est dans un domaine de spécialité relativement pointu, on jette un œil à la façon de procéder, au protocole, parfois à la façon d’écrire, et on devine qui a produit le manuscrit », explique René Audet. Dans certains secteurs, la promesse d’un jugement totalement détaché des personnes devient ainsi difficile à maintenir.

Une évaluation plus transparente

Plutôt que de proposer un abandon pur et simple du modèle existant, le rapport s’intéresse à différentes formes d’« évaluation ouverte », un terme parapluie regroupant plusieurs pratiques possibles.

Certaines consistent à dévoiler l’identité des personnes évaluatrices ou auteures. D’autres proposent de rendre publics les rapports d’évaluation, d’élargir le nombre de personnes pouvant commenter un manuscrit ou encore de permettre davantage d’interactions entre auteurs, autrices, évaluateurs et évaluatrices pendant le processus éditorial.

Pour M. Audet, ces pratiques répondent à un enjeu fondamental de la science ouverte, celui de la transparence.

Il affirme avoir vu des rapports parfois « extrêmement expéditifs », voire inutilement sévères. Certains commentaires peuvent être peu constructifs ou donner l’impression que des différends personnels se règlent à l’abri de l’anonymat. Publier les rapports ou rendre certaines étapes plus visibles pourrait ainsi contribuer à améliorer la qualité des échanges et à mieux faire comprendre le travail collectif derrière un article scientifique.

« Quand on lit un article scientifique, on voit le résultat final », souligne-t-il. Or, l’accès aux commentaires des évaluateurs permettrait de mieux comprendre ce qui a été modifié, négocié ou ajouté avant publication, notamment lorsqu’un angle mort est identifié dans un manuscrit ou qu’une demande de révision est jugée irréaliste.

Selon lui, cette approche permettrait aussi de mieux reconnaître un travail souvent invisible. L’évaluation par les pairs demeure essentielle au fonctionnement de la recherche, mais elle est rarement valorisée dans les trajectoires professionnelles universitaires.

Pas de recette universelle

L’ouverture du processus n’est toutefois pas sans risques. Rendre publiques les identités peut exposer certaines personnes à des rapports de pouvoir délicats. René Audet évoque par exemple le cas d’une doctorante ou d’un doctorant appelé à évaluer les travaux d’une figure dominante du domaine. « Est-ce qu’on fait évaluer un article […] par un doctorat en fin de parcours » lorsqu’il s’agit d’un chercheur influent et fortement subventionné, demande-t-il, rappelant que les hiérarchies universitaires demeurent très présentes.

Le rapport insiste donc sur un principe central, celui de l’adaptation. Les auteurs regroupent les pratiques observées en quatre grands volets, sans suggérer qu’ils doivent tous être implantés simultanément. Certaines disciplines pourraient privilégier une divulgation plus facile des identités, notamment dans certains secteurs des sciences et du génie, alors que les sciences sociales pourraient davantage bénéficier de formes élargies de participation ou de discussion collective autour des manuscrits.

Le sondage mené auprès des revues montre aussi une certaine prudence, voire une résistance. M. Audet parle d’une forme de « frousse » idéologique liée au fait de transformer des pratiques solidement installées dans des chaînes éditoriales déjà lourdes, chronophages et souvent sous-financées. Plusieurs directions de revue se demandent simplement comment ajouter de nouvelles étapes à un système qu’elles peinent déjà à faire fonctionner.

Une transformation plus large de la science

Au-delà du fonctionnement des revues, le débat reflète une évolution plus profonde du rapport à la science. L’évaluation ouverte s’inscrit dans une mouvance plus vaste de science ouverte qui défend un accès accru aux publications, aux données de recherche et aux processus permettant de valider les résultats scientifiques. Une science, résume M. Audet, moins enfermée dans une « tour d’ivoire » et davantage orientée vers la transparence, la reproductibilité et la collaboration.

Cela ne signifie pas, insiste-t-il, la disparition du regard critique. Les directions de revue et les équipes éditoriales conserveraient un rôle central d’arbitrage afin de limiter les conflits d’intérêts et de préserver la rigueur scientifique. « La collégialité est aussi un fondement de la science », rappelle-t-il.