Le tiers des évaluateurs et évaluatrices des Instituts de recherche en santé du Canada (IRSC) ont soumis d’excellentes évaluations, alors que seulement un.e sur 20 a produit une évaluation inadéquate, selon une analyse des trois premières années du processus d’assurance de la qualité des évaluations (AQE) de l’organisme subventionnaire.
« Dans l’ensemble, la qualité des évaluations par les pairs dans le système des IRSC est plutôt bonne », souligne Clare Ardern, physiothérapeute à l’Université de la Colombie-Britannique et pilote de l’analyse publiée dans la revue FACETS en août. « C’est important que les personnes qui présentent des demandes le sachent et que le système leur inspire confiance. »
Déployé en 2019, le processus d’AQE fait partie des initiatives des IRSC visant à professionnaliser l’évaluation par les pairs et à offrir un soutien accru aux évaluateurs et évaluatrices. Tous les concours d’octroi de subventions des IRSC font partie du programme. « Nous octroyons environ 1,3 milliard de dollars annuellement à l’issue des évaluations par les pairs; nous voulons nous assurer que le processus fonctionne de façon optimale », explique Adrian Mota, vice-président associé, Programmes de recherche – Opérations aux IRSC.
Dans le cadre de l’analyse du programme, Mme Ardern et ses collègues ont passé au peigne fin plus de 4 000 évaluations effectuées entre 2019 et 2021. Puisque l’analyse ne couvrait que trois années, il était difficile de déterminer si l’on observait une amélioration globale des évaluations par les pairs pour les demandes de subventions, mais Mme Ardern a indiqué qu’il n’y avait pas de baisse ou de hausse notables de la qualité dans l’intervalle en question.
« Nous avons remarqué qu’une vaste majorité des évaluateurs et évaluatrices répondaient aux attentes, a-t-elle affirmé. En tant que demandeuse de subvention, je peux, en prenant en considération les résultats de l’analyse, avoir confiance dans le fait que le processus remplit le mandat attendu par les chercheurs et chercheuses. »
Après chaque rencontre d’un comité d’évaluation par les pairs, la personne assurant la présidence du comité, les responsables scientifiques et le personnel des IRSC remplissent une évaluation standard pour chaque évaluateur ou évaluatrice. Leur travail est évalué en fonction de la qualité de leurs évaluations écrites, de leur participation à la réunion et de leur promptitude, notamment pour la soumission des évaluations ou des formulaires sur les conflits d’intérêts.
« L’idée n’est pas de vérifier si l’opinion scientifique est juste, mais nous avons des critères pour nos concours et des normes pour la rétroaction que nous fournissons aux demandeurs et demandeuses afin de leur permettre de comprendre ce qui ressort de l’évaluation de leur demande et d’avoir confiance dans le fait qu’elle a été réalisée par des spécialistes avec équité et transparence », explique M. Mota.
Le processus permet de repérer les personnes qui se démarquent et qui pourraient être candidates à la présidence de comités, à titre de responsable scientifique ou de mentores, mais aussi celles qui ne satisfont pas aux exigences du rôle. En fonction des problèmes soulevés dans l’évaluation, les IRSC peuvent intervenir de diverses façons, qu’il s’agisse d’envoyer une lettre expliquant le problème ou d’offrir davantage de formation.
« Nous cherchons à voir le tout positivement, le but n’étant pas d’expulser ces personnes, mais plutôt de rehausser la qualité de leur travail, souligne M. Mota. Toutefois, il arrive que l’on demande à certaines personnes de ne plus participer à une évaluation par les pairs. »
L’analyse permet aussi d’alimenter le débat autour du retour possible en présentiel des réunions d’évaluation des IRSC, qui ont lieu en ligne depuis la pandémie. Mme Ardern n’a pas observé de différence notable entre les résultats des concours dont les rencontres ont eu lieu en personne et ceux dont les rencontres se sont tenues en ligne. « Ce n’est pas définitif, mais nous n’observons pas de changement significatif des mesures d’assurance de qualité. »
Les IRSC ne sont pas le seul organisme subventionnaire qui examine la qualité des évaluations par les pairs. En effet, un rapport de la Fondation européenne de la science indique qu’il s’agit d’une pratique courante pour au moins 25 organismes et M. Mota explique que plusieurs se consultent et s’inspirent des systèmes des autres. Selon Mme Ardern, peu d’organismes subventionnaires, outre les IRSC, publient des renseignements sur leurs évaluations. « On peut féliciter les IRSC d’avoir mis en place un processus aussi rigoureux. Tout ce qui apporte plus de transparence dans le système est positif », estime-t-elle.