Les Instituts de recherche en santé du Canada (IRSC) ont vécu beaucoup de revirements au cours du dernier mois. Après avoir lancé le premier concours pour l’attribution de subventions de fonctionnement sous le volet « Projet », tout était prêt pour démontrer que les nouveaux systèmes d’attribution de subventions et d’évaluation par les pairs étaient supérieurs aux anciens. J’étais partisan de ces changements audacieux, et j’ai écrit ce qui suit lorsqu’ils ont été annoncés :
« Permettez-moi de féliciter les IRSC pour l’audace dont ils ont fait preuve dans la réforme des programmes de subventions – en espérant que les changements seront tous adoptés. Faire le gros du travail à distance et incorporer des discussions tenues sur Internet représentent définitivement un moyen efficace d’économiser temps et énergie. Effectuer un tri parmi les demandes dès le début du processus aura deux résultats positifs : permettre aux candidats rejetés de se tourner vers d’autres sources de financement au plus tôt, et leur éviter de perdre du temps à préparer une proposition complète. Il n’est pas encore précisé quels critères permettront à une proposition d’éviter le couperet, et cette étape ne sera sûrement pas accueillie sans douleur lors des premiers concours […] »
J’aurais préféré ne pas avoir vu aussi juste en écrivant cette dernière remarque, car j’ai appris par la suite que le premier concours avait été une vraie farce. Le processus d’évaluation par les pairs effectué à distance a été particulièrement catastrophique. Les IRSC ont décidé de tenir un forum de discussion en ligne auquel devaient se joindre les évaluateurs et la discussion était dirigée par des animateurs virtuels. Une situation des plus aberrantes : il manquait des sections complètes d’évaluation, les animateurs virtuels étaient pourris, et l’incohérence la plus totale régnait dans l’évaluation des propositions. Holly Witteman a produit un charmant condensé de ces trois journées, qui a inspiré le titre de mon article en raison de son ridicule. Quel fiasco.
Le professeur Bill Stanford, avec qui j’ai parlé à ce moment-là, m’a relaté des faits assez troublants et, au désespoir, il a résumé ainsi la situation : « On a fait ce qu’on a pu, mais je crains que les meilleurs projets n’obtiennent pas de financement; le processus avait l’allure d’une loterie. » La piètre qualité des évaluations était l’un des aspects particulièrement décourageants. Les IRSC avaient pourtant promis que toutes les propositions, surtout pour les projets de nature interdisciplinaire, seraient confiées aux meilleurs évaluateurs possédant une expertise dans le domaine, et non pas aux meilleurs évaluateurs au sein du groupe chargé d’une demande particulière de subvention.
« Dans mon groupe, qui devait évaluer 14 projets, non seulement trois des évaluateurs n’avaient jamais fait d’évaluation, mais certains n’avaient aucune expertise dans le domaine (p. ex. des épidémiologistes cliniques et des bioinformaticiens évaluant un projet de science fondamentale sur la génomique structurelle du poisson-zèbre?!). Ils ont tout de même présenté des évaluations dans lesquelles ils ont soit fait l’éloge de projets mal conçus, soit dénigré des projets « exagérant leurs retombées pour la santé ». Contrairement à ce qui se fait dans les rencontres en personnes, les évaluateurs pouvaient aussi arrêter de répondre aux questions et aux suggestions, et parvenir à un résultat par consensus. Écoutez, je ne pourrais pas non plus évaluer un projet d’épidémiologie clinique. Ainsi, dans certains cas ce ne sont pas les évaluateurs qui sont à blâmer, mais les IRSC. »
Pour couronner le tout, un éclatant problème technique a donné lieu à la divulgation accidentelle des noms des évaluateurs. Un mois pour le moins difficile.
C’est alors que les scientifiques se sont insurgés – Jim Woodgett (Twitter) en tête, le groupe de délégués universitaires des IRSC ont écrit aux IRSC pour dénoncer ce processus bâclé. Galvanisés, les scientifiques ont exigé un changement, les IRSC ont capitulé (article en anglais seulement) et promis de réinstaurer le processus d’évaluation par les pairs en personne – alors que le président des IRSC Alain Beaudet donnait l’impression qu’il s’agissait d’une solution concertée :
« Il y a lieu de se réjouir, a-t-il déclaré, nous avons accompli quelque chose ensemble. » Puis, il a félicité les scientifiques pour leur soulèvement collectif.
Évidemment les choses auraient pu mieux se passer, mais dans la foulée de ce brouhaha d’attention médiatique, je crains que le milieu scientifique ne soit passé ici à côté du véritable enjeu. Le principal organisme de financement de la recherche en santé au Canada, les IRSC, a un taux d’attribution de subventions de 13 pour cent seulement. Je serais prêt à parier que les gens sont mécontents parce que leurs labos et les labos de leurs collègues n’ont pas reçu le financement dont ils ont un urgent besoin. Honnêtement, nous ne pouvons savoir si les décisions qui ont été prises cette année sont meilleures ou pires que celles d’avant, car les projets qui ont reçu du financement n’ont pas encore été mis en oeuvre. [Nota : Je me permets de rappeler au lecteur un article précédent (en anglais seulement) qui portait sur l’incapacité, dans le cadre du processus d’évaluation par les pairs, de faire la distinction entre les trois premiers percentiles et le vingtième.] Modifier la manière de procéder à l’évaluation n’apportera pas davantage d’argent dans les labos des scientifiques.
Au final, il y a peut-être un avantage à réduire le temps consacré à l’évaluation par les pairs en personne. Puisqu’il est extrêmement coûteux de réunir des centaines de scientifiques dans un endroit central pour procéder à l’évaluation de projets, effectuer un tri préalable à distance semble une solution raisonnable (à l’instar de nos voisins du Sud qui éliminent environ 50 pour cent des propositions avant même le début des discussions d’experts au NIH). Dans le cas qui nous concerne, l’erreur des IRSC a été d’abolir l’élément « en direct ». Déjà utilisés par nombre d’organismes de financement fédéraux (p. ex. au CRSH), les outils de vidéoconférence ou de téléconférence auraient été plus efficaces.
Mis à part les mécanismes d’évaluation, j’espère que les scientifiques auront la sagacité de voir au-delà de la débâcle de cette année, où le processus d’évaluation a de toute évidence échoué, et constateront que le cœur du problème ne se situe pas dans le nouveau système, mais plutôt dans le fait que les scientifiques peinent à maintenir leurs laboratoires en activité en raison des subventions de fonctionnement qui se font de plus en plus maigres et difficiles à obtenir. J’espère aussi que l’actuel gouvernement et ses deux ministres attitrés à la science nous écoutent : un taux de 13 pour cent, ce n’est tout simplement pas suffisant lorsque des centaines de projets jugés acceptables (par les évaluateurs) n’obtiennent aucun financement.