Modifions la manière dont les subventions de recherche sont accordées

Je n’ai pas réussi à obtenir la subvention Savoir du Conseil de recherche en sciences humaines (CRSH) cette année. J’étais déçu sans être surpris, puisque près de 80 pour cent des candidats n’ont pas réussi à l’obtenir non plus cette année. Les chercheurs doivent souvent composer avec l’échec dans le cadre de leurs publications et de leurs demandes de subventions. Cela fait partie du métier. Toutefois, dans le cas présent, c’est la manière dont j’ai échoué et ce que cela révèle du processus d’évaluation par les pairs au CRSH qui mérite d’être examiné.

Comme bien d’autres, j’ai trouvé le processus de demande particulièrement long. La demande devait comporter la proposition de projet en versions intégrale et abrégée, entrecoupées de pages de formulaire et de nombreuses autres exigences, ce qui, au compte final, totalisait 40 pages et entre 70 et 80 heures de temps de préparation.

Tout au long du processus je me suis interrogé sur la raison d’être de tout cela. Depuis l’obtention de ma dernière subvention du CRSH, j’ai obtenu du soutien pour mes travaux grâce à des bourses et des subventions de recherche internes, sans passer 70 heures à remplir des demandes. Les étudiants aux cycles supérieurs que je supervise sont soutenus par la faculté, et non par les subventions de recherche de leur superviseur. J’aurais pu éviter de me prêter à cet exercice, mais je m’y suis soumis pour deux raisons.

D’abord, mon université, comme bien d’autres, associe maintenant le financement interne de la recherche aux demandes présentées au CRSH et aux organismes subventionnaires. Il est donc impossible d’obtenir du financement interne sans avoir au préalable présenté une demande au CRSH.

Ensuite, c’est surtout parce que ma recherche, qui consistait à faire un relevé historique du tabagisme dans les médias jeunesse après 1945, nécessitait beaucoup de travail. Il fallait faire le dépouillement de films, d’émissions de télé, de bandes dessinées et de magazines pour adolescents, ce qui exigeait l’embauche d’assistants de recherche et du financement pour les visites aux archives. Les compagnies de tabac mêlées à des litiges avaient, pendant des années, embauché des historiens pour faire ce genre de travail. Il me semblait qu’il était temps qu’un universitaire indépendant s’y mette.

Comme le CRSH semblait la meilleure option, j’ai passé le plus clair des mois d’août et de septembre à élaborer des plans de formation, à justifier des budgets et à tenter de me débrouiller avec un système capricieux.

En avril de l’année suivante, j’ai appris que ma demande avait été refusée. Six semaines plus tard le CRSH me faisait parvenir un paquet contenant deux rapports d’évaluateurs externes anonymes, fort probablement des experts de l’histoire du tabagisme, qui faisaient tous deux un éloge sans réserve au projet (25 des 26 points accordés étaient dans la plus haute catégorie). Je n’ai jamais reçu d’évaluation plus positive en 15 ans de carrière universitaire.

Sur une autre page se trouvait la note que m’accordait le comité de sélection du CRSH, qui se trouvait dans les 35 pour cent inférieurs des notes accordées. Cette note ne provenait pas de l’ensemble des membres du comité; le CRSH utilise une méthode de triage pour rendre une décision. Initialement, toutes les demandes sont soumises à deux membres du comité. Si, à cette étape, le pourcentage combiné des deux évaluateurs se retrouve dans les 35 pour cent inférieurs des notes, la partie est terminée; la demande n’est même pas soumise à l’ensemble du comité.

C’est difficile à croire, mais aucun commentaire n’explique cette note, ni de la part des deux membres du comité ni de la part du CRSH. Faible dossier de publication? Budget gonflé? Projet trop ambitieux? Je n’en ai aucune idée. La politique de l’organisme veut qu’aucun commentaire écrit ne soit envoyé au « Groupe des 35 pour cent ».

J’ai communiqué avec un agent de programme au CRSH afin de savoir si on pouvait au moins m’envoyer les notes des deux membres du comité qui ont lu ma demande. J’ai reçu cette réponse : « En ce qui concerne les notes des membres du comité, on leur demande de les détruire immédiatement après la réunion. La clause de conflit d’intérêts qu’ils signent stipule qu’ils ne doivent pas discuter des demandes ni garder de notes écrites. Ces notes ne sont donc pas conservées. »

Qu’en est-il alors de l’écart entre les notes des évaluations externes et la note que j’ai obtenu? « Cela arrive », m’a-t-on répondu. Une note incroyablement faible accordée par un seul membre du comité qui n’est pas tenu de fournir de preuve écrite peut-elle effectivement saboter une demande? C’est peu probable, car les « membres des comités prennent leurs responsabilités au sérieux ».

Ma demande faisait mention de quatre historiens dans quatre universités canadiennes qui avaient travaillé pour des compagnies de tabac, et parfois même témoigné à titre d’experts en cour. Deux des membres du comité du CRSH étaient des collègues de ces historiens. J’en ai donc avisé le CRSH avant l’évaluation, afin de savoir si une clause de conflit d’intérêts les empêchait d’évaluer ma demande. On m’a dit par la suite qu’il n’y avait pas eu de conflit d’intérêts dans l’évaluation de ma demande.

C’est peut-être vrai, mais comment savoir? La politique du CRSH empêche de divulguer l’identité des membres des comités qui évaluent les dossiers à l’étape du triage, et ces derniers ne sont pas tenus de justifier par écrit les notes qu’ils accordent. Ils ne sont pas tenus non plus de prendre en considération les évaluations externes. Le CRSH se vante de son engagement à l’égard du processus d’évaluation par les pairs, mais de quelle forme d’évaluation par les pairs s’agit-il? Imaginez une revue évaluée par les pairs dont l’éditeur aurait demandé des évaluations externes s’avérant très positives, mais l’éditeur déciderait ensuite de rejeter carrément les évaluations sans fournir d’explication à l’auteur. Si cette pratique se reproduisait régulièrement, combien de temps la revue garderait-elle sa crédibilité?

Qu’en est-il du processus d’appel du CRSH? Pour s’en prévaloir, il faut prouver que des erreurs de procédures ont été commises au cours du processus de décision. Or les procédures du CRSH permettent ce qui est présenté ici comme étant problématique : l’évaluation en triage, les évaluations externes à prendre ou à laisser, et l’absence de commentaire dans presque quatre demandes sur 10.

Quelle est la solution? Le CRSH estime que ses principaux problèmes sont dus à l’insuffisance de fonds pour la recherche et au trop grand nombre de demandes. Ce qui donne lieu à l’étape du triage et à l’absence de commentaires écrits. Il existe sûrement de meilleures façons de procéder. Le nombre de candidats pourrait être réduit en demandant, par exemple, à toutes les personnes dont les noms de famille commencent par les lettres de A à M de présenter une demande les années impaires, ou encore de procéder à une première sélection dans l’établissement d’enseignement même, comme c’est le cas pour le programme de bourses de doctorat du CRSH.

De manière plus fondamentale, le CRSH pourrait s’inspirer du programme des Bourses d’études supérieures de l’Ontario et fournir le financement directement aux universités et aux collèges qui se chargeraient d’administrer les concours pour certaines subventions. Le CRSH pourrait continuer d’établir les priorités en matière de financement de la recherche, mais au lieu d’attribuer les subventions, l’organisme pourrait, à intervalles réguliers de trois ou cinq ans, évaluer les résultats de recherche des titulaires de subventions et de leur établissement. Cette méthode allégerait le fardeau administratif et libérerait des fonds qui pourraient être accordés aux programmes de recherche sous-financés.

Sur son site Web, le CRSH clame son adhésion à l’évaluation du mérite et à la manière transparente, approfondie et efficace d’allouer les fonds publics à la recherche. Si l’expérience que j’ai vécue dans le cadre de ce processus d’évaluation du mérite est généralisée, alors il est peut-être temps de revoir le mandat et les pratiques du CRSH.

Daniel Robinson est historien et professeur agrégé au progamme d’études des médias, à la faculté de l’information et des médias de l’Université Western.