La Déclaration de San Francisco sur l’évaluation de la recherche gagne du terrain au Canada

En proposant une refonte des critères conventionnels d’évaluation des dossiers de candidature, la Déclaration invite le milieu de la recherche à la réflexion.

21 avril 2021
Man making Research Assessment

Le facteur d’impact des revues savantes est un critère largement utilisé par le milieu de la recherche, peut-être même trop. C’est en tout cas ce que reconnaissent les 2 185 organismes de partout dans le monde qui ont endossé la Déclaration de San Francisco sur l’évaluation de la recherche (DORA) depuis son adoption par l’American Society for Cell Biology, à l’issue d’un remue-méninges qui a eu lieu lors de son congrès annuel en 2012.

Ce faisant, ces organismes de financement, établissements universitaires et autres éditeurs de littérature scientifique signataires reconnais-sent l’urgence « d’améliorer les méthodes d’évaluation des résultats de la recherche [savante]. » En outre, ils s’engagent à se conformer à une série de recommandations qui s’articulent autour de l’idée de « ne pas utiliser les indicateurs basés sur les revues […] comme succédané d’appréciation de la qualité des articles de recherche individuels. »

Différents acteurs de l’écosystème de la recherche du Canada et du Québec ont récemment adhéré à la DORA. Les principaux organismes de financement de la recherche du gouvernement du Canada l’ont signé à l’automne 2019, suivi quelques mois plus tard, en juin 2020, par les Fonds de recherche du Québec (FRQ). « Nous travaillons depuis à la mise en œuvre de ces grands principes. La réflexion est amorcée, mais rien n’est encore effectif », précise Emmanuelle Lévesque, conseillère en éthique de la recherche au sein des FRQ.

La situation est sensiblement la même du côté des établissements universitaires au pays. Les rares universités à avoir paraphé la DORA l’ont fait dans les derniers mois. C’est entre autres le cas de l’École de technologie supérieure (ÉTS), une constituante du réseau de l’Université du Québec. « Notre volonté est de redonner leurs lettres de noblesse à des aspects souvent délaissés de la recherche, comme les retombées sociales. Nous en sommes à réviser nos grilles d’évaluation pour les embauches, les permanences, l’attribution de chaires de recherche », souligne Ghyslain Gagnon, doyen de la recherche à l’ÉTS.

Un idéal à atteindre

La DORA est cependant dénuée de mécanismes contraignants. Par conséquent, on peut très bien y donner son appui tout en continuant à accorder une importance disproportionnée à un indice comme celui de Hirsch, qui quantifie la productivité d’un scientifique en fonction du nombre de citations de ses publications. Par exemple, l’Université de Liverpool, signataire de la DORA, a récemment fait la manchette pour avoir menacé de renvoi 47 de ses chercheurs à l’impact jugé trop faible.

« Les principes de la DORA constituent un idéal à atteindre; on ne peut pas être contre la vertu! Or, bon nombre de ses signataires continuent à avoir des pratiques qui vont à l’encontre des principes mêmes de la déclaration », affirme Vincent Larivière, professeur à l’École de bibliothéconomie et des sciences de l’information de l’Université de Montréal et titulaire de la Chaire de recherche du Canada sur les transformations de la communication savante.

Ainsi, Elsevier, l’un des plus gros éditeurs mondiaux de littérature scientifique, a beau appuyer la DORA et s’être de fait engagé à « réduire considérablement l’importance accordée au facteur d’impact comme outil de promotion », ses publications continuent à le mettre ouvertement de l’avant. « Dans beaucoup de cas, s’affilier à la DORA relève malheureusement de l’exercice de relations publiques plutôt que d’un réel changement de pratiques », tranche le chercheur.

M. Larivière s’interroge par ailleurs sur la pertinence de la DORA au Canada et au Québec, où les facteurs d’impact ne sont pas vraiment institutionnalisés comme ils le sont ailleurs. « Contrairement à bon nombre de pays comme la Chine et les Pays-Bas, nous continuons à accorder une grande importance à l’évaluation par les pairs. Nos politiques d’évaluation sont encore somme toute assez qualitatives plutôt que quantitatives », indique-t-il.

Diversité, inclusion et équité

Le véritable impact de la DORA se trouve sans doute ailleurs, du côté de la promotion accrue de la diversité, de l’inclusion et de l’équité en science. Parce qu’elle force une refonte des critères conventionnels d’évaluation des dossiers de candidature soumis aux diverses instances de recherche, la déclaration atténuerait les biais qui favorisent traditionnellement certains groupes de chercheurs. Cela aurait d’ailleurs pour effet d’améliorer la qualité globale de la production scientifique, comme le laisse entendre une étude publiée dans The Lancet en 2019 et cosignée par M. Larivière.

Une analyse à laquelle souscrit Mme Lévesque, des FRQ. « Les facteurs d’impact promeuvent une vision très eurocentriste de la science. La DORA a le mérite de changer le prisme au travers duquel on analyse la recherche », observe-t-elle. Même son de cloche du côté de l’ÉTS, qui a d’ailleurs lancé l’automne dernier un nouveau programme de chaire de recherche en génie qui promeut la résilience et la détermination face à l’adversité – ce seul critère compte pour 40 pour cent dans le dossier d’évaluation des candidats, comparativement à celui d’excellence qui compte pour 30 pour cent.

« Si tu cuisines toujours la même recette, c’est évident que tu vas toujours obtenir le même gâteau, illustre M. Gagnon, de l’ÉTS. C’est la même chose en recherche : en accordant plus d’importance à certains critères d’évaluation plutôt que d’autres, habituellement reconnus par le milieu universitaire, on ouvre la porte à une diversification du corps professoral. » Les premiers titulaires internes de ce nouveau programme ont été sélectionnés en décembre dernier. L’identité des titulaires des chaires de recherche qui seront attribuées à des candidatures de l’externe sera connue sous peu.

This site is registered on wpml.org as a development site. Switch to a production site key to remove this banner.