Les universités accordent-elles trop d’importance aux évaluations de cours?

Selon certaines études, les évaluations de l’enseignement par les étudiants sont souvent mal conçues et mal utilisées. Mais les choses évoluent.

06 mars 2019

Lorsque Bob Uttl a obtenu son premier emploi de professeur adjoint en psychologie à l’Université de l’Oregon en 1999, tout semblait aller pour le mieux. Il publiait régulièrement et avait de bonnes relations avec les étudiants, même avec ceux qui étaient inscrits aux cours plus exigeants sur les méthodes de recherche et la psychométrie. « Certains étudiants réussissaient bien, et d’autres moins bien », se souvient-il.

Puis, tout a basculé. M. Uttl s’est vu refuser un poste permanent. Une étudiante suspendue de son cours pour malhonnêteté intellectuelle avait rédigé une lettre dans laquelle elle déclarait ne pas comprendre son accent (M. Uttl est originaire de la défunte Tchécoslovaquie). Dans une évaluation par les pairs, un collègue soutenait que M. Uttl avait déjà utilisé une taille de police démontrant du « mépris » envers ses étudiants (M. Uttl apprendrait plus tard que ce même collègue s’était opposé à son embauche). Le comité de permanence et de promotion a invoqué les notes obtenues aux évaluations par les étudiants comme motif de refus.

« Ma carrière s’est envolée en fumée », dit-il. Il a fait appel de cette décision, et un étudiant a lancé une pétition pour qu’il soit réintégré à son poste. La Cour fédérale lui a finalement donné raison en 2005, entre autres parce que l’Université n’a pas su expliquer pourquoi les résultats de ses éva luations, qui se situaient dans la moyenne, avaient été jugés insatisfaisants.

M. Uttl a donc été promu rétroactivement et a obtenu sa permanence, mais le mal avait été fait. Aucune université ne voulait l’embaucher, et son visa de travail américain a été révoqué. Il a finalement obtenu un poste de professeur au Japon, avant d’être embauché à temps partiel à Red Deer, en Alberta, un long trajet depuis sa résidence à Calgary, où son épouse canadienne travaillait. Heureusement, les choses ont fini par s’arranger. M. Uttl est maintenant professeur de psychologie à l’Université Mount Royal et il s’intéresse aux évaluations de l’enseignement par les étudiants dans le cadre de ses travaux de recherche.

Depuis plusieurs années, M. Uttl et d’autres professeurs estiment que les universités canadiennes accordent trop d’importance à ces évaluations (qui ont plusieurs appellations : sondages auprès des étudiants, évaluations de l’enseignement par les étudiants ou, simplement, évaluations de cours). Elles sont utilisées pour évaluer la situation dans les départements, réembaucher ou congédier des chargés de cours à temps partiel et orienter les décisions en matière de permanence et de promotion.

« Les études montrent depuis toujours que les évaluations faites par les étudiants doivent être utilisées en complément des évaluations par les pairs et de l’autoévaluation, elles ne doivent pas avoir trop de poids, explique Brad Wuetherick, directeur principal du Centre d’apprentissage et d’enseignement de l’Université Dalhousie. Malheureusement, les universités s’en contentent parce qu’elles se résument à des chiffres faciles à comprendre. »

Les études menées dans la dernière décennie ont de plus révélé de graves lacunes à cet égard : « Les évaluations ne mesurent pas l’efficacité de l’enseignement et elles expriment toutes sortes de préjugés », affirme M. Uttl. Heureusement, cette méthode qui réduit les compétences en enseignement à des notes fournies dans un questionnaire pourrait bientôt disparaître des universités canadiennes. En effet, une décision arbitrale rendue en juin dernier dans le cadre d’un litige opposant l’Association des professeurs de l’Université Ryerson et l’Université Ryerson appuie les affirmations de M. Uttl.

Selon l’arbitre William Kaplan, bien que les évaluations par les étudiants soient utiles pour brosser un portrait de l’expérience étudiante par rapport au cours et au professeur, elles ne constituent pas une mesure fiable et parfaite de l’efficacité de l’enseignement. Il a décrété que les évaluations des cours par les étudiants ne pouvaient plus servir à mesurer l’efficacité de l’enseignement aux fins d’une promotion ou de l’obtention d’un poste permanent, le cœur du problème.

À la suite de cet arrêt, les universités canadiennes envisagent de revoir leurs pratiques et leurs politiques de ressources humaines à l’égard des évaluations de l’enseignement dans l’espoir de redorer leur blason.

Photos par Paul Weeks.

Dans un passé pas si lointain, les professeurs enseignaient et les étudiants apprenaient (ou non). Les mauvais professeurs étaient parfois pointés du doigt et on leur montrait la sortie, mais beaucoup continuaient à faire de longs discours jusqu’à leur retraite.

Lorsque le concept de l’apprentissage axé sur les étudiants est apparu, ces derniers ont décidé de prendre en main leur éducation en utilisant les évaluations comme moyen officiel d’exprimer leur point de vue. Dans les années 1980, les universités ont lancé les premiers sondages auprès des étudiants. Au début des années 1990, les administrateurs ont normalisé les questions et les ont appliquées à l’ensemble du corps professoral.

Les professeurs qui s’opposaient à cette démarche se sont souvent heurtés aux réactions des étudiants. En 1994, alors qu’il était étudiant au premier cycle, M. Wuetherick a lui aussi milité pour l’adoption de cette pratique à l’Université de l’Alberta. « Nous voulions que l’opinion des étudiants soit prise au sérieux », dit-il

«L’intention première était admirable, affirme Gavan Watson, directeur du Centre pour l’innovation en matière d’enseignement et d’apprentissage et vice-recteur adjoint aux études, à l’enseignement et à l’apprentissage à l’Université Memorial. Les gens commençaient à comprendre l’importance de l’expérience des étudiants en classe. »

De son côté, le gouvernement exigeait une plus grande transparence des universités comme condition de financement. En ce sens, les évaluations des étudiants « répondaient au besoin accru de responsabilisation », affirme Jeff Tennant, professeur agrégé d’études françaises à l’Université Western, président du comité de négociation collective de l’Union des associations des professeurs des universités de l’Ontario (OCUFA) et membre de son groupe de travail sur les évaluations des enseignants par les étudiants.

L’intégration à grande échelle des évaluations a été favorisée par une méta-analyse réalisée en 1981 par Peter Cohen du Collège Dartmouth, qui confirmait la pertinence des évaluations par les étudiants pour mesurer l’efficacité de l’enseignement. Les années suivantes, d’autres études sont venues corroborer les résultats obtenus par M. Cohen, raconte M. Uttl. À mesure que les universités ont augmenté leur puissance informatique et qu’elles se sont intéressées aux données, elles ont commencé à produire des tableaux de données et des chiffres faciles à utiliser, soulevant ainsi les premières préoccupations.

Sophie Quigley, professeure en informatique à l’Université Ryerson ayant déposé le grief au nom de l’association des professeurs en 2009, affirme que les préoccupations liées aux évaluations de l’enseignement par les étudiants existaient depuis longtemps au sein de l’Université, mais que la situation s’est détériorée en 2007. « L’Université Ryerson a instauré un système d’évaluation en ligne, utilisé très différemment pour introduire de nouvelles moyennes. »

Le sondage repose sur l’échelle de Likert, et les étudiants doivent donner leur avis sur des énoncés comme « L’enseignant maîtrise le sujet du cours » (selon une note allant de 1 à 5), ce qui permet ensuite de calculer une moyenne. D’après Mme Quigley, ces chiffres sont indicatifs et ne devraient pas servir à établir des moyennes.

L’Université Ryerson pouvait aussi extraire des données plus complexes à la suite des évaluations, mais elles étaient plus difficiles à interpréter que les moyennes naturellement appréciées. Mme Quigley et ses collègues ont alors constaté que les universités se fiaient à ces moyennes imparfaites pour classer les départements et orienter les décisions relatives à la titularisation.

Dans bien des cas, les professeurs voyaient leurs compétences réduites à de simples chiffres et comparées à des moyennes souvent arbitraires et rarement normalisées. Ceux dont le résultat était inférieur à une certaine moyenne étaient considérés comme de mauvais professeurs. « Vos compétences en enseignement étaient réduites à une simple note. Des gens ont été congédiés et ont vu leurs carrières détruites en raison de ces évaluations », déplore M. Uttl.

Par ailleurs, de nouvelles études montrent que les évaluations faites par les étudiants ne sont pas un baromètre pour mesurer l’efficacité de l’enseignement. « De nombreuses études réalisées à l’origine ont été menées par des chercheurs affiliés aux entreprises qui fournissaient les questionnaires aux universités », affirme M. Uttl. Sans compter que les échantillons étaient souvent trop petits pour montrer une corrélation statistique significative avec la réussite des étudiants. Dans un rapport publié en 2017, M. Uttl a reproduit ces études en tenant compte de leur portée ainsi que des compétences et habiletés préalables des participants. Il n’a observé aucun lien statistique significatif entre la note obtenue aux évaluations et la réussite des étudiants.

Il a également constaté que les classes nombreuses et les cours donnés à des moments inopportuns ou au début du premier cycle étaient moins bien notés que ceux en fin de premier cycle et aux cycles supérieurs. En outre, dans une étude menée en 2017, M. Uttl a démontré un lien entre les cours quantitatifs et les notes plus faibles. D’autres études ont montré que les cours obligatoires obtenaient de moins bons résultats que les cours à option. « Souvent, les cours exigeants portent leurs fruits à plus long terme. Il faut prendre du recul pour saisir la valeur d’un apprentissage différent », affirme M. Watson, de l’Université Memorial.

Le sexe, l’âge (trop proche de celui des étudiants ou encore très éloigné), l’apparence, l’ethnie et l’accent d’un enseignant sont des facteurs qui ont des répercussions sur les résultats. Toutefois, leur incidence est plutôt faible, précise M. Wuetherick. « C’est le nombre d’élèves et le niveau qui expliquent la majeure partie des écarts observés », dit-il.

Néanmoins, les recherches plus poussées portent à croire qu’il y a bien d’autres facteurs qui entrent en jeu dans le choix des étudiants au moment des évaluations. M. Uttl croit, par exemple, qu’un étudiant qui a bien assimilé la matière du cours préalable aura une meilleure perception du cours subséquent, et vice-versa. « Si un étudiant réussit de justesse un cours de statistique, il risque d’obtenir de mauvaises notes au cours suivant », dit-il.

Lors d’une récente étude menée en Allemagne, les chercheurs ont observé un lien entre les résultats obtenus aux évaluations et la distribution de biscuits au chocolat ou au cours du trimestre. Les auteurs affirment, apparemment sans ironie, que les résultats remettent en question la validité des évaluations de l’enseignement par les étudiants et leur utilisation élargie pour orienter les décisions visant le corps professoral.

Par ailleurs, de nombreuses évaluations font fi des pratiques exemplaires et comprennent des questions mal formulées ou inappropriées. Par exemple, les chargés de cours de l’Université Ryerson ont demandé à la direction de retirer une question sur « l’efficacité » du professeur, un concept nébuleux. Les étudiants sont souvent amenés à se prononcer sur la « maîtrise du sujet » du chargé de cours. Il s’agit d’une question manifestement inappropriée, surtout chez les étudiants au premier cycle, dit M. Uttl. « Les étudiants ne sauraient répondre à cette question, puisqu’ils ne connaissent pas la matière », affirme-t-il.

Sans compter que le niveau de participation aux évaluations est souvent trop faible. Selon les études, 80 pour cent des étudiants répondent aux questionnaires papier, contre 60 pour cent ou moins pour la version en ligne. L’Université de Toronto rapporte que le taux de réponse aux sondages en ligne est d’environ 40 pour cent. Celui de l’Université Ryerson oscillait autour de 60 pour cent, mais a progressivement chuté à 20 pour cent après la mise en ligne des évaluations, dit Mme Quigley. « Ils perdent leur raison d’être », dit-elle.


La décision arbitrale rendue en juin a déjà eu des répercussions. Dans un rapport publié l’automne dernier, l’Alliance des étudiants du premier cycle de l’Ontario a demandé au Conseil ontarien de la qualité de l’enseignement supérieur d’établir des normes pour les évaluations de l’enseignement par les étudiants. Elle demande aussi aux universités de tenir compte des évaluations par les pairs pour les décisions relatives à l’embauche et aux promotions.

Les idées exprimées par les étudiants lors de l’assemblée générale ont nourri le rapport rédigé par Kathryn Kettle, vice-présidente, politiques et promotion d’intérêts, Association générale des étudiants de l’Université Laurentienne. « Les étudiants sont très préoccupés par cet enjeu et par les distorsions inhérentes à ces sondages », dit-elle.

Quant au rapport sur le sujet de M. Tennant et du groupe de travail de l’OCUFA, il a été rendu public en février, peu de temps avant l’impression d’Affaires universitaires. Ce rapport conclut que les questionnaires sur les cours et l’enseignement pour les étudiants (le terme privilégié par l’organisme) « ne reflètent pas précisément la qualité de l’enseignement » et ne devraient servir qu’aux fins de formation, et non dans le cadre d’évaluations du rendement sommatives ou indépendantes.

Avant même l’affaire Ryerson, de nombreuses universités cherchaient déjà des solutions au problème. « Si vous accordez de l’importance à l’opinion des étudiants sur leur expérience, vous devez leur donner un moyen d’expression efficace », souligne Susan McCahan, vice-provost, programmes d’études et innovation aux études de premier cycle à l’Université de Toronto. L’établissement a lancé une nouvelle évaluation de cours comprenant six questions standards rédigées conformément aux pratiques exemplaires, et deux questions à court développement. Les facultés et les départements sont libres d’y ajouter d’autres questions.

De même, l’Université Western a adopté un nouveau système qui permet aux enseignants de choisir deux questions supplémentaires parmi une liste de 45 questions réparties en neuf catégories portant sur l’utilisation de la technologie, les cours en ligne, les tutoriels et les laboratoires. Selon M. Watson, qui a participé à l’élaboration du nouveau système avant de se joindre à l’Université Memorial en 2018, les professeurs devraient obtenir les renseignements dont, en théorie, ils ont besoin.

L’Université Western a également créé un portail Web appelé Your Feedback afin d’aider les étudiants, les chargés de cours et le personnel de l’Université à mieux comprendre les questionnaires. « Nous avons profité de l’occasion pour clarifier certaines ambiguïtés », souligne M. Watson.

De nombreuses universités améliorent aussi leur manière d’utiliser les données recueillies. Depuis 2012, l’Université de Toronto recueille les résultats des évaluations dans une immense base de données qui contient aujourd’hui des centaines de milliers de données. L’Université a exploité en partie ces données dans une étude de validation en 2018 afin de suivre comment certains facteurs tels que la taille des classes, le sexe et l’année d’étude se répercutaient sur les résultats. Il en est ressorti que la taille des classes avait l’incidence la plus marquée sur les résultats. L’Université prévoit ainsi créer un outil éducatif destiné entre autres aux comités de permanence et de promotion. « Nous voulons aider les gens à interpréter les résultats [des sondages] de manière plus nuancée », souligne Mme McCahan.

M. Wuetherick analyse lui aussi les données provenant des évaluations à l’Université Dalhousie afin de mieux comprendre les facteurs qui se répercutent sur les résultats. Il estime impossible de les éliminer complètement. Son équipe élabore pour cet été un cadre de travail afin d’aider les comités de permanence et de promotion à orienter leurs décisions en tenant compte de l’ensemble des évaluations, y compris les évaluations par les pairs et les dossiers d’enseignement. « Il est temps de mettre fin au laisser-aller collectif qui mine le processus d’évaluation de l’enseigne -ment », déclare-t-il.

Le défi est de taille : il faut guider les chargés de cours dans la préparation de dossiers complets et efficaces, puis aider les administrateurs à interpréter correctement les données. À cet égard, l’Institut Taylor d’enseignement et d’apprentissage de l’Université de Calgary a conçu un document de 50 pages intitulé Teaching Philosophies and Teaching Dossiers Guide.

M. Watson croit qu’il faudra encore du temps pour recueillir l’information nécessaire et comprendre comment définir l’efficacité. Les universités s’affairent d’ici là à trouver des moyens plus perfectionnés de mesurer et d’illustrer l’efficacité, ce qui soulève d’autres questions. « La définition de l’enseignement efficace varie grandement d’un établissement à l’autre », souligne M. Uttl.

Les universités doivent en normaliser la définition, accepter ce qui peut et ne peut pas être mesuré et comprendre les distorsions inhérentes au processus d’évaluation de l’enseignement. Elles doivent le faire dès maintenant, avant que ne surviennent d’autres problèmes juridiques ou en matière de droits de la personne (un recours collectif intenté dans un proche avenir n’étonnerait pas M. Uttl). M. Watson ajoute : « Étant donné la complexité de l’enseignement et de l’apprentissage, les universités doivent recueillir une grande variété de données et d’éléments de preuve pour brosser un portrait exact de l’expérience en classe. »

This site is registered on wpml.org as a development site. Switch to a production site key to remove this banner.