Un jour de novembre 2011, 15 boîtes sont arrivées au Centre Bahen de l’Université de Toronto. Elles contenaient 5 000 examens de 16 pages du Défi ouvert canadien de mathématiques (DOCM), et James Colliander était chargé de leur correction.
Il a commandé de la pizza et rassemblé 100 correcteurs – professeurs, chercheurs postdoctoraux, étudiants aux cycles supérieurs et au premier cycle – issus principalement du département de mathématiques de l’Université, où il enseigne. Ensemble, ils ont consacré huit heures à cette tâche ardue et bénévole. Les correcteurs devaient tourner et retourner les pages, se passer sans cesse les cahiers d’examen. « C’était un cauchemar logistique », se rappelle M. Colliander.
De cette pénible journée est pourtant née une idée : et si cette forme de correction collective, très courante pour les imposants examens de mathématiques et de sciences, pouvait se faire en ligne? On n’aurait plus besoin de corriger une section à la fois. Plus besoin de stylos rouges ni de pizza.
M. Colliander s’est allié au mathématicien et développeur de logiciels Martin Muñoz afin de créer Crowdmark, une plateforme en ligne de correction collaborative. En novembre 2012, il a de nouveau dirigé la correction du DOCM, invitant 150 correcteurs de partout au Canada à se connecter à la version bêta de Crowdmark. Sa nouvelle équipe a corrigé le même nombre de copies en 340 heures-personnes, contre 700 l’année précédente.
À présent, Crowdmark est utilisée dans des établissements d’enseignement de 36 pays, dont 25 universités. La plateforme permet à des équipes de toutes les disciplines de numériser des examens pour ensuite les corriger conjointement. D’autres fonctions permettent au directeur du cours de surveiller l’exactitude des corrections, de repérer la tricherie et de modifier les notes rapidement au besoin.
Ce nouveau logiciel n’est toutefois qu’une des innovations qui font évoluer la correction à l’université. Il succède à d’autres avancées qui ont permis la correction automatisée d’examens à choix multiples, sans intervention humaine ou presque. Aujourd’hui, certains professeurs envisagent même de délaisser complètement les examens papier.
Mark Gierl est professeur de psychologie de l’éducation et titulaire de la Chaire de recherche du Canada en mesure psychopédagogique à l’Université de l’Alberta où il étudie et utilise les examens numériques qui, selon lui, sont appelés à devenir la norme. Il soutient que ces examens feraient économiser des millions de dollars aux établissements d’enseignement, où l’utilisation du papier représente les deux tiers du budget consacré à l’évaluation.
On peut également intégrer aux examens numériques des questions en plusieurs parties, des menus déroulants, des cartes à dessiner ou à manipuler, des vidéos, des extraits sonores, des graphiques et d’autres éléments visuels. « L’ordinateur est un outil très puissant », rappelle M. Gierl. À son sens, reproduire sur ordinateur le format de l’examen papier « annule en quelque sorte les avantages de la mise en ligne ». Le logiciel corrigera en fonction des données entrées par l’étudiant.
Les algorithmes permettent de corriger à peu près tous les travaux et avec brio. Pour évaluer l’efficacité des plateformes d’examens informatiques sur le marché, en 2012, la Fondation Hewlett a offert un prix de 60 000 $ pour le logiciel d’évaluation automatisée qui noterait de la façon la plus fiable des dissertations avec des questions à court développement. Résultat : les neuf logiciels en lice ont égalé ou dépassé le degré d’exactitude des correcteurs humains.
M. Gierl ne s’en étonne pas. « Ce n’est qu’une infime partie des capacités actuelles des ordinateurs », ajoute-t-il. Malgré tout, les universités hésitent à recourir aux ordinateurs pour corriger des examens ou des dissertations, même si les études prouvent qu’ils en sont capables. « Nous préférons confier la correction des dissertations à des humains », explique M. Gierl.
Au même moment, la volonté d’accélérer la correction suscite de l’intérêt pour l’évaluation par les pairs chez les étudiants qui, en théorie, permet au professeur d’offrir une rétroaction plus fréquente à ses étudiants. « Les étudiants croient que l’évaluation par les pairs ne sert qu’à faciliter la tâche du professeur, mais en fait elle contribue à mettre la barre plus haute en classe. On assiste à un méta-apprentissage lorsqu’un étudiant lit le travail d’un collègue », explique Jason Thompson, un spécialiste en technologie pédagogique à l’Université de Guelph qui collabore à l’exploitation d’un outil en ligne d’évaluation par les pairs appelé PEAR.
Il demeure que le travail effectué par les pairs prend du temps et présente de nombreux pièges potentiels : par exemple, les étudiants peuvent formuler des commentaires peu utiles, ou simplement attribuer une note au hasard. Malgré ces défauts, cette méthode se généralise. Au début de 2014, on a dénombré en une seule journée 760 tâches en cours dans le système PEAR de l’Université de Guelph.
Dans le même ordre d’idée, le professeur Steve Joordens et le doctorant Dwayne Pare, de l’Université de Toronto à Scarborough, ont conçu un logiciel d’évaluation par les pairs nommé peerScholar. Le logiciel distribue le travail de chaque étudiant à un certain nombre de ses pairs, qui lui attribuent une note et formulent des commentaires. M. Joordens a récemment utilisé le logiciel avec succès dans le cadre d’un cours en ligne ouvert à tous.