Réhabiliter les questions à choix multiples à l’ère de l’IA

Dans le domaine de la pédagogie, les ressources ne suffisent souvent pas à répondre aux besoins. Toutefois, une méthode d’évaluation relativement peu gourmande en ressources pourrait nous aider à répondre directement à une nouvelle nécessité bien de notre temps : savoir détecter le contenu trompeur. 

Certaines personnes boudent depuis longtemps les questions à choix multiples (QCM). Elles les assimilent souvent à un simple jeu de devinettes, soulignant ainsi la difficulté de distinguer une réponse exacte d’un leurre crédible. Or, cette capacité à différencier le vrai du faux s’avère plus importante que jamais. Nous sommes appelés à le faire chaque jour, par exemple pour détecter le contenu produit par des escrocs ou par l’intelligence artificielle (IA). Dans ce dernier cas, on parle même de « contenu dégénératif », un terme qui désigne le contenu de faible qualité généré par l’IA.  

Dans le milieu universitaire, il est souvent question de l’importance d’enseigner aux personnes apprenantes à valider les procédés et les résultats de l’IA. On met alors généralement l’accent sur l’application de compétences plutôt que sur l’acquisition de connaissances, qui, selon de nombreuses personnes, pourrait désormais être prise en charge par l’IA. On suppose donc que la vérification des faits n’est plus nécessaire. Mais l’IA, tout comme l’être humain, peut se tromper. Les étudiantes et étudiants doivent encore posséder les connaissances nécessaires pour détecter efficacement l’information erronée.  

Les QCM rédigées avec soin ont toujours été un moyen efficace, fondé sur les données, de déterminer la mesure dans laquelle les personnes apprenantes sont capables de distinguer l’information véridique de l’information plausible, mais fausse. Elles permettent aussi de développer et d’évaluer les capacités de détection du contenu trompeur. Elles sont rapides à administrer, leur efficacité est facile à évaluer (des outils statistiques permettent d’en vérifier la pertinence), elles préviennent la tricherie lorsqu’elles sont utilisées dans des conditions d’évaluation rigoureusement établies et elles peuvent servir à évaluer des habiletés cognitives de haut niveau. De plus, lorsqu’elles sont accompagnées d’une rétroaction, elles peuvent aider les étudiantes et les étudiants à acquérir les connaissances et à développer les compétences métacognitives nécessaires pour détecter efficacement l’information inexacte.  

Les membres de l’administration et du corps professoral ne doivent pas perdre de vue que, contrairement à l’idée largement répandue, la production et la validation de QCM de grande qualité est loin d’être simple et peut exiger beaucoup de temps. L’article « A Review of Multiple-Choice Item-Writing Guidelines in Classroom Assessment », rédigé par T. M. Haladyna, S. M. Downing et M. C. Rodriguez et publié dans la revue Applied Measurement in Education en 2002, fournit d’ailleurs les conseils suivants aux personnes enseignantes qui commencent à créer des QCM :  

• Évitez les questions pièges. 

• Privilégiez un vocabulaire simple. 

• Présentez les réponses proposées sous forme de liste verticale. 

• Intégrez l’idée centrale dans l’énoncé de la question. 

• Utilisez des énoncés de question affirmatifs plutôt que négatifs (sauf si nécessaire). 

• Trois réponses plausibles, mais inexactes, et une réponse exacte suffisent généralement. 

• Disposez les réponses proposées en ordre logique ou numérique, s’il y a lieu. 

• Le contenu et la structure grammaticale des réponses proposées doivent être similaires. 

• Les propositions de type « aucune de ces réponses » augmentent le degré de difficulté et doivent être utilisées avec discernement. 

• Les propositions de type « toutes ces réponses » doivent généralement être évitées. 

•  Utilisez l’humour de façon judicieuse.  

Il faut du temps, de l’application et une bonne connaissance des principes de validation des tests pour utiliser correctement les QCM. Les centres de soutien à l’enseignement et à l’apprentissage constituent d’excellentes ressources à cet égard. Parce que la rédaction et la validation des QCM exigent beaucoup de temps, le personnel enseignant doit bien réfléchir à la pertinence de protéger la confidentialité des banques de tests. La rétroaction peut favoriser l’apprentissage, mais la génération rapide d’épreuves sommatives non validées expose les étudiantes et les étudiants au risque d’être évalués à l’aide d’instruments mal construits.  

Il peut être plus avantageux de leur proposer, tout au long du semestre, de multiples exercices et évaluations formatives avec de la rétroaction (ce qui permet de réutiliser les questions), et de réserver les banques d’épreuves sommatives pour les évaluations officielles. Cette méthode permet de réutiliser les questions soigneusement créées et validées au moyen d’analyses rigoureuses, ainsi que de modifier ou de supprimer les questions qui ne donnent pas les résultats attendus. Au fil du temps, la réutilisation et le remaniement des questions permettent de renforcer les évaluations sommatives par l’analyse continue.  

Les QCM judicieusement élaborées représentent un moyen efficace de renforcer les capacités des étudiantes et des étudiants à détecter le contenu fallacieux, une compétence plus utile que jamais. Pour répondre correctement à une évaluation à choix multiples bien conçue comportant des propositions de réponse fausses, mais probables, il faut recourir à ses connaissances et à son jugement, tout comme pour détecter le contenu plausible, mais potentiellement faux, que produisent les escrocs et l’IA. Savoir repérer le contenu trompeur est une compétence essentielle, et les QCM peuvent nous aider à la développer et à l’évaluer.