Dokeos

Comment construire un bon test d'évaluation en ligne? Voila une question compliquée à laquelle je suis confronté régulièrement. Je vais tâcher d'y répondre en prenant comme fil conducteur les principaux pièges à éviter et en raisonnant ainsi par l'absurde. La plupart de ces raisonnements s'appliquent aux Choix Multiples, même si on peut ensuite les étendre à d'autres formes de questions.

Piège 1 : le devinage

Beaucoup de participants à une évaluation cherchent à deviner les bonnes réponses. Celles-ci peuvent:

• Se situer systématiquement en première ou en dernière position ou à une position récurrente
• Inclure le contenu des autres réponses
• Ressembler à une autre réponse alors que les autres réponses sont hétérogènes
• Etre la plus longue, la plus complète, la moins délirante.

En conséquence, on cherchera à construire des réponses qui se ressemblent entre elles. Et on inclura, si besoin, une réponse N+1 de type "aucune des réponses ci-dessus n'est vraie", voire une réponse N+2 : "Toutes les réponses ci-dessus sont vraies". De sorte que les N réponses possibles ne représentent pas nécessairement 100% des réponses possibles.

Piège 2 : remplacer la pensée par la mémoire

Un questionnaire à choix multiple "atomise" les questions. Je veux dire par là qu'il sépare les questions entre elles (il faut répondre à chacune séparément). Alors que dans la pratique d'un métier, dans l'exercice d'une compétence, même opérationnelle, on est appelé à suivre des raisonnements qui sont des suites de propositions enchainées l'une à l'autre. Par exemple à la question : "si je vois un blessé au bord de la route dois-je appeler la police?", la réponse dépend de savoir si je me suis déjà préoccupé de savoir où nous sommes.

En conséquence, on cherchera à construire des réponses longues pour inviter à choisir entre des raisonnements, et non entre des mots ou des phrases. Par exemple à la question : "Le coût du travail sur le marché du travail augmente-t-il en période de récession?" Les réponses pourront prendre une forme qui inclut à chaque fois un long raisonnement :

• "Il augmente parce que la récession déséquilibre la balance commerciale et crée de la rareté sur le marché du travail"
• "Il diminue car la récession fait diminuer la demande sur marché des biens et des services, entraînant une pléthore de main d'oeuvre qui fait baisser la demande".

Dans le même ordre d'idées, il est souvent utile de fusionner deux questions en une pour conduire le stagiaire à effectuer un raisonnement. Les réponses pourront prendre la forme de

• Vrai parce que A
• Faux parce que B
• Vrai parce que C et
• Faux parce que D

On combine ici la vérité et sa justification comme dans l'exemple ci-dessous.

Piège 3 : enfermer le problème dans des mots

Le conducteur d'une grue n'a pas besoin de savoir si le levier qui soulève la benne s'appelle "manette" ou bien "pommeau". Il a besoin de savoir quel "machin" tirer vers lui pour arracher l'engin du sol.

La solution de ce problème est de travailler à propos d'images / vidéos ou même sur ces images. Un clic sur image, par exemple, permet de vérifier si le stagiaire a compris ce que l'on attend de lui, indépendamment de sa compréhension du vocabulaire pour le décrire.

Ci-dessous, dans un cours de Nutrition, on demande d'identifier visuellement des symptômes en cliquant sur la photo correspondante.

Piège 4 : se tromper de compétence

On pose souvent la question "Monteriez-vous dans un avion dont le pilote a été évalué uniquement à l'aide de questionnaires à choix multiple?" La réponse est évidemment non, car on se doute qu'un QCM ne peut vérifier l'ensemble de ses compétences. Et en particulier pas des séquences d'actions : marche à suivre en cas d'accident, de dépressurisation etc. Remplacer le raisonnement par de la mémoire, c'était déjà se tromper de compétence. Mais il existe bien d'autres cas de figure. Par exemple demander à un stagiaire d'identifier des actions à entreprendre alors que ce que l'on veut vérifier c'est sa capacité à effectuer correctement une suite d'actions sans se tromper.

L'exercice suivant réussit à vérifier la compréhension d'une séquence.

Piège 5 : sous-estimer la dimension de traduction

Beaucoup de compétences peuvent se ramener à la capcité de traduire une expression dans une autre : traduire une figure géométrique en expression algébrique, traduire une partition en musique, traduire un schéma en raisonnement et réciproquement, traduire un manuel en action, traduire une procédure en dossier, un slideshow en conférence...

Pour sortir de ce piège il faut réussir à se servir des médias non pour illustrer la question, mais pour constituer la question ou s'intégrer dans le mécanisme de la réponse. Comme dans le jeu des 7 erreurs, ou bien lorsqu'on demande à un ambulancier : quelle est l'erreur commise par le personnage sur cette photo? Ou bien dans l'exemple mathématique ci-dessous où le stagaire va pouvoir faire la prevue de sa compréhension du diagramme en répondant à des questions formulées en toutes lettres.

Conclusion

Voilà. Il existe sûrement d'autres pièges à déjouer. Et j'invite chacun à poursuivre cette réflexion. Pour ma part, je me suis beaucoup servi d'un article de Scalise et Gifford sur le sujet : Computer-Based Assessment in E-Learning: A Framework for Constructing “Intermediate Constraint” Questions and Tasks for Technology Platforms. Il est disponible en ligne sur : http://www.dokeos.com/doc/thirdparty/Computer%20Based%20Assessment.pdf