Exactitude vs compréhension

Il y a une grande différence entre la correction et la compréhension.

Récemment, un collègue m'a demandé un exemple clair et simple qui montrerait en quoi les éléments de l'évaluation Lectical Assessment diffèrent de ceux des tests standardisés classiques. Ma première pensée a été que cela serait impossible sans une simplification excessive. Ma deuxième pensée a été qu'il serait peut-être bon de trop simplifier un peu. Alors, voilà!

Le tableau ci-dessous répertorie quatre différences entre ce que mes collègues et moi-même mesurons à l'aide d'évaluations théoriques et ce que mesurent d'autres évaluations normalisées. [1] Les descriptions sont simplifiées et manquent de nuance, mais les distinctions sont précises.

L'exemple

J’ai choisi un exemple basé sur un scénario que nous utilisons déjà pour évaluer les conceptions des élèves sur la conservation de la matière. Nous avons emprunté le scénario à un élément à choix multiple préexistant.

Le scénario

Sophia balance un tas de fil d'acier inoxydable et de fil d'acier ordinaire sur une balance. Au bout de quelques jours, le fil ordinaire dans le pan de droite commence à rouiller.

Question conventionnelle à choix multiples

Qu'adviendra-t-il de la casserole avec le fil rouillé?

  1. La casserole va monter.
  2. Le pan ne bougera pas.
  3. Le pan va descendre.
  4. Le pan va d'abord monter puis descendre.
  5. La casserole va d'abord descendre puis remonter.

(Allez-y, essayez! Quelle réponse choisiriez-vous?)

Question d'évaluation lectique

Qu'adviendra-t-il de la hauteur de la casserole avec le fil rouillé? S'il vous plaît expliquer votre réponse à fond.

Voici trois exemples de réponses de 12e année.

Lillian: La casserole s'abaissera parce que l'acier rouillé est plus lourd que l'acier ordinaire.
Josh: La casserole s'abaissera car lorsque le fer rouille, des atomes d'oxygène se fixent aux atomes de fer. Les atomes d’oxygène ne pèsent pas beaucoup, mais ils pèsent un peu, donc le fer rouillé va «prendre du poids» et la balance baissera un peu de ce côté.
Ariana: La casserole va tomber au début, mais elle pourrait remonter plus tard. Lorsque le fer s'oxyde, l'oxygène de l'air se combine avec le fer pour former de l'oxyde de fer. Ainsi, la masse du fil augmente, en raison de la masse de l'oxygène qui s'est lié au fer. Mais l'oxyde de fer est non adhérent, de sorte qu'avec le temps la rouille tombera du fil. Si le métal rouille pendant une longue période, une partie de la rouille deviendra de la poussière et une partie de cette poussière sera très probablement emportée.

Compte rendu

La réponse correcte à la question à choix multiples est: «Le panoramique va descendre."

Il n’existe pas de réponse correcte unique à l’élément Evaluation linguistique. Au lieu de cela, certaines réponses révèlent différents niveaux de compréhension. La plupart des lecteurs verront immédiatement que la réponse de Josh révèle plus de compréhension que celle de Lillian et que celle d’Ariana révèle plus de compréhension que celle de Josh.

Vous remarquerez peut-être aussi que la réponse écrite d’Arianna l’a amenée à choisir l’une des réponses incorrectes à choix multiples, et que Lillian et Josh se verront attribuer le même mérite pour l’exactitude même si leur niveau de compréhension n’est pas aussi sophistiqué.

Pourquoi tout cela est-il important?

  • Ce n'est pas juste! L’article à choix multiples trompe Adriana sur l’occasion de montrer ce qu’elle sait, et traite Lillian et Josh comme si leur niveau de compréhension était identique.
  • L'élément à choix multiples ne fournit aucune information utile aux étudiants ou aux enseignants! Le mieux que nous puissions légitimement déduire d'une réponse correcte est que l'élève a appris que lorsque l'acier rouille, il devient plus lourd. Cette réponse correcte est un fait. La capacité d'identifier un fait ne nous dit pas comment il est compris.
  • Sans compréhension, la connaissance n’est pas utile. Les faits qui ne sont pas étayés par la compréhension sont utiles dans Jeopardy, mais moins dans la vie réelle. Un apprentissage qui n’améliore pas la compréhension ni les compétences est une perte de temps tragique pour les étudiants.
  • Malgré des preuves claires que les réponses correctes aux tests standardisés ne mesurent pas la compréhension et ne constituent donc pas un bon indicateur de connaissances ou de compétences utilisables, nous continuons à utiliser les scores de ces tests pour décider qui entrera dans quel collège et que les enseignants mériteront une augmentation. et quelles écoles devraient être fermées.
  • Nous apprécions ce que nous mesurons. Tant que nous continuerons à mesurer l'exactitude, les programmes scolaires insisteront sur l'exactitude et des formes d'apprentissage plus profondes et plus utiles resteront relativement négligées.

Aucun de ces points n'est particulièrement controversé. La plupart des éducateurs s'accordent sur l'importance de la compréhension et de la compétence. Ce qui manque, c’est la capacité de mesurer la compréhension à l’échelle et en temps réel [2]. Les évaluations théoriques sont conçues pour combler cette lacune.

[1] De nombreuses évaluations alternatives sont conçues pour mesurer la compréhension - du moins dans une certaine mesure - mais peu d’entre elles sont normalisées ou évolutives.

[2] Voir mon examen d'un élément du PISA pour obtenir un exemple d'un élément typique d'une réponse écrite issue d'un test standardisé hautement respecté.