Évaluer à l'ère de ChatGPT

Depuis son arrivée sur le web à la fin de l'année 2022, ChatGPT a suscité de nombreuses réactions, notamment dans le monde de l'éducation.

Si les premiers articles mobilisaient très régulièrement les mots de "triche" et de "plagiat", il semblerait que ce soit de moins en moins le cas au fil des mois. Comme pour d'autres innovations technologiques précédentes, les enseignants adaptent progressivement et avec responsabilité leur métier aux nouveaux contextes culturels et technologiques.

Or, l'une des principales adaptations concerne la question de l'évaluation. La réflexion était certes enclenchée depuis déjà quelques années mais la démocratisation d'un outil tel que ChatGPT a donné un sérieux coup d'accélérateur à cette prise de conscience en rendant soudainement obsolètes des pratiques qui persistaient par habitude et tradition. 

C'est notamment le cas des "devoirs à la maison" pour lesquels de nombreuses études ont montré qu'ils constituaient une source d'inégalités scolaires puisque les élèves n'ont pas accès aux mêmes ressources (parents, soutien scolaire, livres, etc.). Désormais, avec la démocratisation d'outils tels que ChatGPT, l'idée même de donner aux élèves certains travaux en dehors de la classe n'a plus aucun sens. On se dirige donc probablement vers l'aboutissement d'une réflexion engagée il y a près de quinze ans autour des classes inversées sur l'équilibre subtil à trouver entre les activités réalisées "en présence" et celles pouvant être réalisées "à distance".

Mais c'est aussi le cas des évaluations réalisées en classe qui n'ont plus tout à fait la même légitimité dans un monde où existe un outil tel que ChatGPT. S'il reste toujours pertinent d'apprendre le calcul mental à l'école, son importance a diminué avec la démocratisation de la calculatrice. De même, s'il reste important d'apprendre à écrire et argumenter, cet enseignement va indéniablement être transformé par la démocratisation des grands modèles de langage (LLM) tels que ChatGPT. A l'avenir, il est fort probable que des évaluations orales ou encore des évaluations sous la forme de tâches complexes inscrites dans des situations authentiques gagnent en importance.

L'article ci-dessous a pour vocation de proposer quelques pistes pour contribuer à la réflexion collective. 

Sommaire

1. Des évaluations inspirées par la taxonomie de Bloom révisée

La taxonomie de Bloom est un modèle de conception pédagogique proposé au milieu du XXe siècle par le psychologue de l'éducation Benjamin S. Bloom. Ce modèle est organisé autour de six types d'activités correspondant à différents niveaux cognitifs : la connaissance, la compréhension, l'application, l'analyse, la synthèse et l’évaluation. Cette proposition fait évidemment l'objet de discussions et de contre-propositions de la part d'autres psychologues et pédagogues. C'est notamment le cas de la taxonomie de Bloom révisée en 2001 par Anderson et Krathwohl. 

Dans tous les cas, ces modèles s'avèrent particulièrement intéressants pour envisager la construction d'évaluations qui ont du sens au regard des compétences du XXIe siècle listées par des organismes tels que l’UNESCO, l’OCDE ou encore l’UE.

Créer des situations d'évaluation à partir de ces modèles peut s'avérer particulièrement pertinent pour évaluer le niveau de maîtrise d'une thématique par les élèves, mais cela demande souvent beaucoup de temps. Pour aider les enseignants dans cette démarche, le service national du RÉCIT (réseau pour le développement des compétences des élèves par l'intégration des technologies) a proposé un tableau des applications associées à chaque processus cognitif : 

Dans ce domaine, ChatGPT peut constituer un excellent assistant. Démonstration : 

Protocole

La proposition de prompt ci-dessous peut être adaptée en fonction de vos besoins et préférences :

"Je veux que vous agissiez en tant que professeur d'histoire enseignant dans un lycée français. Je veux que vous me proposiez une évaluation organisée selon les principes de la taxonomie de Bloom révisée par Anderson et Krathwolh sur le chapitre qui porte sur l'affirmation de l'Etat dans le royaume de France à l'époque moderne. Cette évaluation devra pouvoir être réalisée en 50 minutes par les élèves." 

Ci-joint la réponse qui m'a été proposée par ChatGPT :

Comme d'habitude, aussi pertinente soit-elle, cette proposition mériterait d'être adaptée par un enseignant en fonction de ses objectifs et de son contexte d'enseignement. Pour cet exemple, voici les modifications que j'apporterais personnellement : 

Cette proposition n'en demeure pas moins tout à fait satisfaisante et aurait probablement demandé une bonne heure de travail pour arriver à un tel résultat. Or, à partir de cette première base réalisée par ChatGPT, je peux me concentrer sur l'amélioration de cette proposition et la recherche de documents adéquats. 

Et du côté des élèves

Il est aussi possible de mobiliser la taxonomie de Bloom pour accompagner les révisions des élèves à l'aide d'un prompt conditionné. Plus d'information dans cet article publié sur Historicophiles

2. Créer des grilles d'évaluation critériées avec ChatGPT

L'identification et l'explicitation des critères de réussite constituent des éléments essentiels de l'évaluation.

Cet aspect a notamment été rappelé dans les recommandations du CNESCO (centre national d'étude des systèmes scolaires) à l'issue de la conférence de consensus sur "l'évaluation en classe, au service de l'apprentissage des élèves". Il est notamment recommandé : 

On comprend donc à partir de ces recommandations que l'élaboration et l'utilisation de grilles critériées constituent un outil intéressant à plusieurs titres : 

Ressource

Dans cette fiche-outil publiée sur le site EtrePROF, Agnès PASCHARD vous propose quelques conseils pratiques pour construire une grille d'évaluation critériée. 

La réalisation de grilles critériées constitue néanmoins un travail conséquent pour les enseignants qui doivent envisager la création de dizaines de fiches associées à chaque tâche, voire à chaque compétence.

Encore une fois, ChatGPT peut alors jouer un rôle d'assistant très utile afin de proposer une base sur laquelle l'enseignant pourra s'appuyer afin d'affiner et d'adapter la grille à sa pratique professionnelle et son contexte d'enseignement. 

Protocole

La proposition de prompt ci-dessous est associée à la compétence suivante : mobiliser des connaissances pour compléter un plan détaillé de dissertation avec des arguments et des exemples précis.

Je souhaite que tu agisses comme un enseignant très expérimenté exerçant en lycée français depuis plus de trente ans.

Je souhaite que tu créées une grille d'évaluation critériée claire et bien structurée sous la forme d'un tableau en utilisant un langage adapté aux élèves.

Cette grille d'évaluation critériée a pour objectif d'évaluer la compétence suivante : mobiliser des connaissances pour compléter un plan détaillé de dissertation avec des arguments et des exemples précis.

Cette grille d'évaluation doit être en adéquation avec les attentes des programmes officiels en application au lycée général en France. 

Je souhaite que cette grille d'évaluation soit organisée autour des trois critères suivants : 

Je souhaite que cette grille d'évaluation soit organisée en trois niveaux de compétences : non acquis, en cours d'acquisition et acquis.

Générez la grille sous la forme d'un tableau.

Voici la proposition de chatGPT : 

Après plusieurs tentatives, il ne m'a pas été possible d'intégrer un nombre de points différent par critère. J'aurais en effet voulu octroyer 8 points à la rubrique "connaissances", 6 points à la rubrique "arguments" et 6 points à la rubrique "exemples". A défaut, j'ai préféré retirer cette indication pour ajouter moi-même le barème par case.

Si vous souhaitez adapter ce prompt à votre discipline et votre niveau d'enseignement, vous pouvez compléter la trame fournie ci-dessous : 

Je souhaite que tu agisses comme un enseignant très expérimenté exerçant ... 

Je souhaite que tu créées une grille d'évaluation critériée claire et bien structurée sous la forme d'un tableau en utilisant un langage adapté aux élèves.

Cette grille d'évaluation critériée a pour objectif d'évaluer la compétence suivante :  ... 

Cette grille d'évaluation doit être en adéquation avec les attentes des programmes officiels en France.

Je souhaite que cette grille d'évaluation soit organisée autour des critères suivants : 

Je souhaite que cette grille d'évaluation soit organisée en trois niveaux de compétences : non acquis, en cours d'acquisition et acquis.

Générez la grille sous la forme d'un tableau.