Ces derniers mois, j'ai eu l'occasion d'échanger avec de nombreux documentalistes et enseignants d'écoles de commerce et d'universités. L'intégration de l'IA dans les programmes d'enseignement est un sujet pris au sérieux.
Néanmoins, l'IA soulève également de nombreuses interrogations concernant l'évaluation des travaux de recherche, mémoires, cas marketing et autres documents soumis par les étudiants et notés par les professeurs.
Doit-on autoriser l'utilisation de l'IA ? Est-il considéré comme de la triche de faire rédiger son rapport de stage par une IA ? Les enseignants se retrouvent confrontés à un grand nombre de questions pour lesquelles les réponses ne sont pas encore clairement établies.
L'objectif premier d'un enseignant est d'évaluer le travail et la réflexion d'un étudiant face à une problématique spécifique. Cette évaluation se concrétise à travers la remise d'une "copie", un document qui reflète le travail intellectuel de l'étudiant.
Un texte qui n'a pas été rédigé par l'étudiant lui-même pourrait être considéré comme du plagiat. Les outils de détection de plagiat tels que scribbr, compilatio et autres proposent d'ailleurs des détecteurs d'IA.
Cependant, différencier un texte rédigé par une IA et par un étudiant est un combat déjà perdu.
La variété des LLM et leur adaptabilité, et les différents techniques de prompt (few shots et autres) permettent de contourner facilement ces contrôles. L'utilisation de modèles alternatifs, de consignes bien définies, ou encore l'emploi de few shots (donner quelques exemples à un LLM) permettent de contourner rapidement ces vérifications.
Une des écoles que j'ai visitées a mené des tests à l'aveugle pour évaluer la capacité d'un enseignant à identifier un rapport produit par une IA, avec des résultats éloquents.
Il est aujourd'hui impossible pour un enseignant de détecter clairement l'utilisation d'une IA et encore moins de le prouver. Par conséquent, il n'est pas envisageable de pénaliser un étudiant qui aurait eu recourt à l'IA.
Google, reconnu pour son expertise dans l'évaluation du contenu et de la pertinence des textes, a adopté une approche intéressante lors de l'avènement des modèles de traduction. Leur philosophie était la suivante : si un texte est correctement traduit et qu'il apporte de la valeur au lecteur, pourquoi ne pas le considérer ?
Cette même approche pourrait être appliquée à un rapport de stage produit par une IA : s'il est intéressant, bien structuré et correctement référencé, alors peu importe que l'étudiant ait utilisé une IA ou non. En revanche, les imprécisions, les erreurs de langue ou les banalités seront sévèrement critiquées.
Cette méthode me semble être la plus adéquate.
Lors de mon examen du baccalauréat de philosophie, il y a déjà quelques années, une copie bien rédigée sans fautes d'orthographe ni de ponctuation atteignait facilement la moyenne.
La qualité de la rédaction constituait un critère essentiel de comparaison entre deux copies. Ce ne sera bientôt plus le cas !
La généralisation de l'IA va réduire l'importance de la qualité de la rédaction, une compétence maitrisées à la perfection par les IA dans la notation.
La qualité d'un document sera jugée selon d'autres critères sur lesquels les performance des IA sont encore insuffisantes :
- Les sources
Est-ce que le document a clairement cité ses sources et est-ce que l'étudiant les a correctement utilisées ? La diversité des sources, notamment celles auxquelles les IA n'ont pas accès naturellement, permettra d'évaluer la profondeur des recherches effectuées par l'étudiant.
- La éléments factuels et la précision des chiffres évoqués
Les IA ont tendance à privilégier les généralités et rencontrent des difficultés à intégrer des éléments factuels récents dans leurs arguments. En utilisant des données actualisées et précises, on peut évaluer la profondeur de la réflexion de l'étudiant dans la construction de son texte.
- L'originalité des sujets et des thèmes abordés.
Les IA ont tendance à se concentrer sur les mêmes sujets et idées. J'ai pu observer cette tendance lors de l'analyse de 1 000 SWOT d'entreprises générés par une IA. J'ai remarqué que l'IA se contentait souvent de reprendre les forces ou faiblesse les plus communes sans approfondir sa "reflexion" au-delà de ce qui semblait évident.
Une IA peut également rencontrer des difficultés à traiter de manière adéquate les sujets sensibles, sociaux ou politiques ainsi que des thèmes peu documentés.
Ces trois paramètres permettront à un enseignant de juger de la qualité et de l'authenticité du travail de l'étudiant.
---
L'IA est un outil qui doit être maitrisé par les étudiants. Il implique pour les enseignants de revoir leurs critères de notation
Une IA ne peut pas aujourd'hui produire seule un mémoire de bonne qualité. C'est cependant un outil essentiel pour fluidifier la formulation d'idée, extraire des données d'une base documentaire ou traiter des bases de données volumineuses.
Il serait une erreur de se priver de ces qualités dans la rédaction d'un mémoire, d'un cas marketing ou un autre document. L'utilisation des IA fait évoluer les paramètres à prendre en compte dans l'évaluation de ces travaux. La qualité de la rédaction et de l'orthographe, autrefois un critère de sélection important va disparaitre au profit d'autres éléments : la qualité des sources, la thématique choisi ou les données utilisées pour appuyer une argumentation vont primer.
Il est fort à parier que cet arbitrage va inciter les étudiants à mieux se différencier à travers des choix de thématiques plus réfléchis, des argumentation plus appuyées et documentées et des sources plus diverses afin de démarquer leurs travaux.