Les outils de détection d’IA promettent de vous indiquer si un texte a été rédigé par une personne ou par une machine. Les enseignants les utilisent pour évaluer les dissertations. Les rédacteurs les utilisent pour analyser les articles. Les employeurs vont même jusqu’à les utiliser pour examiner les lettres de motivation. Cependant, ces outils sont bien moins fiables que ne le laissent supposer leurs scores.
Ce guide explique donc comment fonctionnent les outils de détection d’IA. Il met également en évidence leurs limites et explique comment les utiliser avec prudence.
Ce que font réellement les outils de détection d’IA
Un détecteur d’IA est un logiciel qui lit un texte et attribue un score. Ce score estime la probabilité que ce texte ait été rédigé par un modèle linguistique. En d’autres termes, l’outil émet une hypothèse et ne fournit pas de preuve.
La plupart des détecteurs sont eux-mêmes des modèles d’apprentissage automatique. Les développeurs les entraînent à partir de vastes ensembles de textes rédigés par des humains et par des machines. Le modèle apprend ainsi à distinguer les deux types de textes. Lorsque vous collez un nouveau texte, il compare ces schémas et renvoie un pourcentage.
Ces outils ciblent les résultats générés par les grands modèles linguistiques. Si vous souhaitez rafraîchir vos connaissances sur cette technologie, consultez notre guide des cas d’utilisation des grands modèles linguistiques. Les chatbots, comme ceux présentés dans notre article sur les logiciels de chat basés sur l’IA, constituent généralement la source de ces textes.
Comment fonctionne la détection derrière le score
Les détecteurs s’appuient sur quelques signaux. Deux d’entre eux reviennent sans cesse.
La perplexité
La perplexité mesure le degré de surprise de chaque mot. Un modèle linguistique sélectionne des mots probables, ce qui rend souvent son texte fluide et prévisible. Les rédacteurs humains, en revanche, choisissent plus souvent des mots inhabituels. Une faible perplexité fait donc pencher le score vers « machine ».
Burstiness
La « burstiness » mesure le degré de variation de la longueur et de la structure des phrases. Les humains alternent phrases courtes et phrases longues. Un modèle, en revanche, a tendance à conserver un rythme régulier. Un rythme monotone augmente le risque d’une classification « machine ».
Certains systèmes ajoutent une troisième méthode appelée « filigrane ». Dans ce cas, le modèle privilégie discrètement certains mots pendant la rédaction. Un outil de comparaison vérifie ensuite la présence de ce motif caché. Cela ne fonctionne que lorsque le texte provient d’un modèle utilisant ce filigrane.
Pourquoi les outils de détection de l’IA se trompent
Les signaux mentionnés ci-dessus sont faibles. De nombreuses personnes écrivent dans un style simple et régulier. Les rédacteurs techniques, les étudiants et les locuteurs non natifs font souvent partie de ce groupe. Par conséquent, leur travail, pourtant honnête, peut ressembler à un texte généré par une machine.
Par exemple, des chercheurs de Stanford ont testé plusieurs détecteurs sur des dissertations rédigées par des locuteurs non natifs de l’anglais. Les outils ont signalé une grande partie de ces dissertations humaines comme étant générées par une machine. Vous pouvez consulter l’étude sur arXiv. Ces résultats montrent pourquoi un score élevé ne devrait jamais mettre fin à la discussion.
Des erreurs peuvent également se produire dans l’autre sens. Une personne peut réviser un brouillon généré par un chatbot et faire baisser le score. Les modèles les plus récents écrivent également de manière plus variée, ce qui rend les anciens indicateurs moins utiles. De plus, les détecteurs accusent un retard à chaque nouvelle version des modèles.
Même le développeur d’un chatbot majeur a retiré son propre détecteur en 2023 en raison de sa faible précision. Cette décision témoigne de la complexité du problème. C’est pourquoi un score doit toujours être replacé dans son contexte. Un texte court ne fournit que très peu d’éléments à l’outil pour effectuer son analyse ; les réponses courtes et les listes sont donc les plus sujettes à erreur. Des échantillons plus longs aident, mais ils ne dissipent jamais complètement le doute.
Comment utiliser les outils de détection IA de manière responsable
Un détecteur peut tout de même s’avérer utile si vous le considérez comme un indice parmi d’autres. Tout d’abord, respectez quelques règles simples. Ensuite, consignez la manière dont vous êtes parvenu à chaque décision.
Ne vous fiez jamais uniquement à un score
Considérez le résultat comme une raison d’examiner le texte de plus près. Comparez ensuite le texte avec les travaux antérieurs de l’auteur. Demandez à l’auteur d’expliquer comment il l’a rédigé. Une discussion sereine en dit plus long que n’importe quel pourcentage.
Recherchez des preuves concrètes
Examinez le contenu lui-même. Cite-t-il des sources qui existent ? Contient-il des faits erronés ou inventés ? Notre article explicatif sur les images générées par l’IA montre à quelle vitesse ces outils produisent désormais des résultats convaincants dans d’autres médias. Cette même rapidité s’applique au texte ; une vérification minutieuse est donc plus importante que jamais.
Définissez d’abord une politique claire
Les établissements scolaires et les entreprises doivent préciser ce qui est autorisé avant de tester quoi que ce soit. Certaines tâches peuvent bénéficier de l’aide de l’IA, tandis que d’autres l’interdisent. Une règle claire est équitable pour tous et évite d’avoir à rechercher l’utilisation cachée de ces outils.
Les auteurs peuvent également se protéger. Enregistrez vos brouillons, conservez vos notes de recherche et rédigez à l’aide d’un outil qui conserve l’historique. Si un détecteur vous accuse, cette trace prouve que vous êtes l’auteur de votre travail. Elle montre également que vous avez mené la réflexion vous-même.
De meilleures façons de prouver la paternité humaine
La détection étant peu fiable, de nombreuses équipes se concentrent désormais sur le processus. Elles demandent des plans, des notes et des brouillons. L’historique des versions dans un document partagé montre comment un texte a évolué au fil du temps. Parallèlement, de brèves discussions en direct permettent à un rédacteur de démontrer une réelle connaissance du sujet.
Ces méthodes respectent les auteurs honnêtes. Elles fournissent également aux correcteurs des preuves plus solides qu’un simple chiffre. De plus, elles inculquent de bonnes habitudes aux étudiants, car la planification et la révision sont des compétences qu’il vaut la peine de développer.
Conclusion : ce que les outils de détection de l’IA peuvent et ne peuvent pas faire
Les outils de détection par IA mesurent des schémas, et les schémas ne constituent pas une preuve. Ils peuvent signaler un texte qui mérite un examen plus approfondi. Ils ne peuvent pas déterminer qui l’a rédigé.
Par conséquent, l’approche la plus judicieuse consiste à combiner un score à prendre avec prudence, une relecture humaine et une politique claire. Utilisez ces outils pour entamer une discussion, et non pour y mettre fin. À mesure que les modèles linguistiques ne cessent de s’améliorer, les contrôles basés sur le processus prendront davantage d’importance que n’importe quel scanner.