Technologie

Peut-on se fier aux détecteurs de textes écrits par IA comme Pangram, à l’origine des doutes sur le roman de Thélyson Orélien ?

Posted on

Des internautes accusent l’auteur québécois Thélyson Orélien d’avoir généré son livre par intelligence artificielle, en se fiant à des détecteurs d’IA. Si les évaluations indépendantes sont rares, la fiabilité de ces détecteurs a tendance à s’améliorer.

La rentrée littéraire s’accompagne d’une polémique inédite. Thélyson Orélien, auteur québécois d’origine haïtienne(Nouvelle fenêtre) en lice pour plusieurs prix avec son premier roman, C’était ça ou mourir, est ouvertement accusé, depuis lundi 21 septembre, d’avoir écrit son livre grâce à une intelligence artificielle (IA). L’auteur s’est défendu de ces accusations, affirmant à Libération(Nouvelle fenêtre) qu’il « ne voyai(t) pas pourquoi (il) ferai(t) appel à une machine » pour écrire, mais le débat ne retombe pas, et s’accompagne de nouvelles accusations de plagiat.

L’offensive a été lancée sur le réseau X par un compte anonyme baptisé « Balance ton Claude » (qui n’a pas répondu aux sollicitations de franceinfo). Le compte justifie son attaque grâce à l’analyse pratiquée par un logiciel, qui affirme pouvoir détecter les textes générés par IA avec une fiabilité quasi parfaite : Pangram.

La startup américaine derrière ce programme n’est pas seule sur ce marché des « détecteurs de textes générés par IA ». Il existe des dizaines d’outils similaires comme GPTZero, ou des fonctions intégrées dans les logiciels plus généraux comme Turnitin, qui sont de plus en plus utilisés par des revues scientifiques, des universités, ou encore des maisons d’édition. Mais comment fonctionnent-ils ? Et sont-ils vraiment fiables ?

Des premiers « détecteurs » peu fiables

Il existe plusieurs techniques pour concevoir un détecteur d’IA. Ils peuvent ainsi rechercher les « tics de langage » de l’IA, qui « utilise certaines tournures de phrases de manière plus fréquente que la moyenne », explique à franceinfo Thierry Poibeau, directeur de recherche en linguistique computationnelle et humanités numériques au CNRS.

Il cite en exemple « les constructions ternaires », où la phrase enchaîne trois adjectifs ou trois propositions. L’utilisation de formulations du type « Ce n’est pas X, c’est Y », ou de comparaisons lourdes avec « comme », sont aujourd’hui fréquemment dénoncées comme des signes de textes générés par IA.

« Les premiers détecteurs s’appuyaient aussi sur la ‘perplexité’ : est-ce que le texte qu’on étudie est prédictible par une autre IA ? », décrit Frédéric Kaplan, directeur de l’Institut des humanités numériques à l’Ecole Polytechnique fédérale de Lausanne. En clair, si une IA est capable de deviner la fin d’une phrase à partir de ses premiers mots, alors il y a des chances qu’un modèle d’intelligence artificielle similaire ait écrit la phrase complète.

Des risques de faux positifs et faux négatifs

Puis est arrivée la troisième technique, plus fiable, selon les spécialistes : l' »apprentissage machine », déjà utilisée pour créer les IA elles-mêmes. Le détecteur d’IA analyse un vaste corpus de textes écrits par des humains et d’autres générés par des IA, jusqu’à trouver lui-même des régularités qui permettent de distinguer les uns des autres.

Pangram a été un des premiers détecteurs à utiliser cette méthode. La startup américaine améliore également son programme en lui signalant les « faux positifs » (où un texte humain serait identifié comme IA) pour qu’il apprenne de ses erreurs, et en utilisant un procédé d' »imitation synthétique », pour aider le logiciel à distinguer un texte écrit par un humain de sa paraphrase générée par IA. Pangram revendique un taux de faux positifs de 0,0041%, soit un cas « sur 24 000 documents », selon le rapport technique(Nouvelle fenêtre) de Pangram 4, sorti en juillet. Le taux général de faux négatifs (où un texte IA passerait sous les radars), est lui de 0,3396%. Sur des textes en français, Pangram revendique un taux de faux positifs de 0,0026%, et de faux négatifs de 1,7839%.

Certaines études ont tenté de mesurer la fiabilité de différents détecteurs de manière indépendante. Celle de l’International Journal for Education Integrity(Nouvelle fenêtre), publiée en juin par des chercheurs de la Vrije Universiteit de Bruxelles, a jugé quatre détecteurs sur quatre groupes de 40 articles scientifiques : l’un des groupes d’articles était rédigé par des humains, un autre entièrement généré par IA, et les deux autres présentaient différents degrés d’hybridation humain-IA (blocs de texte IA intégrés dans un article humain, ou texte d’IA « lissé » par l’IA pour apparaître plus humain).

Aucun faux positif n’a été constaté pour les articles écrits à 100% par un humain, quel que soit le logiciel. En revanche, un faux négatif a été constaté sur un article entièrement généré par IA, et Pangram n’est pas à l’abri de sous-estimer (dans 4 cas sur 80) ou surestimer (2 cas sur 80) la part d’IA dans un papier de recherche « hybride » ou « humanisé ». Les trois autres logiciels testés (Turnitin, GPTZero et Copyleaks) n’ont pas accusé à tort un texté écrit par un humain, mais sont moins précis sur les autres catégories.

Des résultats vite obsolètes

L’organisme à but non lucratif Epoch AI a réalisé un autre test(Nouvelle fenêtre) en juillet. Il a soumis à trois détecteurs (Pangram, GPTZero et Originality.ai) trois types d’écrits : 500 extraits de textes humains dans différents styles (fiction, scientifique, blog), 297 extraits générés par IA avec « un prompt basique », et 297 en demandant à l’IA d’« imiter le style » d’un auteur humain, références à l’appui. Seul Originality.ai(Nouvelle fenêtre) a accusé à tort des textes humains (dans 19 cas sur 495), et presque aucune erreur n’a été recensée sur les textes IA générés par un « prompt basique ». En revanche, les textes IA qui imitent le style d’un auteur échappent plus souvent à la détection.

Les détecteurs ne sont donc pas totalement infaillibles. Pangram reconnaît d’ailleurs que son outil se révèle moins fiable sur des extraits courts. Par ailleurs, les taux de fiabilité revendiqués peuvent rapidement évoluer avec la progression constante des IA et des détecteurs. Les performances dépendent des données d’entraînement utilisées et des techniques « d’apprentissage machine », qui changent régulièrement.

« Les entreprises d’IA essaient de réduire les particularités d’écriture de leurs outils pour devenir beaucoup plus proches des textes humains. » Thierry Poibeau, directeur de recherche en linguistique computationnelle et humanités numériques au CNR

« C’est un jeu du chat et de la souris : il faut toujours réentraîner le détecteur sur des IA qui changent tous les mois », poursuit Thierry Poibeau. Le taux de fiabilité dépend également de la langue étudiée. « Les détecteurs marchent bien en anglais, en français et dans une vingtaine d’autres langues. Au-delà, c’est beaucoup plus pauvre », explique le chercheur. « Il faut prendre en compte la complexité de la langue, mais aussi la disponibilité de données d’entraînement » utilisables pour « l’apprentissage machine ».

« Ces saloperies ont été entraînées avec nos romans »

Autre limite : les détecteurs n’étudient pas un texte mot par mot, mais par groupes de mots. Si le détecteur estime qu’un texte est à 100% généré par IA, cela veut dire que chaque groupe de mots est perçu comme majoritairement généré par IA. Mais il peut contenir des mots écrits par un humain malgré tout.

« Un article de recherche a un style très codifié, mais pour un texte littéraire, qu’est-ce qui nous dit que les tics de langage ne correspondent pas simplement au style de l’auteur ? », questionne Thierry Poibeau. « Si les IA écrivent parfois comme nous, il y a une raison très simple : ces saloperies ont été entraînées avec nos romans », écrit sur Facebook(Nouvelle fenêtre) l’auteur Baptiste Beaulieu, qui ajoute avoir « toujours aimé les rythmes ternaires » et les figures du type « ce n’est pas qu’il… c’est qu’il… ».

« Alors je fais quoi, maintenant ? Je change ma manière d’écrire pour qu’un logiciel consente à me croire humain ? (…) Ces machines ont pillé nos textes pour apprendre à leur ressembler, et c’est désormais à nous de montrer patte blanche. » Baptiste Beaulieu, écrivain

Certains spécialistes appellent également à voir plus loin. Pour analyser l’écriture « humaine », les détecteurs d’IA actuels sont entraînés sur des textes écrits avant l’apparition des IA génératives. Cette approche est-elle viable à long terme ? « Si en 2100, on continue à utiliser des textes produits avant 2018 comme le mètre-étalon de l’écriture humaine, ils n’auront plus rien à voir avec les textes contemporains ! », prédit Frédéric Kaplan.

Le résultat d’un détecteur ne constitue pas une preuve définitive d’utilisation d’une IA. Ce qu’a d’ailleurs souligné le compte « Balance ton Claude » dans une publication sur X(Nouvelle fenêtre) mardi soir, au sujet de Thélyson Orélien : « Il existe une chance non nulle (même si elle est infime) qu’il soit de bonne foi ». Selon l’étude de la Vrije Universiteit de Bruxelles, « une alerte devrait déclencher une étude plus approfondie du contenu de l’article ». C’est aussi ce que le PDG et cofondateur de Pangram, Max Spero, avait souligné auprès du média américain The Atlantic(Nouvelle fenêtre), en mai dernier. Son outil ne devrait « jamais être l’arbitre final », mais plutôt un point de départ pour enquêter.

Source : franceinfo.fr

Leave a Reply

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Most Popular

Quitter la version mobile