En Suisse, les détecteurs d’IA suscitent la méfiance des artistes
Il faisait partie des papables en vue des prix littéraires de l’automne en France. Mais un modèle de détection a calculé que le roman devait tout ou presque à l’IA. La polémique qui a éclaté a eu de sérieuses conséquences pour son auteur. Experts et artistes suisses reviennent sur la validité des résultats de ce type d’outils et sur les implications pour la création artistique.
Thélyson Orélien, écrivain haïtien-canadien, allait au-devant d’une carrière prometteuse. Son récit C’était ça ou mourir, gros succès public et critique, était en lice pour le Goncourt et autres prix prestigieux. Jusqu’à ce qu’un compte anonyme sur X l’accuse d’avoir écrit la presque totalité de son ouvrage au moyen de l’intelligence artificielle (IA).
Thélyson Orélien a réfuté ce recours à l’IA pour écire sa nouvelle. Mais pour ses accusateurs, les preuves semblaient accablantes. Pangram, l’un des outils les plus utilisés pour détecter les contenus générés par l’IA, a estimé que plus de 95 % du livre avait été généré par l’IA.
À partir de là, la situation a pris une tournure défavorable pour Thélyson Orélien. Son roman a été retiré de la sélection du prix Goncourt, alors même que la presse révélait des cas de plagiat dans ses œuvres antérieures, pour lesquels il a présenté ses excuses. Son éditeur canadien a rompu ses liens avec lui après qu’une analyse externe a mis au jour de nouvelles preuves d’utilisation de l’IA. L’auteur a continué à nier avoir écrit le livre à l’aide de l’IA, tout en reconnaissant y avoir eu recours pour des recherches historiques au cours du processus de création.
Dès le départ, la controverse a rapidement divisé le monde littéraire, entre les défenseurs de l’auteur, qui questionnent la fiabilité de ces outils de détection d’IA, et ses détracteurs.
Au-delà du cas Orélien, le réalisateur, scénariste et chercheur suisse, Manuel Flurin Hendry voit une injustice à porter atteinte à la réputation d’un écrivain sur la seule base d’un score généré par un logiciel. «L’idée de soumettre un texte à Pangram pour ensuite mettre à mort socialement son auteur me semble inacceptable», a-t-il estimé en marge du sommet AI+X, début octobre. Manuel Flurin Hendry défend par ailleurs la liberté des artistes de choisir leurs outils.
D’autres écrivains et artistes suisses se sont livrés à des expériences avec l’IA en toute transparence. Charles Lewinsky a intégré des passages entiers générés par ChatGPT dans son roman Täuschend echt (en français: D’un réalisme trompeur). Le photographe Matthieu Gafsou, de son côté, a utilisé des outils de génération d’images comme DALL·E pour son travail artistique.
Ce sont là quelques exemples manifestes de l’immission de l’IA au sein du travail créatif, en Suisse aussi. Mais quand son utilisation est tue, voire dans certains cas généralisée, comment réagir? Même difficulté au moment de déterminer quel volume de contenu généré par l’IA est acceptable dans une œuvre d’art. Et que penser d’outils comme Pangram? Offrent-ils la preuve irréfutable d’une fraude?
Jusqu’où Pangram est-il fiable?
Hendrik Strobelt est chercheur chez IBM aux États-Unis. Pour lui, la question de la fiabilité de Pangram est complexe. En 2019, lui et ses collègues ont développé GLTR, un des tout premiers outils expérimentaux conçus pour aider à identifier les textes potentiellement générés par les modèles de langage.
À cette époque, OpenAI venait de lancer GPT-2, sur lequel reposait GLTR. Les modèles d’IA tendaient à produire des textes plutôt ennuyeux, jumeaux en termes de style, ces contenus étant alors les plus courants, selon Hendrik Strobelt.
Il était relativement simple de repérer si un texte avait été produit à l’aide de l’IA. Il suffisait de chercher les mots les plus probables.
Depuis, les modèles de langage ont gagné en sophistication. Avec les systèmes d’IA avancés d’aujourd’hui, il est devenu extrêmement difficile d’établir des règles claires pour distinguer un texte généré par l’IA d’un autre résultant d’un cerveau humain, assure le chercheur. «Ces modèles sont notablement plus puissants. Entraînés de manière appropriée, ils peuvent imiter différents styles», rappelle-t-il.
Un logiciel comme Pangram utilise la méthode dite de «classification supervisée». Il compare et classifie des textes rédigés avant la généralisation de l’IA générative, supposés avoir été rédigés par des humains, avec des versions «miroirs» sur le même sujet, générées par différents modèles de langage disponibles sur le marché.
Au cours de son entraînement, le logiciel apprend à identifier les différences entre ces textes. La logique est que si un système est à même de discriminer des écrits très similaires en termes de sujet, ses prédictions gagnent en précision.
Pangram revendiqueLien externe des taux de précision de 99,98% et de faux positifs de 0,01%. Ses performances élevées ont été confirmées par des recherches indépendantesLien externe, dont une étudeLien externe récente publiée cette année.
Chercheur en IA et en apprentissage automatique à l’Université de la Suisse italienne (USI), Paolo Italiani signale que plus un texte est long, plus l’évaluation du détecteur tend vers la fiabilité. «Il est très probable qu’au moins une portion [du texte] ait été générée par l’IA», juge-t-il.
Les limites des détecteurs d’IA
Cela étant, il est difficile de savoir exactement quelles caractéristiques d’un texte jaugent ces outils pour effectuer leurs classifications, pointe Lonneke van der Plas, professeure en traitement du langage naturel (NLP) à l’USI.
Pour mieux comprendre leur fonctionnement, il faudrait des études d’interprétabilité, explique la scientifique. Or, un outil commercial comme Pangram tient de la boîte noire dont le ventre demeure inaccessible aux chercheurs indépendants. Étudier la manière dont il parvient à ses conclusions tient de la gageure.
En théorie, certains indices, par exemple une structure argumentative trop linéaire, contribueraient à déterminer si un texte résulte davantage d’une IA ou d’un humain, ce que montre une étude corédigée par Lonneke van der Plas. Mais elle précise que ces éléments ne suffisent pas à établir avec certitude l’origine d’un texte.
La chercheuse relève aussi que les outils de détection sont souvent moins fiables dans les langues autres que l’anglais et sur les genres plus pointus, sans doute moins représentés dans leurs données d’apprentissage.
La difficulté s’accroît encore avec un texte résultant d’une collaboration entre humain et IA. Certaines études indiquentLien externe que la précision des détecteurs perd 20 points de pourcentage dans ces cas-là. Le propre rapport techniqueLien externe de Pangram signale une perte de précision lorsque le logiciel examine du contenu alternant phrases rédigées par l’humain et énoncés produits par l’IA.
«Ce logiciel a été entraîné surtout sur des textes entièrement écrits par des humains ou alors générés par des machines. Confronté à ce qui se situe entre deux, il est en difficulté», observe Lonneke van der Plas.
Un score n’est pas une preuve suffisante
Sous l’angle juridique, les résultats produits par les outils comme Pangram ne constituent pas une preuve que l’auteur a commis une fraude.
«Une décision légale ne peut pas se baser seulement sur ces technologies, sachant qu’elles peuvent être imprécises», indique Jacques de Werra, professeur de droit de la propriété intellectuelle à l’Université de Genève.
Dans l’hypothèse où le cas de Thélyson Orélien était porté devant un tribunal, en plus des scores des détecteurs, d’autres éléments de preuve seraient pris en compte, explique le juriste. Par exemple les manuscrits originaux, les versions successives du texte et même les échanges avec les systèmes d’IA. Jacques de Werra relève du reste que l’implication de l’IA dans un travail créatif n’invalide pas automatiquement les prétentions aux droits d’auteur de son instigateur.
«Si une personne peut démontrer qu’il existe un lien créatif suffisamment étroit entre la contribution initiale, l’émulation créative et le résultat final, il peut être possible de faire valoir la matérialité d’une création humaine.»
La clé est de savoir si la contribution créative de l’auteur est suffisante. Pas évident, suggère Jacques de Werra, sachant qu’il n’existe pas de seuil chiffré fixe permettant de déterminer le volume de texte minimal qu’une personne doit avoir rédigé pour qu’une œuvre soit considérée comme sienne.
Si un livre vous touche, le rôle de l’IA importe-t-il?
Cela dit, la question dépasse la seule sécurité juridique, juge l’artiste et enseignant Manuel Flurin Hendry. Ce dernier a recours, en toute transparence, à des technologies basées sur l’IA, dont certaines ont été développées par lui-même. Et ce, dans diverses facettes de son travail, comme l’analyse de scénarios ou ses recherches académiques.
La technologie, explique-t-il, est gage de nouvelles sources d’inspiration, suggérant parfois des approches qu’il n’avait pas envisagées jusque-là. Elle permet aussi de consacrer plus de temps au processus créatif lui-même.
«L’écriture authentiquement humaine, c’est la pensée qui agit. Elle requiert une certaine tension et nécessite de se mettre dans un état qui permet de se concentrer sur le flux de ses pensées.»
Manuel Flurin Hendry va plus loin et interroge: en quoi la part d’IA dans la production d’une œuvre importe-t-elle? «Si vous êtes remués, si elle vous intéresse, vous incite à la réflexion, où est le problème?»
Ce qui compte aux yeux de Manuel Flurin Hendry, c’est d’identifier les tâches à déléguer à l’IA et celles à opérer par soi-même. Plutôt que de rejeter la technologie, les artistes auraient selon lui tout intérêt à se montrer transparents sur la manière dont ils y recourent.
«Si je prétends que je suis l’auteur [d’une œuvre] alors qu’elle est entièrement générée par l’IA, c’est du bidon», considère Manuel Flurin Hendry.
Et la réputation de l’artiste n’est pas seule en jeu ici. C’est surtout la relation de confiance avec le public qui est mise à mal.
Texte relu et vérifié par Gaby Bullard / traduit de l’anglais par Pierre-François Besson
Voir plus d’articles de Swissinfo dans vos résultats Google. En savoir plus
En conformité avec les normes du JTI
Plus: SWI swissinfo.ch certifiée par la Journalism Trust Initiative
Vous pouvez trouver un aperçu des conversations en cours avec nos journalistes ici. Rejoignez-nous !
Si vous souhaitez entamer une conversation sur un sujet abordé dans cet article ou si vous voulez signaler des erreurs factuelles, envoyez-nous un courriel à french@swissinfo.ch.