¿Hasta qué punto son fiables los detectores de IA?
La polémica estalló cuando un programa atribuyó a la inteligencia artificial una novela de éxito, con graves consecuencias para su autor. Especialistas y artistas de Suiza analizan hasta qué punto son fiables estas herramientas y qué implican sus resultados para la creación artística.
El escritor haitiano-canadiense Thélyson Orélien tenía por delante una prometedora carrera literaria. Su novela C’était ça ou mourir (‘Era eso o morir’), aclamada por la crítica y el público, optaba a algunos de los premios literarios más prestigiosos de Francia, entre ellos el Goncourt. Todo cambió cuando una cuenta anónima de X lo acusó de haber escrito casi todo el libro con inteligencia artificial (IA).
Orélien negó haber utilizado IA para escribir la novela. Sin embargo, quienes lo acusaban consideraban que las pruebas eran concluyentes: Pangram, uno de los programas más conocidos para detectar textos generados por IA, había clasificado como artificial más del 95 % del libro.
La situación se agravó. La novela quedó fuera de la selección del Goncourt, también tras las informaciones de la prensa sobre casos de plagio en textos anteriores del escritor, por los que este se disculpó. La editorial canadiense que lo publicaba puso fin a su colaboración después de que un análisis externo encontrara nuevos indicios del uso de IA. Orélien siguió negando haber escrito C’était ça ou mourir con esta tecnología, aunque reconoció haberla utilizado durante el proceso creativo para realizar investigaciones históricas.
Desde el principio, la polémica dividió al mundo literario entre quienes defendían al escritor y cuestionaban la fiabilidad de los detectores de IA y quienes lo criticaban.
Más allá del caso de Orélien, el director de cine, guionista y profesor suizo Manuel Flurin Hendry considera injusto dañar la reputación de un escritor basándose en los resultados de un programa informático.
«Copiar un texto en Pangram y someter después a un escritor a una especie de linchamiento público me parece inaceptable», declaró a Swissinfo durante una entrevista en la cumbre AI+X, celebrada a principios de octubre. Hendry defiende la libertad de los artistas para elegir sus propias herramientas.
Otros escritores y artistas suizos también han experimentado abiertamente con la IA. El escritor Charles Lewinsky incorporó pasajes enteros generados por ChatGPT a su novela Täuschend echt. Por su parte, el fotógrafo Matthieu Gafsou ha utilizado herramientas de generación de imágenes, como DALL·E, en su trabajo artístico.
Son solo algunos ejemplos reconocidos del uso de la IA en la creación artística en Suiza. Sin embargo, resulta mucho más difícil determinar cómo actuar cuando se utiliza de forma generalizada y sin declararlo. También es complicado establecer hasta qué punto una máquina puede contribuir legítimamente a una obra artística y si herramientas como Pangram son fiables a la hora de detectar posibles fraudes.
¿Hasta qué punto es fiable Pangram?
Para Hendrik Strobelt, investigador sénior de IBM en Estados Unidos, la fiabilidad de Pangram es una cuestión compleja. En 2019, Strobelt y sus colegas desarrollaron GLTR, una de las primeras herramientas experimentales para identificar textos que podrían haber sido generados por modelos lingüísticos.
Por aquel entonces, OpenAI acababa de publicar GPT-2, el modelo en el que se basaba GLTR. Según explica Strobelt, los sistemas de IA tendían a producir textos monótonos y muy similares entre sí, porque ese tipo de contenido era el más habitual.
Por eso, detectar si un texto se había escrito con ayuda de la IA resultaba relativamente sencillo: bastaba con identificar las palabras más predecibles.
Sin embargo, los modelos lingüísticos han evolucionado. Strobelt considera que, con los sistemas avanzados actuales, resulta extremadamente difícil establecer reglas precisas para distinguir un texto generado por IA de otro escrito por una persona.
«Estos modelos son hoy mucho más sofisticados. Pueden imitar distintos estilos si reciben las instrucciones adecuadas», afirma el investigador de IBM.
Programas como Pangram utilizan un método conocido como «clasificación supervisada». Comparan textos escritos antes de la expansión de la IA generativa, considerados presumiblemente de autoría humana, con versiones paralelas sobre los mismos temas generadas por distintos modelos lingüísticos disponibles en el mercado. Durante el entrenamiento, el programa aprende a reconocer las diferencias entre ambos tipos de texto.
La idea es que, si un sistema consigue distinguir textos muy similares en cuanto al tema, podrá realizar predicciones más precisas.
«El objetivo es entrenar el sistema con textos muy parecidos entre sí para que aprenda primero a abordar los casos más difíciles», explica Strobelt.
Pangram afirma en su webEnlace externo que alcanza una precisión del 99,98 % y una tasa de falsos positivos del 0,01 %. Diversos estudios independientesEnlace externo también han respaldado su elevado rendimiento, entre ellos una investigaciónEnlace externo publicada este año.
Según Paolo Italiani, investigador de inteligencia artificial y aprendizaje automático en la Universidad de la Suiza Italiana (USI), cuanto más largo es un texto, más fiable suele ser la evaluación de un detector.
Los límites de los detectores de IA
Sin embargo, sigue siendo difícil saber exactamente en qué características de un texto se basan estos programas para clasificarlo, explica Lonneke van der Plas, profesora de procesamiento del lenguaje natural en la USI.
Para averiguarlo serían necesarios estudios de interpretabilidad, señala Van der Plas. Pero, como las herramientas comerciales como Pangram funcionan en gran medida como cajas negras cuyo funcionamiento no está al alcance de los equipos de investigación independientes, resulta complicado estudiar cómo llegan a sus conclusiones.
En teoría, ciertos indicios, como una estructura argumentativa demasiado lineal, podrían apuntar al uso de IA, según una investigación en la que participó Van der Plas. Sin embargo, advierte la investigadora, estas características no bastan para determinar con certeza el origen de un texto.
Van der Plas también señala que los detectores suelen ser menos fiables en idiomas distintos del inglés y en géneros más especializados, que podrían haber aparecido con menor frecuencia durante su entrenamiento.
El problema se complica aún más cuando un texto es fruto de la colaboración entre una persona y la IA. Algunas pruebas muestranEnlace externo que, en estos casos, la precisión de los detectores disminuye unos 20 puntos porcentuales. El propio informeEnlace externo técnico de Pangram también indica que el programa pierde precisión cuando analiza contenidos que alternan frases escritas por personas y otras generadas por IA.
«Estas herramientas se han entrenado principalmente con textos escritos íntegramente por personas o generados por completo por máquinas. En cuanto se encuentran con algo intermedio, dejan de funcionar bien», afirma Van der Plas.
Un porcentaje no basta como prueba
Desde el punto de vista jurídico, los resultados de herramientas como Pangram no constituyen una prueba de que un autor haya cometido fraude.
«Una decisión judicial no puede basarse únicamente en estas tecnologías, porque pueden ser imprecisas», afirma Jacques de Werra, profesor de Derecho de la Propiedad Intelectual en la Universidad de Ginebra.
Si un caso como el de Orélien llegara a los tribunales, explica De Werra, habría que examinar otras pruebas además de los resultados de los detectores, como los manuscritos originales, los borradores sucesivos e incluso los intercambios con sistemas de IA. El profesor subraya también que recurrir a la IA durante el proceso creativo no impide automáticamente que un autor pueda reclamar los derechos de autor sobre su obra.
«Si una persona consigue demostrar que existe un vínculo creativo suficientemente estrecho entre las instrucciones y las indicaciones creativas que proporciona a la IA y el resultado final, podría reconocerse una aportación creativa humana», afirma.
La cuestión fundamental es determinar si esa aportación del autor es suficiente. Sin embargo, De Werra sostiene que no existe un umbral numérico establecido que permita determinar qué proporción de una obra debe escribir una persona para que pueda considerarse suya.
Si un libro nos emociona, ¿importa quién lo ha escrito?
Para Manuel Flurin Hendry, sin embargo, la cuestión va más allá de la protección jurídica.
El director de cine y guionista suizo reconoce públicamente que utiliza tecnologías basadas en IA, algunas desarrolladas por él mismo, para distintas tareas relacionadas con su trabajo, desde el análisis de guiones hasta el apoyo a la investigación académica.
Según explica, esta tecnología abre nuevas vías de inspiración y a veces le sugiere enfoques que no se le habían ocurrido. También le permite dedicar más tiempo al proceso creativo.
«Escribir de verdad es pensar mientras se trabaja. Requiere cierta resistencia y la capacidad de alcanzar un estado en el que uno pueda concentrarse exclusivamente en el flujo de sus pensamientos», afirma.
Hendry plantea una pregunta provocadora: ¿por qué debería importar cuánto ha contribuido la IA a una obra? «Si nos emociona, nos parece interesante o nos hace reflexionar, ¿cuál es el problema?», pregunta.
A su juicio, lo importante es aprender a distinguir qué tareas conviene delegar en la IA y cuáles es mejor realizar personalmente. En lugar de rechazar esta tecnología, los artistas deberían explicar con transparencia cómo la utilizan.
«Si finjo que una obra es mía cuando, en realidad, ha sido generada íntegramente por IA, entonces es una falsificación», afirma Hendry. Lo que está en juego no es solo la reputación de un artista, sino, sobre todo, la confianza de su público.
Artículo editado por Gabe Bullard y adaptado al español por Carla Wolff.
Ver más artículos de Swissinfo en los resultados de Google. Para saber más
En cumplimiento de los estándares JTI
Mostrar más: SWI swissinfo.ch, certificado por la JTI
Puede encontrar todos nuestros debates aquí y participar en las discusiones.
Si quiere iniciar una conversación sobre un tema planteado en este artículo o quiere informar de errores factuales, envíenos un correo electrónico a spanish@swissinfo.ch.