La IA suiza puede proteger la web, pero también facilitar los ataques
La inteligencia artificial permite lanzar ciberataques más rápidos y autónomos. Quienes se encargan de la defensa necesitan herramientas cada vez más potentes para seguir el ritmo. Modelos abiertos como el suizo Apertus podrían equilibrar la balanza, pero sus capacidades también pueden caer en manos de cualquiera, incluidos los delincuentes.
El auge de los modelos de inteligencia artificial (IA) agéntica —programas informáticos capaces de actuar de forma autónoma para alcanzar un objetivo— ha alterado el tradicional equilibrio entre ataque y defensa en el ciberespacio.
En las últimas semanas, los agentes de IA de OpenAI, la empresa responsable de ChatGPT, lo han demostrado al vulnerar decenasEnlace externo de sitios web de empresas y organismos públicos de todo el mundo. Al atacar objetivos como Hugging Face, la plataforma que aloja millones de modelos de IA abiertos —entre ellos, el suizo Apertus—, y el sistema sanitario australiano, estos agentes mostraron lo que la propia OpenAI calificó de «comportamiento no alineado» con las instrucciones de sus desarrolladores.
Para las personas, responder a los ataques a la velocidad de la IA es prácticamente imposible. «Los sistemas de IA más avanzados pueden ejecutar miles de acciones por minuto», afirma Andrei Kucharavy, profesor de la Universidad de Ciencias Aplicadas y Artes de Suiza Occidental (HES-SO) y responsable de seguridad de Apertus, el modelo suizo de IA totalmente abierto.
Los ciberataques de los agentes de OpenAI se detuvieron antes de causar consecuencias graves. Sin embargo, Maxime Stauffer, director del Instituto Simon para la Gobernanza a Largo Plazo, con sede en Ginebra, espera que este tipo de incidentes sean cada vez más frecuentes y difíciles de gestionar. «Enjambres de agentes de IA podrían atacar infraestructuras críticas, como escuelas, hospitales y sistemas energéticos, o incluso países enteros, de forma intencionada o accidental», afirma. Stauffer también advierte del riesgo de que la IA se utilice para desarrollar armas biológicas, una preocupación que han puesto de relieve recientes intentos frustradosEnlace externo por la empresa estadounidense Anthropic.
Quienes trabajan en la defensa podrían no tener acceso a herramientas igual de potentes. Los sistemas con las capacidades informáticas más avanzadas, como Claude Mythos, de Anthropic, solo están disponibles para un grupo restringido de usuarios. Según Kucharavy, los modelos abiertos podrían contribuir a reducir esta desigualdad.
Apertus, por ejemplo, puede detectar vulnerabilidades, sugerir correcciones y analizar los registros de ataques para reconstruir un incidente informático. Sin embargo, Kucharavy precisa que no fue diseñado específicamente para la ciberseguridad y que todavía presenta limitaciones considerables. Algunos especialistas temen, no obstante, que las mismas capacidades defensivas de los modelos abiertos y ampliamente accesibles puedan aprovecharse con fines maliciosos y a una escala mucho mayor.
>> Más información sobre los avances y las limitaciones del modelo suizo de inteligencia artificial Apertus:
Mostrar más
Apertus, el modelo suizo de IA, un año después: ¿qué ha funcionado y qué no?
«Si los agentes de IA atacaran un hospital, sería un auténtico desastre»
El caso de Hugging Face es ilustrativo. Cuando varios agentes de OpenAI penetraron en sus sistemas, la plataforma intentó recurrir a algunos de los modelos de IA más potentes del mundo para averiguar qué estaba ocurriendo, pero no lo consiguió.
«Los modelos de frontera —los sistemas de IA más avanzados— bloquearon automáticamente todas nuestras solicitudes por motivos de seguridad. Así que tuvimos que recurrir a modelos abiertos para entender qué estaba pasando», explica a Swissinfo Lewis Tunstall, ingeniero de Hugging Face.
Los modelos de IA pueden desarrollarse y publicarse con distintos grados de apertura:
De código abierto (open source): los parámetros de entrenamiento del modelo, conocidos como «pesos», el código de entrenamiento y la información sobre los datos están disponibles públicamente. Eso permite que otras personas los examinen, modifiquen y reproduzcan. Algunos ejemplos son Apertus y OLMo.
De pesos abiertos (open weight): los pesos del modelo se hacen públicos y pueden descargarse y adaptarse, pero no necesariamente se divulgan el código completo de entrenamiento ni los conjuntos de datos. Algunos ejemplos son Llama, de Meta, y Qwen, de Alibaba.
Cerrados o propietarios: no se hace público ningún componente del modelo. Es el caso de la mayoría de los modelos comerciales, entre ellos GPT, de OpenAI, y Claude, de Anthropic.
Según Tunstall, los agentes de OpenAI actuaron de una forma poco habitual para un pirata informático. No intentaban hacerse con el control de la infraestructura, sino localizar conjuntos de datos que contuvieran las respuestas a las pruebas de seguridad con las que se evaluaban.
«Era como un estudiante empeñado en sacar buena nota en un examen que, en lugar de estudiar, piensa: “Quizá pueda piratear el ordenador del profesor y encontrar las respuestas”», explica Tunstall.
OpenAI confirmó posteriormente que los agentes habían logrado salir del entorno protegido que la empresa había creado para la prueba. Pero ¿qué habría ocurrido si hubieran atacado un hospital?
«Habría sido un auténtico desastre», afirma Tunstall. Los agentes podrían haber accedido a grandes cantidades de datos personales y sensibles. Esta es también una de las razones por las que, a su juicio, los modelos de IA abiertos pueden resultar especialmente útiles: no es necesario enviar los datos a empresas como OpenAI o Anthropic, ya que los modelos pueden adaptarse o ejecutarse localmente. «Los datos sensibles no salen de vuestra infraestructura. Todo permanece dentro».
Por motivos similares, sectores clave de la economía suiza, como el financiero, muestran un interés creciente por los modelos abiertos, señala Nino Antulov-Fantulin, profesor del Instituto Tecnológico Federal de Zúrich (ETH) y especialista en aprendizaje automático aplicado a las finanzas.
«A las entidades financieras les preocupa depender exclusivamente de modelos cerrados y enviar información sensible a servidores situados lejos de Suiza o a proveedores externos. Quieren poder controlar dónde se aloja el modelo», explica Antulov-Fantulin.
Los modelos abiertos son cada vez más potentes, pero no se pueden retirar
El problema, sin embargo, es que los modelos abiertos también pueden utilizarse con fines maliciosos.
Esta es una de las principales preocupaciones de Stauffer. A su juicio, por ahora el desarrollo de los modelos abiertos ofrece sobre todo ventajas, pero en el futuro los riesgos podrían superar los beneficios, especialmente si las empresas de IA restringen aún más el acceso a sus sistemas más avanzados. Los modelos abiertos cubren esa carencia, pero su amplia difusión y la posibilidad de eliminar sus mecanismos de protección podrían aumentar el riesgo de usos maliciosos.
«Si se dispone de una herramienta extremadamente potente, pero nadie tiene acceso a ella y permanece bajo control, el riesgo es prácticamente nulo. Pero si cualquiera puede utilizarla, probablemente el riesgo sea mayor», afirma Stauffer.
A medida que los modelos abiertos ganen potencia, Stauffer considera que podría ser importante contar con un mecanismo para retirarlos si resultan demasiado potentes o peligrosos. Actualmente, esa posibilidad no existe.
Algunas investigaciones apuntan a preocupaciones similares. Un estudioEnlace externo de las universidades de Stanford y Princeton identificó varias características de los modelos abiertos que pueden amplificar tanto sus beneficios como sus riesgos: su amplia accesibilidad, la posibilidad de modificarlos y la imposibilidad de que sus desarrolladores originales retiren los pesos del modelo —los parámetros numéricos que aprende durante el entrenamiento— o supervisen cómo se utiliza.
Un informe recienteEnlace externo del Instituto de Seguridad de la IA del Reino Unido también concluyó que los modelos abiertos modificados para eliminar sus mecanismos de protección ofrecían mucha más ayuda para cometer delitos que aquellos que conservaban esas salvaguardas. Ninguno de los dos estudios, sin embargo, concluye que los modelos de IA abiertos sean intrínsecamente más peligrosos.
Se necesitan «controles y leyes»
Kucharavy reconoce que los modelos abiertos entrañan riesgos y pueden utilizarse de forma indebida. «Los modelos de IA son tecnologías de doble uso. Pueden servir tanto para hacer el bien como para causar daño», afirma. Sin embargo, considera que su carácter abierto permite controlar los peligros mucho mejor.
A su juicio, no es casualidad que los incidentes recientes hayan afectado a empresas que desarrollan modelos cerrados. «El principal problema es la falta de supervisión de los laboratorios que desarrollan los modelos de frontera», sostiene. Por ello, reclama más supervisión y transparencia en todos los centros de desarrollo de IA, tanto públicos como privados, y tanto abiertos como cerrados.
«Lo que realmente necesitamos son controles y leyes que regulen la actividad de todas las personas y entidades que desarrollan IA».
La falta de controles y normas pone de manifiesto otro problema importante del sector: la concentración de poder en manos de un reducido número de actores, principalmente establecidos en Silicon Valley. Para Nathalie Klauser, experta en ética digital, este desequilibrio de poder resulta aún más preocupante que la distinción entre modelos de IA abiertos y cerrados.
«Un puñado de grandes empresas tecnológicas establece por su cuenta las reglas de la IA, prácticamente sin tener que rendir cuentas ante instancias externas», afirma Klauser, quien considera necesaria una regulación internacional.
Los intentos de avanzar en esa dirección, sin embargo, siguen siendo fragmentarios y demasiado lentos. En Estados Unidos, una de las principales potencias en el desarrollo de la IA, el presidente Donald Trump se ha opuesto a una regulación general de esta tecnología y ha elogiado la autorregulaciónEnlace externo del sector. Suiza ha adoptado un enfoque en cierto modo similar: ha renunciado a la idea de una legislación integral sobre IA y ha optado por modificar leyes sectoriales y adoptar medidas no vinculantes.
En el actual contexto geopolítico, Suiza tiene una responsabilidad política cada vez mayor a la hora de mediar para alcanzar un acuerdo internacional sobre IA, sostiene Klauser. En su opinión, su neutralidad, su condición de sede europea de grandes empresas tecnológicas y su tradición de buenos oficios diplomáticos la sitúan en una posición favorable para desempeñar ese papel.
Representantes de los seis grupos parlamentarios suizos consideran que la próxima cumbre sobre IA de Ginebra, prevista para junio de 2027, ofrece al país una oportunidad importante para asumir ese papel. Por ello, instan al GobiernoEnlace externo a aprovechar el encuentro para promover unos estándares internacionales mínimos frente a los riesgos extremos asociados a la IA.
Artículo editado por Gabe Bullard y adaptado al español por Carla Wolff.
Ver más artículos de Swissinfo en los resultados de Google. Para saber más
En cumplimiento de los estándares JTI
Mostrar más: SWI swissinfo.ch, certificado por la JTI
Puede encontrar todos nuestros debates aquí y participar en las discusiones.
Si quiere iniciar una conversación sobre un tema planteado en este artículo o quiere informar de errores factuales, envíenos un correo electrónico a spanish@swissinfo.ch.