La mayoría de los bots de IA carecen de información básica publicada sobre seguridad
Redacción Ciencia, 20 feb (EFE).- A medida que los bots de inteligencia artificial (IA) se convierten rápidamente en parte de la vida cotidiana, la divulgación de información básica sobre seguridad “está quedando peligrosamente atrás”.
Una investigación sobre los 30 principales agentes de IA revela que solo cuatro han publicado documentos formales de seguridad y evaluación relacionados con los bots reales.
La nueva ola de agentes de navegadores web con IA, muchos de ellos diseñados para imitar la navegación humana, presenta los índices más altos de falta de información sobre seguridad, indica el estudio, encabezado por la Universidad de Cambridge y que publica Reports and Proceedings.
Esta investigación sobre el ecosistema de agentes de IA sugiere que, a medida que estos bots se convierten en parte de la vida cotidiana, la divulgación de información básica sobre seguridad “se está quedando peligrosamente atrás”.
El equipo descubrió que los desarrolladores de IA comparten gran cantidad de datos sobre lo que estos agentes pueden hacer, pero ocultan las pruebas de las prácticas de seguridad necesarias para evaluar los riesgos que plantea la IA.
El Índice de agentes de IA es un proyecto en el que participan el Instituto de Tecnología de Massachusetts (MIT), Stanford y la Universidad Hebrea de Jerusalén, que investiga las capacidades, la transparencia y la seguridad de treinta agentes de IA de última generación, basándose en información pública y en la correspondencia con los desarrolladores.
La última actualización del índice analizó los datos disponibles de una serie de bots de IA líderes en chat, navegadores y flujos de trabajo, creados principalmente en Estados Unidos y China.
El equipo encontró una “brecha de transparencia significativa”, indica un comunicado de la Universidad de Cambridge, pues solo los desarrolladores de cuatro bots de IA del índice publican ‘tarjetas de sistema’ específicas para cada agente.
Se trata de documentos formales de seguridad y evaluación que abarcan desde los niveles de autonomía y el comportamiento hasta los análisis de riesgos en el mundo real.
Además, 25 de los 30 agentes de IA incluidos en el índice no revelan los resultados internos en materia de seguridad, mientras que 23 no proporcionan datos de pruebas realizadas por terceros, a pesar de que estos son los datos empíricos necesarios para evaluar rigurosamente el riesgo.
Únicamente se han publicado incidentes o preocupaciones de seguridad conocidos para cinco agentes, mientras que se han documentado “vulnerabilidades de inyección de comandos” (cuando instrucciones maliciosas manipulan al agente para que ignore las medidas de seguridad) para dos de esos agentes.
De los cinco agentes de IA chinos analizados, solo uno había publicado algún tipo de marco de seguridad o normas de cumplimiento, agrega la nota.
Los investigadores identifican 13 agentes de IA que muestran “niveles pioneros” de autonomía, pero solo cuatro de ellos revelan evaluaciones de seguridad del propio bot.
Los criterios para aparecer en el índice incluían la disponibilidad pública y la facilidad de uso, así como que los desarrolladores tuvieran una valoración de mercado superior a los 1.000 millones de dólares estadounidenses.
La actualización del índice muestra que, aparte de los bots de IA chinos, casi todos los agentes dependen de unos pocos modelos básicos (GPT, Claude, Gemini), lo que supone una importante concentración del poder de las plataformas detrás de la revolución de la IA, así como posibles puntos de estrangulamiento sistémicos.
“Esta dependencia compartida crea posibles puntos únicos de fallo”, en palabras de Leon Staufer, de la Universidad de Cambridge y uno de los firmantes.
De esta manera, “un cambio en los precios, una interrupción del servicio o una regresión en la seguridad de un modelo podría afectar a cientos de agentes de IA. También crea oportunidades para realizar evaluaciones y supervisiones de seguridad”, agregó.
Muchos de los agentes menos transparentes son navegadores web mejorados con IA diseñados para realizar tareas en la web abierta en nombre del usuario: hacer clic, desplazarse y rellenar formularios para tareas que van desde la compra de entradas de edición limitada hasta la supervisión de pujas online. EFE
cr/icn
