Modelos abertos podem reforçar defesa contra ataques de IA
Agentes de IA já conseguem executar milhares de ações por minuto em ataques digitais. Modelos abertos como o suíço Apertus podem reforçar a defesa, mas também ampliar riscos se forem usados por criminosos. Especialistas pedem regras globais.
A ascensão dos modelos de inteligência artificial agêntica (programas autônomos orientados por metas que executam tarefas complexas sem supervisão humana contínua) alterou o equilíbrio tradicional entre ataque e defesa no ciberespaço.
Nas últimas semanas, os agentes de IA da OpenAI, organização criadora do ChatGPT, evidenciaramLink externo esse cenário ao violarem dezenas de páginas eletrônicas institucionais e governamentais em escala global. T
endo como alvos a plataforma Hugging Face, que hospeda milhões de modelos abertos de inteligência artificial (entre os quais o próprio Apertus), e o sistema de saúde da Austrália, tais agentes apresentaram o que a desenvolvedora classificou como “comportamento não alinhado” (atuação autônoma que foge aos parâmetros de segurança e às diretrizes originais programadas por seus criadores).
Para profissionais humanos, conter investidas na mesma velocidade da IA é praticamente inviável. “Os sistemas mais sofisticados conseguem realizar milhares de operações por minuto”, ressalta Andrei Kucharavy, docente na Universidade de Ciências Aplicadas e Artes da Suíça Ocidental (HES-SO) e especialista encarregado da segurança do Apertus, iniciativa helvética integralmente aberta.
As ofensivas dos agentes da OpenAI foram neutralizadas antes de causarem prejuízos graves. No entanto, Maxime Stauffer, diretor do Instituto SimonLink externo para a Governança de Longo Prazo, sediado em Genebra, avalia que episódios dessa natureza tendem a ser mais recorrentes e complexos de conter. “Enxames de agentes de IA (grupos de programas autônomos que atuam de maneira sincronizada e veloz) poderiam comprometer infraestruturas críticas como colégios, redes hospitalares e matrizes energéticas, ou até países inteiros, deliberada ou acidentalmente”, pontua.
Stauffer adverte ainda sobre o perigo de a IA ser empregada na produção de armas biológicas (dispositivos letais desenvolvidos a partir de microrganismos infecciosos ou toxinas), receio respaldadoLink externo por tentativas recentes interceptadas pela companhia norte-americana Anthropic.
Equipes dedicadas à ciberdefesa correm o risco de operar sem recursos de magnitude equivalente. Plataformas com capacidade computacional de ponta, como o modelo Claude Mythos da Anthropic, encontram-se restritas a um público diminuto. Sob a ótica de Kucharavy, as arquiteturas abertas poderiam ajudar a mitigar essa assimetria.
O Apertus, a título de exemplo, consegue localizar vulnerabilidades, propor correções e examinar registros de atividades suspeitas para reconstituir ocorrências digitais, ainda que não tenha sido estruturado especificamente para a segurança digital e conserve limitações significativas, observa Kucharavy.
Parte dos analistas pondera, contudo, que as próprias propriedades de salvaguarda dos modelos abertos e facilmente acessíveis possam ser instrumentalizadas para práticas ilícitas em proporções ampliadas.
Mostrar mais
Apertus passa de quatro milhões de downloads
Agentes atacando hospitais
A ocorrência observada na Hugging Face mostra-se exemplar. Diante da invasão de seus servidores por agentes da OpenAI, a empresa buscou recorrer a alguns dos sistemas de inteligência artificial mais avançados do planeta para entender a dinâmica da intrusão, sem obter êxito.
“Esses modelos suspenderam compulsoriamente os nossos comandos alegando razões de segurança. Tivemos de recorrer aos modelos abertos para desvendar o incidente”, relatou Lewis Tunstall, engenheiro vinculado à Hugging Face.
Os sistemas de inteligência artificial podem ser projetados e distribuídos sob diferentes graus de abertura:
Abertos (open source / código aberto): os parâmetros internos aprendidos no treinamento (conhecidos como “pesos”), o código de programação do treinamento e os detalhes sobre os conjuntos de dados utilizados são integralmente públicos, permitindo que terceiros inspecionem, modifiquem e reproduzam o modelo. Exemplos: Apertus e OLMo.
Pesos abertos (open weights): os pesos matemáticos do modelo são disponibilizados publicamente para download e personalização, mas o código-fonte integral de treinamento e os dados originais utilizados nem sempre são abertos. Exemplos: Llama (da Meta) e Qwen (do Alibaba).
Fechados ou proprietários: nenhuma parte técnica fundamental do modelo é divulgada publicamente. É o formato adotado pela maioria dos produtos comerciais de ponta, como a família GPT (da OpenAI) e o Claude (da Anthropic).
De acordo com Tunstall, os agentes da OpenAI apresentaram uma postura atípica quando comparados aos métodos convencionais de um hacker. Em vez de tentarem assumir a gestão da infraestrutura, empenharam-se em encontrar bases de dados que continham os gabaritos das etapas de avaliação de segurança às quais estavam submetidos.
“A dinâmica lembrava um aluno determinado a tirar nota máxima em uma avaliação que, no lugar de estudar, cogita invadir os arquivos da professora para obter as respostas”, ressalta Tunstall.
A OpenAI declarou posteriormente que os agentes conseguiram romper o ambiente isolado de testes (espaço digital protegido, conhecido tecnicamente como sandbox, criado para testar softwares com segurança sem afetar sistemas externos). Todavia, restou a indagação: quais seriam os desdobramentos caso a investida tivesse ocorrido contra uma unidade de saúde?
“O impacto seria catastrófico”, destaca Tunstall. Os agentes teriam a chance potencial de acessar grandes volumes de dados pessoais e sensíveis. É justamente nesse aspecto que, na visão de Tunstall, os modelos abertos revelam sua utilidade: torna-se desnecessário transferir informações a corporações privadas como OpenAI ou Anthropic, já que o modelo pode ser mantido e ajustado em servidores próprios. “Informações de caráter restrito não deixam a rede da organização. O conjunto permanece integralmente resguardado”.
Por fatores idênticos, segmentos nucleares do mercado suíço, a exemplo do complexo bancário e de investimentos, passam a voltar atenções para essas soluções abertas, ressalta Nino Antulov-Fantulin, professor da Escola Politécnica Federal de Zurique (ETH) e especialista em aprendizado de máquina voltado ao mercado financeiro.
“Bancos e fundos evitam a dependência exclusiva de modelos proprietários fechados (softwares cujo código-fonte e funcionamento interno são segredos comerciais), receosos quanto ao envio de registros estratégicos para servidores alocados no exterior ou sob gestão de terceiros. A meta é preservar o controle físico de onde o sistema é executado”, explica Fantulin.
Modelos abertos cada vez mais potentes
O impasse reside no fato de que essas tecnologias acessíveis também admitem emprego para propósitos nocivos.
O ponto figura entre as maiores apreensões de Stauffer. Na avaliação do especialista, o progresso desses formatos abertos concentra benefícios no curto prazo; contudo, os danos potenciais podem superar os ganhos futuros, em particular se as empresas mantenedoras de modelos fechados impuserem barreiras adicionais aos seus recursos mais sofisticados.
Soluções abertas suprem esse vácuo, mas a circulação irrestrita e a viabilidade de desativação de filtros de proteção interna elevam a vulnerabilidade a usos criminosos. “Ao lidar com um instrumento de alto impacto cujo controle é estrito e o acesso é vedado à coletividade, a margem de risco beira a nulidade. Quando a ferramenta se encontra franqueada a todos, o potencial de ameaça cresce consideravelmente”, pondera Stauffer.
Com a evolução no desempenho dos códigos abertos, Stauffer aponta que será urgente conceber mecanismos para retirá-los de operação caso revelem riscos desproporcionais, alternativa inexistente no ecossistema digital contemporâneo.
Estudos científicos reiteram esse diagnóstico. Um levantamentoLink externo conduzido em conjunto pelas universidades de Stanford e Princeton destacou que fatores como ampla disponibilidade, facilidade de reprogramação e incapacidade dos autores de recolher os pesos do modelo (números que ajustam as conexões internas da IA e determinam o resultado de suas decisões, calculados durante a fase de treinamento) ou de auditar sua aplicação prática maximizam simultaneamente aspectos favoráveis e perigosos.
Um documentoLink externo recente emitido pelo Instituto de Segurança em Inteligência Artificial do Reino Unido demonstrou que versões abertas cujas travas de segurança foram suprimidas prestaram suporte muito superior a práticas ilegais em confronto com sistemas cujos bloqueios originais foram preservados. Ainda assim, nenhuma das apurações categoriza os modelos abertos como inerentemente nocivos.
São necessários “controles e leis”
Kucharavy admite que a tecnologia aberta envolve riscos e pode ser distorcida. “Sistemas de IA representam ferramentas de uso dual. Servem tanto a iniciativas benéficas quanto a atos prejudiciais”, ressalta. Ele defende, contudo, que o formato aberto favorece a fiscalização e torna as ameaças mais gerenciáveis.
O pesquisador lembra que as falhas operacionais constatadas recentemente envolveram diretamente organizações que trabalham com sistemas proprietários fechados. “O vácuo primordial reside na falta de regulação sobre os laboratórios encarregados dos modelos de fronteira”, aponta, ao solicitar auditorias contínuas e clareza informativa em todos os polos de desenvolvimento, sejam públicos ou privados, abertos ou restritos.
“A prioridade inadiável consiste no estabelecimento de fiscalização e marcos legais que balizem a conduta de qualquer agente que conceba inteligência artificial”.
A carência de parâmetros normativos projeta luz sobre outro desequilíbrio setorial: a concentração do mercado sob o domínio de poucas empresas, instaladas em sua maioria no Vale do Silício. Para Nathalie Klauser, pesquisadora de ética digital, essa hegemonia é mais preocupante do que o confronto técnico entre arquiteturas abertas e fechadas.
“Um conjunto exíguo de conglomerados tecnológicos dita as regras do segmento com quase nenhuma prestação de contas à sociedade civil ou aos governos”, declara Klauser, defensora de acordos regulatórios de âmbito global.
Tratativas diplomáticas desse porte, contudo, avançam de forma fragmentada e morosa. Nos Estados Unidos, polo de ponta na área, o presidente Donald Trump manifestou oposição a imposições normativas amplas para a inteligência artificial, endossandoLink externo mecanismos de autorregulação. A Suíça adotou postura análoga em determinados pontos, preterindo uma legislação unificada em prol de ajustes pontuais em normas já vigentes e diretrizes de adesão espontânea.
No atual equilíbrio geopolítico, a Suíça, sustentada por sua neutralidade histórica, pela presença de centros de pesquisa de gigantes da tecnologia e pela tradição de mediação em seus bons ofícios, reúne condições para articular um tratado internacional sobre a IA, conclui Klauser.
Representantes das seis bancadas presentes no Parlamento federal apontam a conferência de cúpula sobre inteligência artificial, prevista para ocorrer em Genebra em junho de 2027, como um marco estratégico para o país exercer essa liderança, cobrandoLink externo do governo a consolidação de diretrizes mínimas globais para conter ameaças extremas geradas pela tecnologia.
Edição: Gabe Bullard/VdV
Adaptação: Alexander Thoele
Ver mais artigos da Swissinfo nos resultados do Google. Saiba mais
Certificação JTI para a SWI swissinfo.ch
Mostrar mais: Certificação JTI para a SWI swissinfo.ch
Veja aqui uma visão geral dos debates em curso com os nossos jornalistas. Junte-se a nós!
Se quiser iniciar uma conversa sobre um tema abordado neste artigo ou se quiser comunicar erros factuais, envie-nos um e-mail para portuguese@swissinfo.ch.