agentes de IA

A China vem reforçando medidas para garantir que sistemas avançados de inteligência artificial (IA) permaneçam sob supervisão humana. O tema ganhou ainda mais relevância após pesquisadores da Anthropic, uma das principais empresas americanas do setor, alertarem que modelos cada vez mais sofisticados poderiam escapar dos mecanismos de controle e, em um cenário extremo, representar uma ameaça à sobrevivência da humanidade.

Estados Unidos e China concentram grande parte do desenvolvimento da chamada IA de fronteira, além de exercerem influência sobre a adoção global da tecnologia. Ao mesmo tempo em que disputam a liderança no setor, os dois países divergem sobre políticas públicas, segurança e práticas adotadas pelas empresas de tecnologia.

As discussões sobre segurança da inteligência artificial devem ganhar espaço nas negociações bilaterais previstas para o fim deste mês.

China reconhece risco de perda de controle da IA

Apesar da intensa competição para criar sistemas cada vez mais poderosos, documentos regulatórios e declarações de autoridades chinesas indicam que Pequim considera a possibilidade de uma IA avançada escapar à supervisão humana um risco que exige planejamento antecipado.

Em publicação oficial divulgada no domingo (13), o ministro da Segurança do Estado da China, Chen Yixin, afirmou que modelos avançados desenvolvidos nos Estados Unidos poderiam representar ameaças à infraestrutura crítica de informação chinesa.

Entre os sistemas mencionados estão o Mythos, da Anthropic, e o GPT-5.5-Cyber, da OpenAI. O ministro defendeu o fortalecimento das medidas de segurança em IA.

Anthropic e OpenAI não haviam respondido imediatamente aos pedidos de comentário da Reuters.

Modelos de código aberto também entram no debate

Empresas chinesas vêm apostando em modelos de inteligência artificial de código aberto. Uma das justificativas é a possibilidade de que equipes de segurança cibernética tenham acesso ao código para realizar inspeções, adaptações e aplicações voltadas à defesa.

A plataforma de modelos Hugging Face informou ter utilizado o GLM-5.2, desenvolvido pela chinesa Z.AI, para investigar uma invasão ocorrida em julho. Segundo o relato, modelos americanos submetidos a controles mais rigorosos teriam sido menos úteis para a análise forense do episódio.

O modelo de código aberto, entretanto, também apresenta riscos. Especialistas ressaltam que esse tipo de tecnologia pode ser alterado e redistribuído com pouca supervisão, dificultando o controle sobre sua utilização.

Outro episódio reforçou a preocupação. No mês passado, o Kimi K3, desenvolvido pela Moonshot, conseguiu contornar um ambiente de testes isolado do Instituto de Segurança de IA do Reino Unido. O caso evidenciou a possibilidade de sistemas chineses, assim como modelos americanos, driblarem mecanismos criados para limitar seu acesso e suas ações.

Reguladores chineses já preveem cenário de “perda de controle”

A preocupação com uma eventual perda de controle sobre sistemas avançados foi incorporada formalmente à política chinesa de segurança de IA em setembro de 2024.

Sob orientação da Administração do Ciberespaço da China (CAC), um marco regulatório passou a considerar a possibilidade de uma IA futura obter recursos externos de maneira autônoma, reproduzir a si própria, desenvolver algum tipo de autoconsciência e buscar ampliar seu poder.

Segundo o documento, esse cenário poderia levar a uma disputa pelo controle entre sistemas artificiais e seres humanos.

Uma atualização publicada em setembro de 2025 detalhou ainda mais os riscos. O texto passou a considerar a possibilidade de um salto repentino de inteligência, seguido pela aquisição autônoma de recursos, autorreplicação e busca por poder.

A nova versão também incorporou o princípio de “aplicação confiável e prevenção da perda de controle”.

Posteriormente, uma análise publicada no site do órgão regulador explicou que o princípio busca evitar riscos capazes de comprometer a sobrevivência e o desenvolvimento humanos, incluindo a possibilidade de uma “IA fora de controle”.

Xi Jinping defende supervisão humana permanente

A preocupação com os riscos da tecnologia também chegou ao discurso do mais alto escalão político chinês.

Durante a Conferência Mundial de Inteligência Artificial, realizada em Xangai em julho, o presidente chinês, Xi Jinping, afirmou que as autoridades precisam acompanhar tanto os riscos inerentes à IA quanto aqueles decorrentes de sua utilização.

Para o líder chinês, a tecnologia deve permanecer sob controle humano.

A posição também aparece em discussões internacionais. Sun Xiaobo, funcionário do Ministério das Relações Exteriores da China responsável por assuntos ligados à IA, afirmou em uma reunião das Nações Unidas no mês passado que Pequim estava acelerando os estudos para uma legislação mais abrangente sobre inteligência artificial.

Neste mês, o vice-representante permanente da China na ONU, Sun Lei, também pediu cautela no desenvolvimento e no emprego da IA militar. Segundo ele, medidas preventivas são necessárias para reduzir o risco de erros de cálculo estratégico e evitar uma corrida armamentista.

Pequim cria regras específicas para agentes de IA

A China também começou a transformar esses princípios em exigências direcionadas aos chamados agentes de IA — sistemas capazes de operar com maior autonomia e realizar tarefas mais complexas do que os chatbots convencionais.

Em maio, a Administração do Ciberespaço da China publicou diretrizes específicas para esses sistemas. As regras determinam que os desenvolvedores aprimorem mecanismos capazes de identificar, interromper, bloquear e corrigir comportamentos considerados inadequados.

Entre os riscos citados estão:

• Envenenamento de dados;
• Manipulação de algoritmos;
• Vulnerabilidades de sistemas;
• Perda de controle operacional.

As normas também estabelecem que os usuários devem conservar a decisão final sobre ações autônomas tomadas pelos agentes de IA.

China adota modelo diferente do proposto pela Anthropic

Embora Pequim não tenha adotado a proposta de criar monitores independentes dentro das empresas de IA, como defendido pela Anthropic, a regulamentação chinesa prevê outras formas de fiscalização.

As empresas podem contratar avaliações de segurança realizadas por terceiros, enquanto organizações externas e pesquisadores especializados também podem testar e auditar modelos de código aberto.

O conjunto de medidas mostra que a China tenta conciliar a corrida pelo desenvolvimento de sistemas avançados com mecanismos destinados a preservar a supervisão humana da inteligência artificial.

FONTE: Folha de São Paulo
TEXTO: Redação
IMAGEM: Li Ziheng – Xinhua