A outra metade da “fronteira” da IA

A 12 de setembro, o líder da Anthropic publicou o ensaio “We must pace the frontier”, em que defende que os laboratórios de inteligência artificial (IA) de ponta têm de abrandar o ritmo de desenvolvimento de novos modelos. Dario Amodei quer integrar avaliadores externos nestas empresas, com direito a secretária, credencial e computador de trabalho, como qualquer funcionário interno, e liberdade para publicar tudo o que encontrarem. Pouco depois, Sam Altman, líder da OpenAI, disse que era uma boa ideia e prometeu fazer o mesmo.

Num fim de semana, os líderes das duas empresas norte-americanas que vendem acesso à tecnologia de IA mais avançada do mundo reconheceram, publicamente, que a sua própria palavra sobre a segurança dos seus modelos já não chega: é preciso alguém de fora a verificá-la e confirmá-la. A proposta de Amodei, subscrita por Altman, não é uma moratória. O cofundador da Anthropic diz que abrandar “não significa parar o treino de modelos nem o progresso técnico”. Por isso, não há prazo, mas há uma pergunta subjacente: quem pode olhar para dentro de um modelo antes do lançamento?

A proposta de Dario Amodei tem dois limites. O primeiro é que só alcança a tecnologia que alguém continua a controlar. O sistema que este sugeriu também passa por certificações que acompanham o modelo, o que pressupõe que o mesmo continua sob o controlo da empresa depois do lançamento. No entanto, quem publica os parâmetros — os chamados pesos — perde esse controlo no instante em que o faz. Governar o fornecedor é possível. Governar cada cópia de um modelo já publicado, não.

Essa é, porém, a realidade de muitos modelos com capacidades relativamente próximas dos modelos proprietários oferecidos pela Anthropic e pela OpenAI, incluindo os modelos Llama, da Meta — uma empresa norte-americana –, ou, mais notoriamente, o GLM-5.2 da Z.ai, o Kimi K3 da Moonshot AI, ou os populares modelos da DeepSeek, todas empresas sedeadas na China.

O ciberataque de julho à Hugging Face mostrou o que isso representa na prática. Estiveram envolvidos dois modelos da OpenAI, um deles nunca lançado ao público, ambos proprietários, e com reduzidas restrições de segurança para efeitos de avaliação. Na fase de análise forense, a plataforma atacada só conseguiu atuar recorrendo a um modelo de pesos abertos de origem chinesa, porque os modelos americanos comerciais não sabiam distinguir um investigador de um atacante.

Não foi falta de capacidade tecnológica, mas o caso permitiu perceber o que acontece quando as salvaguardas desaparecem da equação, precisamente o estado de muitos modelos cujos pesos foram tornados públicos. Por outras palavras, a proposta que o CEO da Anthropic apresenta no ensaio “We must pace the frontier” só engloba metade da ‘fronteira’.

O segundo aspeto é que um acordo entre empresas vincula apenas quem o assina (e até nisso é limitado). Deixa de fora quem não o subscreve, e deixa de fora a China praticamente por inteiro. Amodei propõe levar a ideia aos governos, e é isso que teria de acontecer para o compromisso valer alguma coisa. Por enquanto, o que está em cima da mesa é um entendimento privado entre concorrentes, que qualquer deles pode revogar quando lhe convier. Se já era improvável que Pequim alinhasse com a ideia, essa hipótese tornou-se irrealista após Donald Trump, Presidente dos EUA, se ter mostrado frontalmente contra qualquer travão ao desenvolvimento norte-americano de IA.

Dito isto, há uma jurisdição que responde hoje aos dois problemas, e não é, surpreendentemente, nenhuma das que estão a discuti-los por estes dias. O artigo 55.º do Regulamento Inteligência Artificial (AI Act) obriga, desde agosto do ano passado, os fornecedores de modelos de finalidade geral com “risco sistémico” a submetê-los a ‘testes de stress’ — tecnicamente, “testes antagónicos” — e a que os riscos assim expostos sejam mitigados.

Mais: a isenção prevista no AI Act para os fornecedores de modelos de código aberto não se aplica a nenhum modelo de finalidade geral considerado de “risco sistémico”, mesmo que “aberto”. Ou seja, as regras aplicam-se à OpenAI e à Anthropic exatamente como se aplicam a qualquer modelo avançado colocado no mercado europeu, venha de onde vier.

Desde 2 de agosto deste ano, Bruxelas tem também os poderes para o fazer cumprir: pode exigir documentação, avaliar os modelos com acesso à API e ao código-fonte, ordenar a retirada do mercado e aplicar coimas até 15 milhões de euros ou 3% do volume de negócios mundial. A 29 de agosto, o AI Office usou pela primeira vez o poder mais leve: pediu a mais de 30 empresas informação sobre segurança dos modelos e avaliações externas, de acordo com a Euractiv. Mas, tanto quanto se sabe, o poder de avaliar um modelo nunca foi usado.

O problema é que de pouco ou nada serve ter o poder de exigir uma avaliação se não está definido o que é essa avaliação nem quem a pode fazer. O artigo 55.º manda testar segundo protocolos que reflitam o “estado da arte” e não diz qual protocolo, em que momento nem durante quanto tempo. Em junho, o próprio AI Office europeu lançou um apelo a especialistas externos para ajudarem a definir o que deve ser um avaliador independente e qualificado.

No meio desta indefinição, o que ameaça deixar a Europa para trás não é a lei europeia. A 12 de junho, Washington colocou dois modelos da Anthropic sob controlo de exportação. A empresa suspendeu o acesso durante 18 dias a todos os utilizadores, incluindo americanos, por não conseguir verificar as nacionalidades em tempo real. A restrição caiu a 30 de junho, com ajustes nas medidas de segurança. Neste período, a concorrência chinesa lançou pelo menos um novo modelo relevante.

A OpenAI também confirmou publicamente, na mesma altura, que a gama de modelos GPT-5.6 foi disponibilizada primeiro a um grupo restrito de parceiros “a pedido” do Governo dos EUA, sendo lançada publicamente apenas algumas semanas depois.

Mais grave é o facto de a ENISA, a agência europeia de cibersegurança, só ter tido acesso ao Claude Mythos 5, modelo altamente competente a descobrir falhas de segurança, meses depois de a Anthropic ter lançado uma versão inicial a um grupo exclusivo de parceiros, maioritariamente norte-americanos. Na versão seguinte, Mythos 5.1, o acesso ficou ainda mais limitado, excluindo até a britânica AISI, segundo o Financial Times.

A 7 de julho, a Comissão Europeia admitiu que “a maioria das principais entidades que realizam avaliações de modelos de IA por terceiros antes da implementação está sediada fora da UE” e que é “uma questão de urgência” que parte dessa capacidade passe a existir dentro da União. Propõe criá-la só em 2027. Ora, o problema europeu deixou de ser a regulamentação para passar a ser o protocolo, o calendário e ter os profissionais capazes de abrir um modelo e olhar para dentro dele.

Enquanto não existir isso, a pergunta de quem verifica continuará a ser respondida em São Francisco, principalmente pelas próprias empresas que estão a ser verificadas.