Diella e o mito da imparcialidade digital

A Albânia deu um passo ousado ao colocar um sistema de Inteligência Artificial (IA), Diella, a tomar todas as decisões relativas a contratação pública. O governo promete acabar com a corrupção, eliminar o favoritismo e garantir “100% de transparência”. A ambição é legítima. Mas confiar decisões públicas a algoritmos como se fossem neutros e infalíveis é cair numa ficção: a de que a tecnologia corrige os erros humanos sem gerar problemas novos.

Essa escolha levanta questões fundamentais, que não são apenas técnicas. O que significa, na prática, uma decisão pública tomada por um sistema algorítmico? Quem define os critérios? Que dados são usados? Como se justifica uma decisão? Quem responde por ela? E como é que cidadãos, empresas ou tribunais podem controlar decisões tomadas por sistemas cujo funcionamento não conhecem? A introdução de IA neste domínio exige, no mínimo, respostas claras a estas perguntas. É do Estado que falamos, e o Estado tem obrigações especiais.

O primeiro problema que um sistema destes levanta, sobretudo pela forma como foi apresentado, é conceptual: uma IA não “toma decisões” no sentido próprio da função administrativa. Não pondera, não interpreta, não assume responsabilidade. Limita-se a executar operações com base em dados, regras e prioridades definidas por humanos. A ideia de que a IA elimina o enviesamento humano é ilusória, porque esta parte sempre de escolhas prévias — o que medir, como pesar, que critérios valorizar. Mesmo que aprenda com o tempo, aprende com decisões passadas. E se essas decisões estiverem erradas, se forem discriminatórias ou desadequadas, o sistema apenas as replicará com eficiência algorítmica, sem discernimento nem correcção.

Depois, há o problema da fundamentação. Num Estado de direito, qualquer decisão pública deve ser justificada de forma clara, inteligível e sindicável. Se uma empresa for excluída de um concurso, tem o direito de saber porquê — com base em que critérios, segundo que ponderação, com que fundamento legal ou técnico. Essa explicação é especialmente importante quando estão em causa decisões com margem de discricionariedade administrativa, ou seja, decisões em que a autoridade pública tem de ponderar diferentes factores não quantitativos e justificar por que motivo deu mais peso a uns do que a outros.

Ora, muitos sistemas de IA não foram concebidos para produzir fundamentações no sentido jurídico do termo. Mesmo que deixem um rasto técnico do processo de cálculo, isso não basta. Nos concursos públicos, a Administração tem o dever de explicar por que razão uma proposta foi melhor classificada do que outra — com base em critérios estabelecidos, numa ponderação concreta e numa justificação acessível e sindicável. Dizer que uma proposta foi excluída ou preterida porque “foi assim que o sistema decidiu” não constitui uma fundamentação válida. O que se exige não é apenas saber o resultado, mas compreender o percurso argumentativo que conduziu àquela decisão.

Esse desafio é ainda maior quando os critérios de avaliação não são puramente automáticos. A análise da qualidade técnica, da exequibilidade, da adequação ao contexto ou do impacto esperado de uma proposta são domínios que implicam juízos valorativos. Nestes casos, não há uma única resposta “correcta” que possa ser deduzida de dados anteriores — há uma escolha justificada entre alternativas plausíveis. Se o sistema algorítmico apenas indicar que “esta proposta corresponde ao perfil típico de propostas vencedoras”, sem explicar porquê, e sem traduzir essa correspondência nos termos exigidos pelo procedimento, há um défice de fundamentação. A decisão pode ter sido tecnicamente processada, mas juridicamente continua por justificar.

Isto para já não falar da questão da autoria do acto. Num procedimento administrativo, é essencial que se saiba quem decide, com que autoridade, e com que responsabilidade. Quando a decisão é produzida por um sistema algorítmico, mesmo que operado por humanos, começa a diluir-se a fronteira entre quem prepara, quem executa e quem decide. Se o conteúdo decisório resulta directamente de uma operação automatizada, sem possibilidade real de controlo ou revisão substantiva, é legítimo perguntar: quem é, afinal, o autor do acto? E pode um acto administrativo existir plenamente se não houver uma vontade pública identificável por trás da sua emissão?

No campo da responsabilidade, também há questões sérias por resolver. Um sistema de IA não tem personalidade jurídica: não pode ser responsabilizado civil, criminal ou politicamente. Não se apresenta em tribunal, nem presta contas perante o parlamento. Isto não significa que a responsabilidade desapareça, mas deixa de estar claramente localizada. Quando uma decisão automatizada prejudica alguém, exclui injustamente uma empresa, atribui mal um contrato, viola regras, a quem se exige contas?

À entidade pública que contratou o sistema? À empresa que o desenvolveu? Aos técnicos que definiram os parâmetros? À equipa que o operou? Em muitos casos, estas fronteiras são difusas e tornam-se ainda mais opacas quando se trata de sistemas com capacidade de aprendizagem automática, em que os critérios de decisão não são definidos de forma fixa, mas aprendidos pelo sistema com base em padrões extraídos dos dados. Ao fim de algum tempo, nem os programadores nem os decisores públicos conseguem explicar com precisão por que razão o sistema escolheu A em vez de B.

A automatização não elimina a responsabilidade legal: há sempre, em última instância, uma entidade formalmente responsável. Mas torna muito mais difícil exercê-la de forma efectiva. Quando uma decisão resulta de combinações estatísticas geradas por um sistema opaco e em constante adaptação, torna-se quase impossível identificar onde ocorreu o erro, como se produziu o desvio, e o que fazer para o corrigir. A cadeia de responsabilização jurídica existe no papel, mas na prática dissolve-se na complexidade técnica. E enquanto se tenta perceber o que correu mal, o prejuízo já foi causado, e ninguém sabe ao certo como evitá-lo da próxima vez.

A entrega de decisões públicas a sistemas algorítmicos traz também riscos significativos do ponto de vista da cibersegurança. Qualquer sistema que centralize o controlo sobre concursos públicos torna-se um alvo natural para ataques informáticos. A própria promessa de automatização e “eficiência” pode criar uma falsa sensação de invulnerabilidade. Um ataque bem-sucedido, uma manipulação subtil dos dados de entrada ou uma alteração invisível nos parâmetros do sistema podem distorcer os resultados sem que ninguém se aperceba de imediato. E quanto mais opaco e complexo for o sistema, mais difícil será detectar essas interferências e restaurar a integridade do processo.

Além dos ataques externos, há também o risco de manipulações internas — por exemplo, por quem tem acesso privilegiado ao sistema, ou por actores que influenciam o desenho dos critérios. A digitalização centraliza o poder, mas também concentra o risco. Se antes o erro ou a fraude dependiam da actuação de múltiplos actores em diferentes fases do processo, agora basta uma falha, técnica ou humana.

Isto não significa que a IA deva ser afastada do sector público: pelo contrário. É uma ferramenta essencial para tornar a Administração mais eficiente, rápida e coerente. O seu potencial para apoiar a decisão é real e deve ser aproveitado. Mas entre usar a IA como apoio técnico e entregar-lhe, sem mediação humana efectiva, o poder de decidir autonomamente, vai uma diferença institucional profunda. Uma coisa é melhorar o funcionamento da Administração; outra é abdicar da função de decidir.

O caso de Diella mostra como é urgente discutir os limites institucionais da IA na Administração Pública. Quem define os critérios? Quem fiscaliza? Quem responde por decisões erradas? E, sobretudo, como garantir que todos os actos administrativos continuem a ser fundamentados, auditáveis e sindicáveis? Sem respostas sólidas a estas perguntas, a digitalização da decisão pública corre o risco de criar não transparência, mas opacidade com ar de neutralidade.