Quando os algoritmos criam problemas jurídicos

Na passada semana, a Meta chegou a um acordo que pode custar-lhe cerca de 17 mil milhões de dólares e que põe fim a uma parte relevante da litigância sobre os efeitos do Facebook e do Instagram em menores. O acordo obriga ainda a alterações nas plataformas, como limites de utilização, bloqueio nocturno, restrições às notificações e a opção por um feed não personalizado.

Este processo ilustra um dos efeitos dos algoritmos nas redes sociais que procurei descrever em “Algoritmocracia”: a captura da nossa atenção. A personalização torna a experiência mais simples e conveniente. Mas, ao aprenderem aquilo que nos faz parar, clicar ou continuar, os algoritmos conseguem também manter-nos mais tempo nas plataformas e condicionar progressivamente aquilo que vemos.

E aprenderem com o nosso comportamento não significa saberem o que verdadeiramente queremos: conhecer a nossa atenção não é conhecer a nossa vontade. A curiosidade pode fazer-nos abrandar perante um acidente; não significa que queiramos encontrar outros pela estrada. O algoritmo pode ler essa atenção como preferência e dar-nos mais do mesmo. Por isso defendi maior controlo sobre a personalização dos feeds e sobre os critérios que determinam o que vemos. É uma proposta que vejo agora, com satisfação, surgir neste acordo.

Mas o problema vai muito além das redes sociais. O caso da Meta mostra como escolhas feitas no desenho de um algoritmo podem produzir efeitos não antecipados. E isso vale para qualquer sector. Algoritmos já apoiam diagnósticos clínicos, avaliam risco de crédito, seleccionam candidatos a emprego, ajustam preços, detectam fraude ou estabelecem prioridades em sistemas de segurança. Em todos estes casos, um objectivo legítimo tem de ser traduzido em dados, critérios, métricas e margens de erro.

É nessa tradução que podem surgir problemas jurídicos. Um algoritmo de recrutamento pode reproduzir discriminações do passado; um modelo de crédito, desfavorecer determinados grupos; um sistema clínico, ser menos fiável para populações pouco representadas nos dados. Podem também surgir decisões erradas, danos, violações da privacidade, utilização indevida de dados, falta de transparência, preços discriminatórios, falhas de segurança ou incumprimento das regras de uma actividade regulada. Uma escolha aparentemente técnica no desenho de um algoritmo pode, assim, transformar-se num problema jurídico.

Muitas empresas não se reconhecerão nestes riscos: usam algoritmos para melhorar produtos, ganhar eficiência ou apoiar decisões, não para discriminar ou causar danos. A própria Meta não admite ter concebido as suas plataformas para criar dependência ou manipular utilizadores. Mas a intenção não resolve o problema: um algoritmo pode cumprir exactamente o objectivo para que foi criado e produzir efeitos juridicamente problemáticos que ninguém pretendeu. E este risco não está reservado às grandes plataformas. À medida que os algoritmos entram no funcionamento corrente de empresas de todos os sectores, aumentam também as possibilidades de erros, discriminações ou outros efeitos imprevistos sobre direitos, património, saúde, oportunidades ou segurança. Serão problemas jurídicos com que cada vez mais empresas terão de lidar.

É por isso que a utilização de algoritmos é também um problema de gestão de risco. Quando um regulador analisa o sistema, um cliente contesta uma decisão ou um tribunal aprecia os seus efeitos, não basta dizer que o resultado não foi pretendido. A empresa terá de explicar os riscos antecipados, os dados e critérios utilizados, os testes realizados, as margens de erro e os mecanismos de mitigação.

E estes riscos dificilmente caberão numa única disciplina. Não haverá provavelmente um “direito dos algoritmos”: haverá algoritmos no centro de problemas jurídicos em praticamente todos os sectores. Uma parte do trabalho que já faço passa precisamente por antecipar estas questões enquanto os sistemas estão a ser desenvolvidos. O Direito tem de entrar mais cedo: quando o sistema chega ao departamento jurídico como produto acabado, muitas das escolhas relevantes já foram feitas. O legal by design começa quando ainda podem ser compreendidas, discutidas e alteradas.

O mal-afamado AI Act procura antecipar alguns destes problemas, distinguindo utilizações da IA pelo risco e fazendo corresponder a cada uma diferentes exigências. Foi muito criticado como exemplo de uma Europa que regula enquanto os Estados Unidos inovam. A comparação envelhece mal quando a Meta acaba de aceitar, nos EUA, um acordo de cerca de 17 mil milhões de dólares e alterações relevantes às suas plataformas.

A diferença está sobretudo na forma de regular. A Europa tende a definir antecipadamente na lei as obrigações aplicáveis a cada risco. Nos Estados Unidos, a regulação faz-se também através dos reguladores, dos tribunais, da responsabilidade civil e de acordos que impõem alterações concretas aos produtos. A Amazon, por exemplo, acordou pagar 2,5 mil milhões de dólares pelas práticas de subscrição e cancelamento do Prime e alterar esses processos. Quem conclui que os Estados Unidos não regulam porque não encontra uma lei equivalente ao AI Act está simplesmente a procurar a regulação no sítio errado.

E é aqui que a litigância americana deve servir de aviso à Europa. Tenho vindo a defender que a próxima grande vaga de litigância em massa será em torno dos algoritmos. Uma decisão errada ou discriminatória pode deixar de afectar uma pessoa e ser reproduzida pelo mesmo sistema em milhares de casos. Os processos americanos estão a abrir caminhos jurídicos que chegarão a outras jurisdições. Em Portugal, onde a acção popular favorece a litigância colectiva, um erro de desenho pode rapidamente transformar-se num processo contra uma empresa em nome de milhares de clientes, trabalhadores ou candidatos.

O acordo da Meta é, por isso, bastante mais do que uma história sobre redes sociais. É um sinal do que aí vem. À medida que os algoritmos entrarem em mais decisões, entrarão também no centro do risco jurídico das empresas. E estas terão de se habituar a uma realidade nova: muitas das decisões que amanhã terão de explicar a um regulador ou a um tribunal estão hoje a ser tomadas por quem desenha os seus algoritmos.