Como mostra o esquema Robodebt, pode haver consequências graves quando os sistemas automatizados não são geridos adequadamente.
Quando o Robodebt foi anunciado pelo governo federal, foi posicionado como um processo de cobrança de dívidas que resultaria em poupanças líquidas de mais de mil milhões de dólares ao longo de cinco anos.
O esquema Services Australia empregou um sistema algorítmico de tomada de decisão (ADM), que comparou os registos dos beneficiários da assistência social com os dados de rendimentos da Administração Fiscal Australiana e procedeu aos reembolsos com base nos seus cálculos.
Um total de US$ 2 bilhões em avisos de dívida foram emitidos para 700 mil beneficiários atuais ou antigos da assistência social. Mas o facto de o sistema funcionar com base em médias resultou em grandes erros de cálculo relativamente à quantidade de dinheiro que as pessoas deviam ao governo.
De acordo com a professora Emerita Shirley Gregor, da Universidade Nacional Australiana (ANU), foi principalmente a forma como a tecnologia foi usada – com a falta de supervisão humana responsável – que criou problemas.
“Robodebt mostrou como até mesmo tecnologias relativamente conhecidas podem levar a efeitos desastrosos quando software inadequado é associado à incapacidade da alta gerência de agir quando os defeitos se tornam óbvios”, diz Gregor.
Através de sua pesquisa, Gregor e colegas descobriram que, embora os ADMs sejam uma forma conveniente de gerenciar dados, minimizar o nível de controle humano tem consequências.
No caso do Robodebt, o controle do sistema era gerenciado por uma máquina central. Isto limitou as verificações de precisão quando o sistema fez uma estimativa da dívida.
O relatório final da Comissão Real sobre Robodebt descobriu que cerca de 443.000 pessoas receberam notificações falsas de dívidas, com muitos beneficiários passando por sérias dificuldades como resultado.
Além disso, os beneficiários também eram obrigados a provar eles próprios quaisquer imprecisões, adquirindo extratos bancários antigos e recibos de pagamento de empregadores anteriores. Quando as pessoas ligavam para o Centrelink em busca de assistência, os funcionários eram instruídos a redirecioná-las para um portal online, que era difícil de usar.
“A inversão do ónus da prova é especialmente complicada quando os cidadãos estão limitados na sua capacidade de obter informações relevantes”, diz Gregor. “Se o autoatendimento através de portais on-line for incentivado, então deverão ser realizados testes com usuários para garantir que os sistemas sejam acessíveis e fáceis de usar”.
Apesar da má gestão da Robodebt – que levou a uma Comissão Real e a uma ação coletiva – Gregor diz que os ADMs podem ser usados de forma eficaz por agências governamentais.
“Houve um caso relatado na Nova Zelândia por uma agência de proteção infantil que mostrou, no geral, que o uso de um sistema algorítmico proporcionou melhores resultados”, diz Gregor.
“Mas os operadores humanos foram capazes de anular as decisões caso a caso. Não ter ‘seres humanos no circuito’ e depender exclusivamente de uma máquina para tomar decisões pode levar a preconceitos e níveis inaceitáveis de erro.”
Em última análise, Gregor diz que embora os ADMs e outros sistemas de tecnologia da informação possam ser altamente eficazes, isso não deve eliminar a responsabilidade humana da equação.
“As tecnologias emergentes, como a inteligência artificial generativa, estão agora amplamente disponíveis e os seus pontos fracos muitas vezes não são bem compreendidos”, diz ela.
“Em qualquer uso de TI para tomada de decisões, análises minuciosas de risco, monitoramento e testes de experiência do usuário devem ser realizados continuamente.”
