Algoritmo ético

Gostaria de começar com uma pergunta direta: o que é um algoritmo para você? Ela tem sua razão de ser e cada vez mais deveríamos prestar atenção na resposta. Descrever um sistema de tomada de decisão como um algoritmo é frequentemente uma maneira de desviar a responsabilidade das decisões humanas. Para muitos, o termo implica um conjunto de regras baseadas objetivamente em dados ou evidências empíricas. Também sugere um sistema altamente complexo, tão complexo que uma pessoa teria dificuldades para entender seu funcionamento interno ou antecipar seu comportamento quando implantado. Bom, a realidade é que esta definição não é tão precisa assim.

Em um texto anterior, comentei que a discussão de inteligências artificiais éticas demandava um artigo só seu. Pretendo cumprir a promessa aqui. Mas, voltemos às consequências da não exatidão da definição do termo algoritmo. Por exemplo, no final de dezembro de 2020, a má alocação das vacinas da Covid-19 no Stanford Medical Center foi atribuída a um algoritmo de distribuição que favorecia administradores do alto-escalão ao invés dos médicos da linha de frente. O hospital afirmou ter consultado especialistas em ética para projetar seu “algoritmo muito complexo”, que “claramente não funcionou direito”, como um representante declarou [1]. Outro exemplo, no ano passado no Reino Unido, a imprensa descreveu a falha de um algoritmo em atribuir pontuações justas aos alunos que não puderam fazer seus exames por causa da Covid-19 [4]. O algoritmo em questão era a equação: 

Pkj = (1-rj)Ckj + rj(Ckj + qkj – pkj),  

onde Ckj é a distribuição histórica das séries na escola nos últimos três anos, 2017-19; qkj é a distribuição de notas GCSE1 previstas com base nas notas GCSE anteriores da classe 2; pkj é a distribuição de notas GCSE previstas nos anos anteriores 3; rj refere-se ao número de alunos(as) da classe que têm dados históricos disponíveis. Agregando-se todos os termos, tem-se Pkj, que são as notas previstas para a escola. O termo rj é diferente dos demais. Não se trata de notas (daí a ausência do k), mas sim de uma alternativa binária. Se todos os dados puderem ser perfeitamente rastreados, então se coloca 1; caso contrário, é 0.

Peço que mantenha em mente estes dois exemplos enquanto abordo rapidamente outro tópico relativo ao assunto.  

À medida em que modelos preditivos proliferam, o grande público toma mais consciência quanto ao seu uso na tomada de decisões críticas. Isto levou centros de pesquisa e desenvolvimento (em universidades e Big Techs) e formuladores de políticas públicas a debaterem como se daria uma abordagem ética da IA no desenvolvimento tecnológico. Uma linha de discussão, muito popular em universidades e alguns Labs de IA (como o Google AI), é que as questões de pesquisa deveriam ser baseadas em valores humanos, na inclusão de experiências diversas e no aprendizado de vários movimentos sociais. Esta abordagem é comumente chamada de “IA ética”. Nota-se que é fundamentalmente diferente do paradigma operacional comum, em que o objetivo é fazer “algo novo” ou melhorar uma determinada tarefa.

Com base nessa perspectiva, formuladores de políticas começam a desenvolver padrões para avaliar e auditar algoritmos de IA [2]. Só que tem uma “pegadinha” aqui. Não foi definida a classe de ferramentas de tomada de decisão ou de suporte à decisão às quais as políticas se aplicariam. Isto porque o termo “algoritmo” foi deixado aberto à interpretação. Como consequência, podemos ter alguns sistemas de IA com maior impacto fora do alcance das políticas projetadas para garantir que a inteligência artificial não prejudique as pessoas.     

Os algoritmos citados em [1] e [4], por exemplo, são IA? Ampliando a discussão, podem realmente ser chamados de algoritmos? Isso depende de como você define o termo. Embora não haja uma definição universalmente aceita, uma bem popular vem de um livro técnico de 1971, escrito pelo cientista da computação Harold Stone, que afirma: “um algoritmo é um conjunto de regras que definem com precisão uma sequência de operações” [3]. Essa definição abrange praticamente tudo, desde receitas de omelete a redes neurais complexas. Uma política de auditoria baseada nela seria ridiculamente ampla. 

Em estatística e machine learning, geralmente definimos um algoritmo como o conjunto de instruções que um computador executa para aprender a partir dos dados. Nesses campos do conhecimento, as informações estruturadas resultantes são normalmente chamadas de modelo. As informações que o computador aprende a partir dos dados por meio do algoritmo podem ser tanto “pesos” pelos quais cada fator de entrada deve ser multiplicado, quanto algo mais complicado como um problema de otimização em que alguns ou todos os seus parâmetros são incertos (como pousar uma sonda em Marte ou retirar petróleo em alto-mar). A complexidade do próprio algoritmo também pode variar. Os impactos desses algoritmos dependem, em última análise, dos dados que são aplicados à sua modelagem e do contexto em que o modelo resultante é implantado. Em IA, portanto, o que é chamado de algoritmo em outras áreas é o que descrevemos como um modelo. 

Embora possa soar confuso, sob a definição mais ampla do termo algoritmo, é correto: modelos de IA são regras que definem uma sequência de operações. Uma equação algébrica, como em [4], define uma sequência de operações? Em matemática, uma equação iguala uma quantidade a outra, daí o uso do sinal “=”. Isto é uma IA? Para contextualizar, vamos analisar os casos descritos em [1] e [4].

Em [1], o algoritmo de Stanford parece ter sido definido por humanos, incluindo especialistas em ética, que sentaram-se juntos e determinaram a série de operações que o sistema deveria usar para responder, com base em dados como a idade e o departamento de um funcionário, se a pessoa deveria estar entre os primeiros a receber a vacina. Pelo que consegui determinar com a leitura do relato, essa sequência não foi baseada em um procedimento de estimativa para otimizar algum alvo quantitativo. Era um conjunto de decisões normativas sobre como as vacinas deveriam ser priorizadas, formalizadas na linguagem de um algoritmo. Essa abordagem pode ser qualificada como um algoritmo na terminologia médica e sob a definição ampla, embora a única inteligência envolvida seja a de humanos. Não é uma IA. No caso do algoritmo de atribuição de notas do Reino Unido [4], a situação é diferente. Apesar de não ter sido declarado textualmente, o que me pareceu que a reportagem estava discutindo era o modelo, ou seja, o conjunto de instruções que traduzia entradas (o desempenho anterior de um aluno ou a avaliação de um professor) em saídas (uma pontuação). Se não for machine learning, diria que está a um passo de ser.    

O mesmo modelo/algoritmo pode ter um impacto positivo quando aplicado em um contexto e um efeito muito diferente quando aplicado em outro. Quando se examina em profundidade a operacionalização da ética em inteligência artificial, imediatamente se depara com algo parecido a uma cebola infinita. Isto quer dizer que cada problema encontrado dentro do desenvolvimento de uma IA, se expande em um vasto universo de novos problemas complexos. Com isso, pode ser difícil fazer qualquer progresso mensurável enquanto se corre em círculos entre diferentes questões concorrentes. Na minha opinião, um dos caminhos a seguir é fazer uma pausa em um ponto específico e detalhar o que se vê lá. É o que quis fazer com a questão da terminologia do algoritmo. 

Neste caso, o foco não deveria ser em se criar padrões para auditorias algorítmicas, que certamente irão gerar divergências sobre o que é considerado um algoritmo. Em vez de tentar chegar a um acordo sobre uma definição comum ou uma técnica de auditoria universal específica, o melhor a se fazer, em minha opinião, é avaliar os sistemas automatizados com base no seu impacto. Ao nos concentrarmos no resultado em vez da entrada de dados, definição da sequência ou se é IA, evitamos debates desnecessários sobre a complexidade técnica. O que importa é o potencial de dano, independente de estarmos discutindo uma equação algébrica ou uma rede neural artificial. 

No campo da IA, conferências e periódicos já pedem declarações de impacto, com graus variados de sucesso e controvérsia. Admito que está longe de ser infalível. Avaliações de impacto que são estereotipadas podem ser facilmente manipuladas, enquanto uma definição excessivamente vaga pode levar a avaliações arbitrárias ou longas. Ainda assim, é um passo importante à frente. O termo algoritmo, independente da sua definição, não deveria ser um escudo para inocentar as pessoas que projetaram e implementaram qualquer tipo de sistema de tomada de decisão da responsabilidade pelas consequências do seu uso. Cada vez mais se exige responsabilidade algorítmica e o conceito de impacto oferece um terreno comum útil para os diferentes grupos que trabalham para atender a demanda do algoritmo ético.  

[1] Guo, Eileen; Hao, Karen. “This Is the Stanford Vaccine Algorithm That Left out Frontline Doctors”. MIT Technology Review, https://www.technologyreview.com/2020/12/21/1015303/stanford-vaccine-algorithm/. 2020. 

[2] Schellmann, Hilke. “Auditors Are Testing Hiring Algorithms for Bias, but Big Questions Remain”. MIT Technology Review, https://www.technologyreview.com/2021/02/11/1017955/auditors-testing-ai-hiring-algorithms-bias-big-questions-remain/. 2021.

[3] Stone, Harold S. “Introduction to Computer Organization and Data Structures.” McGraw-Hill, Inc., USA. 1971. 

[4] Hern, Alex. “Ofqual’s A-Level Algorithm: Why Did It Fail to Make the Grade?” The Guardian, http://www.theguardian.com/education/2020/aug/21/ofqual-exams-algorithm-why-did-it-fail-make-grade-a-levels. 2020.

1 General Certificate of Secondary Education (GCSE), é uma qualificação acadêmica dada em um determinado assunto (matemática, história, inglês, etc.).

2 Uma classe com muitas notas altas receberá mais notas altas previstas; uma classe com muitas notas baixas, consequentemente receberá mais notas baixas previstas. Isto é chamado de Efeito de Matthew.

3 Se nos anos anteriores foi previsto um desempenho ruim (ou bom), então este ano provavelmente pode-se fazer o mesmo.