Accountable Algorithms.
Muitas decisões importantes feitas historicamente pelas pessoas são agora feitas por computadores. Algoritmos contam votos, aprovam pedidos de empréstimo e cartão de crédito, visam cidadãos ou bairros para escrutínio da polícia, selecionam contribuintes para uma auditoria do IRS e concedem ou negam vistos de imigração.
Os mecanismos de responsabilização e os padrões legais que governam tais processos de decisão não acompanharam a tecnologia. As ferramentas atualmente disponíveis para formuladores de políticas, legisladores e tribunais foram desenvolvidas para supervisionar os tomadores de decisão humanos e muitas vezes falham quando aplicadas a computadores: por exemplo, como você julga a intenção de um software? São necessárias abordagens adicionais para tornar os sistemas de decisão automatizados - com seus resultados potencialmente incorretos, injustificados ou injustos - responsáveis e reguláveis. Este artigo revela um novo kit de ferramentas tecnológicas para verificar se as decisões automatizadas estão em conformidade com os principais padrões de justiça legal.
Nós contestamos a posição dominante na literatura jurídica de que a transparência resolverá esses problemas. A divulgação do código-fonte muitas vezes não é necessária (por causa de técnicas alternativas da ciência da computação), nem suficiente (devido à complexidade do código) para demonstrar a justiça de um processo. Além disso, a transparência pode ser indesejável, como quando permite que fraudes fiscais ou terroristas joguem os sistemas que determinam auditorias ou triagem de segurança.
A questão central é como assegurar os interesses dos cidadãos e da sociedade como um todo, tornando esses processos mais responsáveis. Este artigo argumenta que a tecnologia está criando novas oportunidades - mais sutis e flexíveis do que a transparência total - para projetar algoritmos de tomada de decisão para que eles se alinhem melhor com os objetivos legais e políticos. Isso irá melhorar não apenas a governança atual dos algoritmos, mas também - em certos casos - a governança da tomada de decisões em geral. Os vieses implícitos (ou explícitos) dos tomadores de decisão humanos podem ser difíceis de encontrar e erradicar, mas podemos perscrutar o “cérebro” de um algoritmo: processos computacionais e especificações de propósitos podem ser declarados antes de serem usados e verificados posteriormente.
As ferramentas tecnológicas introduzidas neste artigo aplicam-se amplamente. Eles podem ser usados na elaboração de processos de tomada de decisão, tanto do setor privado quanto do público, e podem ser adaptados para verificar diferentes características, conforme desejado pelos tomadores de decisão, pelos reguladores ou pelo público. Ao forçar uma consideração mais cuidadosa dos efeitos das regras de decisão, eles também geram discussões sobre políticas e observam mais de perto os padrões legais. Como tal, essas ferramentas têm implicações de longo alcance em todo o direito e sociedade.
A Parte I deste Artigo fornece uma introdução acessível e concisa aos conceitos fundamentais da ciência da computação que podem ser usados para verificar e demonstrar conformidade com os principais padrões de justiça legal para decisões automatizadas sem revelar os principais atributos da decisão ou o processo pelo qual a decisão foi tomada. . A Parte II descreve então como essas técnicas podem assegurar que as decisões sejam tomadas com o atributo de governança-chave da regularidade processual, o que significa que as decisões são tomadas sob um conjunto anunciado de regras aplicadas consistentemente em cada caso. Demonstramos como essa abordagem poderia ser usada para reprojetar e resolver problemas com a loteria de vistos de diversidade do Departamento de Estado. Na Parte III, vamos além e exploramos como outras técnicas computacionais podem assegurar que as decisões automatizadas preservem a fidelidade às escolhas legais e políticas substantivas. Mostramos como essas ferramentas podem ser usadas para garantir que determinados tipos de discriminação injusta sejam evitados e que processos de decisão automatizados se comportem de maneira compatível com os padrões sociais ou legais que regem a decisão. Também mostramos como a tomada de decisão algorítmica pode até complicar as doutrinas existentes de tratamento desigual e impacto desigual, e discutimos alguns trabalhos recentes de ciência da computação na detecção e remoção de discriminação em algoritmos, especialmente no contexto de big data e aprendizado de máquina. E, finalmente, na Parte IV, propomos uma agenda para promover a colaboração sinérgica entre ciência da computação, direito e política, para avançar no desenho de processos de decisão automatizados para prestação de contas.
Keywords: algorithms, governance, accountability, internet, cyber, technology, bias, discrimination, computational methods, law, big data, computer science, code
