Algorithmic IF … THEN rules and the conditions and consequences of power

O poder é um tema importante na literatura recente sobre algoritmos. Preocupações referem-se, por exemplo, para os papéis de algoritmos em Processos de discriminação (Barocas e Selbst, no prelo), a classificação e ordenação das Populações (Lyon 2003), ou (e) avaliação e governação (Aneesh, 2009; Rouvroy, 2012 ) da vida social.

Além disso, o trabalho em algoritmos aponta para sua relativa inacessibilidade, o que torna a análise e a intervenção política notoriamente difíceis. Embora compartilhemos preocupações, também descobrimos que o conhecimento sobre algoritmos é frequentemente baseado em suposições implícitas, subjacentes, de que existe  'Algo especial' sobre algoritmos que os tornam poderosos. Resumidamente, essas suposições são questões da ontologia, agência e habilidade dos algoritmos. Neste artigo, procuramos nos concentrar em como podemos entender a agência e o poder dos algoritmos.

O que torna os algoritmos entidades poderosas? A nossa maneira de colocar esta questão aponta para o argumento já nos propusemos neste trabalho:? O que faz poderosos algoritmos 'por que faz a pergunta quem eo que precisamos ser desenhado em conjunto para produzir efeitos que são reconhecidas como poderoso. Argumentamos que o "poder social" dos algoritmos, assim como qualquer outro artefato, é um efeito e não uma causa de eventos, e que não é dado, mas precisa ser alcançado (ver Latour, 1986, 2005). Em vez de entender os algoritmos como tendo poder, uma agência através da qual eles criam um efeito, argumentamos que o poder deriva da associação algorítmica. Por "associação algorítmica" entendemos a reunião de pessoas, coisas, recursos e outras entidades unidas pela prática e pelo processo. Nessa perspectiva, o que os algoritmos fazem e como os algoritmos realizam efeitos estão inextricavelmente ligados às situações nas quais eles operam e que eles ajudam a reproduzir.

Apresentamos nosso argumento baseado em duas etnografias do desenvolvimento de sistemas de vigilância algorítmica. Esses sistemas foram projetados para alertar o pessoal de segurança em centros de transporte (por exemplo, aeroportos, estações de trem) em caso de um evento indesejável. No centro desses sistemas estavam as regras algorítmicas IF ... THEN que estabelecem as condições (IF) e as consequências (ENTÃO) necessárias para produzir um efeito (como pessoal de segurança de alerta). Em nosso campo, nem as condições nem as consequências eram inerentes ao sistema; ambos precisavam ser alcançados através da triagem cuidadosa de associações relativamente instáveis ​​de pessoas, coisas, processos, documentos e recursos. O trabalho contínuo requerido para alcançar condições e conseqüências sugere que não podemos atribuir "poder" somente ao algoritmo como uma entidade única. Em vez disso, os algoritmos em nosso estudo operavam através de agências distribuídas entre uma variedade de pessoas e coisas. Essa perspectiva desloca a atenção de supostos algoritmos na sociedade para a variedade de associações algorítmicas que precisam ser estabelecidas, bem como as condições que as tornam mais ou menos estáveis.

A estrutura deste documento é a seguinte. Começamos discutindo como os algoritmos podem estar implícitos no poder, baseando-se na idéia de "associações" como um conceito. Em seguida, introduzimos um estudo de dois sistemas de vigilância algorítmica para considerar as regras algorítmicas, seu design, desenvolvimento e possíveis efeitos. Ao analisar as condições e conseqüências dessas regras, mostramos as associações necessárias para alcançar condições e consequências. Concluímos sugerindo que "procurar problemas" - momentos de colapso, fracasso ou outros problemas - é produtivo para enfatizar a centralidade das associações, em vez do poder social, para obter efeitos algorítmicos.