Counting the costs and projecting the future of numbering technologies

As tecnologias de coleta e automação de dados em grande escala são problemáticas? Quais são as fontes de problemas relacionados às tecnologias de numeração (por exemplo, Big Data, algoritmos e automação)? Como sociedades de alta tecnologia buscam futuros equitativos? Dan Bouk. Frank Pasquale e Virginia Eubanks mostram que responder a essas questões exige conhecimento da sociedade, da tecnologia, das relações entre eles e de como elas se desenvolvem com o tempo. Essa perspectiva reflete uma recente mudança nos estudos de comunicação e tecnologia, particularmente STS (Estudos de Ciência e Tecnologia), para entender os efeitos das tecnologias através da análise de como elas estão situadas dentro dos sistemas sociotécnicos. Enquanto os autores escrevem a partir de diversas áreas de especialização, seus livros contribuem para essa abordagem, fornecendo exemplos empíricos de como tecnologias e sistemas problemáticos se desenvolvem e persistem. Esses autores descobrem conexões urgentes relacionadas a tecnologias de numeração, localizam as fontes em camadas desses problemas e discutem as implicações das práticas e tecnologias atuais, se não forem verificadas. Três lições emergem da sobreposição desses textos: as pessoas desenvolveram um respeito problemático pelas tecnologias de numeração; os sistemas de coleta e automação de dados têm efeitos desproporcionais negativos sobre os grupos marginalizados; e os problemas com Big Data, algoritmos e automação estão vinculados a valores e práticas sociais subjacentes que também devem ser abordados para implementar soluções eficazes. As seções a seguir desta revisão destilam os argumentos únicos de cada texto sobre os problemas relacionados às tecnologias de numeração, sintetizam as lições sobrepostas sobre as fontes desses problemas e investigam as Soluções propostas pelos autores e como as contribuições e limites dos livros apontam caminhos para avançar em pesquisa e prática.

Big Data, automação e algoritmos são um problema?

Enquanto Eubanks, Pasquale e Bouk analisam diferentes contextos e questões centrais, seus livros contêm semelhanças notáveis ​​em como eles vêem a natureza e a fonte dos problemas abordados. Três lições compartilhadas emergem.

A primeira lição é: desenvolvemos um respeito problemático por estatísticas, algoritmos e sistemas automatizados e uma disposição para submeter e adiar a essas tecnologias de numeração. Pasquale (2015) chama o respeito pelos sistemas de caixa preta de um “viés de automação”, que é “uma suposição de que um sistema acionado por software e habilitado por software vai oferecer melhores resultados do que o julgamento humano” (p. 107). Esse respeito é problemático porque muitas vezes não é crítico com as limitações dessas tecnologias. Eubanks (2018) mostra quão poderoso é esse viés de automação em seu exemplo de como um sistema projetado para “apoiar, não suplantar, a tomada de decisão humana” em call centers acabou fazendo com que os trabalhadores humanos questionassem seu próprio julgamento, embora o algoritmo tinha sido mostrado para produzir decisões que não atendem aos padrões de senso comum (p. 142). Bouk (2015) argumenta que a crescente disposição das pessoas para serem numeradas não era a resposta padrão da sociedade; a capital cultural da probabilidade e da estatística não era dominante nos Estados Unidos no final do século XIX e as pessoas frequentemente resistiam ou criticavam as práticas de risco (p. 38). A mudança cultural na avaliação de estar sujeito à coleta de dados e decisões algorítmicas não veio com uma mudança de métodos, mas com uma mudança de marca. “Os americanos aceitaram mais prontamente ser transformados em estatísticas quando a tomada de risco veio com a promessa de vidas ampliadas e melhoradas” (p. 185). Esta é uma grande contribuição do trabalho de Bouk; Descobrir as origens do capital cultural da tomada de decisão baseada em dados pode ajudar os leitores a pensar mais criticamente sobre sua orientação “padrão” para serem numerados. Os autores mostram como as tecnologias baseadas em dados são anunciadas como formas de reduzir o preconceito, aumentar a eficiência e a precisão e proporcionar benefícios aos indivíduos ou à sociedade; mas os autores demonstram empiricamente que essas tecnologias podem ser tendenciosas, ineficientes, imprecisas e os benefícios nem sempre superam os danos. À luz da próxima lição, um respeito inquestionável pelas tecnologias de numeração é especialmente problemático.

A segunda lição é: sistemas de coleta de dados e automação podem ter efeitos negativos em toda a sociedade, mas tendem a ter efeitos desproporcionalmente negativos sobre os grupos marginalizados. Embora Pasquale (2015) se concentre em delinear os impactos negativos das tecnologias de numeração para o cidadão comum, ele explica que “os algoritmos não estão imunes ao problema fundamental da discriminação, no qual pressupostos negativos e infundados se transformam em preconceitos. bateu com força ”(p. 39). Pasquale também mostra como os armazéns de Big Data e os algoritmos proprietários contribuem para o “efeito Mateus”, onde os ricos (em informação, dinheiro ou poder) ficam mais ricos, muitas vezes em detrimento dos pobres (p. 82). Bouk e Eubanks focam especificamente em como os grupos marginalizados são impactados pelas tecnologias de numeração. Por exemplo, Bouk (2015) documenta como, após os protestos liderados por afro-americanos, estimularem a legislação para proibir as práticas racistas de seguro, as ferramentas de risco da seguradora ainda “perpetuam a desigualdade nas formas em que assumem riscos, em sua preferência sistemática por fazer Afro-americanos em riscos subprime abaixo do padrão ”(p. 184). Esse exemplo preocupante mostra como os sistemas de coleta e automação de dados podem ter um viés interno que persiste após a resistência, perpetuando danos em grupos marginalizados. Uma das principais contribuições do livro de Eubanks (2018) é sua extensa análise de como as tecnologias supostamente projetadas para ajudar os grupos marginalizados podem punir e policiar os próprios grupos que devem ajudar. Embora ela acredite que “o uso difundido desses sistemas afeta a qualidade da democracia para todos nós” (p. 12), ela afirma que os sistemas de gestão de pobreza e risco que fiscalizam os usuários e automatizam as decisões podem impactar mais as pessoas pobres e da classe trabalhadora. Esses sistemas podem também afetar duplamente grupos minoritários dentro de comunidades pobres (p. 80). Esta segunda lição aponta para um terceiro problema subjacente.

A terceira lição é: os problemas com Big Data, algoritmos e automação se estendem além das próprias tecnologias; Há problemas subjacentes com valores, suposições e práticas da sociedade que devem ser abordados para implementar soluções eficazes e duradouras. Uma das principais contribuições do livro de Pasquale (2015) é sua extensa documentação e análise de corrupção no setor financeiro, problemas com legislação fraca para regular empresas financeiras e de tecnologia e as práticas relativas a dados usadas em nome da segurança nacional. Essas análises apontam para problemas subjacentes às práticas e tecnologias de dados (por exemplo, viés de automação).