Exibir código-fonte para An algorithm audit. Data and discrimination: collected essays


Apesar das transformações políticas e culturais significativas desde o movimento dos Direitos Civis e outras convulsões sociais dos anos sessenta e setenta, a discriminação continua sendo um problema. E enquanto as desigualdades persistentes resultam de um conjunto complexo de fatores, os sistemas automatizados digitalmente podem estar aumentando esses problemas de novas maneiras.

Esses sistemas são executados com base nos dados produzidos em nossos meandros digitais diários e em algoritmos treinados para identificar padrões entre diferentes pontos de dados. O resultado desses cálculos computadorizados inclui previsões de nosso comportamento futuro, recomendações para a compra de um produto ou outro, conselhos de que modificamos nossa
comportamento, feedback e ajustes na operação de sistemas controlados por computador e muito mais. De funcionários da Casa Branca a defensores de direitos civis, a "quantos" e "técnicos", muitos começaram a questionar o poder dos sistemas acionados por algoritmos para categorizar, cutucar, preparar e tratar de maneira diferenciada as pessoas de maneiras que podem agravar questões sociais, econômicas e raciais. desigualdades.

No final de 2013, o Open Technology Institute (OTI) da Nova América começou a organizar uma pesquisa para explorar essas preocupações. Nosso objetivo era desvendar aspectos básicos da discriminação baseada em dados, um termo genérico que eu uso para me referir a processos de controle algorítmico tomada de decisão e sua conexão com a injustiça e a injustiça na sociedade. Queríamos examinar o que está em jogo para a sociedade e pensar em como lidar com os problemas que possam surgir. Decidimos realizar o evento como parte de uma reunião anual da Associação Internacional de Comunicação (ACI), que atrai acadêmicos de todo o mundo, e emitimos uma chamada de propostas para a comunidade da ACI e além, sobre o tema de dados e discriminação. O evento, realizado em 22 de maio de 2014, em Seattle, Washington, contou com uma dúzia de pesquisadores que variaram de professores titulares a doutorandos. Eles apresentaram trabalhos que se enquadravam em uma das três categorias temáticas: “Descobrindo e respondendo a danos”, “Participação, presença e política” e “Justiça, equidade e impacto”.

A coleção de artigos apresentados aqui - e editada com a assistência de dois pesquisadores da convenção, Virginia Eubanks e Solon Barocas - reflete a maior parte das investigações daquele dia como novas idéias que germinaram nos meses seguintes.

No total, os trabalhos visam fornecer informações básicas, tentar provocar discussões e debates e, esperançosamente, sugerir trajetórias para pesquisas e redações adicionais, inclusive em áreas inexploradas ou pouco abordadas.

Nas páginas a seguir, os autores abordam a discriminação por dados em uma ampla variedade de contextos, por exemplo, saúde, serviços públicos e varejo.

Eles identificam uma ampla gama de preocupações, como a dificuldade de replicar os processos de coleta e análise de dados cuja inspeção pode revelar insights sobre a discriminação por algoritmo. Eles examinam a natureza em rede dos danos e o papel da lei, incluindo políticas sociais, que define os termos de desenvolvimento e implantação de
sistemas automatizados orientados a dados. Os autores também contemplam um amplo conjunto de soluções: revelando fragilidades dos mecanismos existentes de transparência e prestação de contas, a fim de criar novos e melhores, mobilizando processos orientados a dados para melhorar a discriminação e ampliando a discussão pública sobre os usos e consequências futuros dos direcionados por dados. sistemas para influenciar as escolhas sobre seu desenvolvimento e implantação.

À medida que entramos em uma era de mais e mais coleta, análise e uso de dados, a urgência de produzir pesquisas e análises sólidas não pode ser subestimada. Existe uma ameaça real de que os efeitos negativos da tomada de decisão algorítmica sobrecarregem desproporcionalmente os mais pobres e marginalizados entre nós. Lidar com a complexidade da discriminação orientada a dados não é tarefa fácil, e essa coleção marca um passo modesto para trazer à luz processos e problemas que, de outra forma, poderiam permanecer invisíveis e inquestionáveis.