The scored society: Due process for automated predictions

O Big Data é cada vez mais explorado para classificar e avaliar indivíduos. Preditivos, os algoritmos avaliam se temos riscos de crédito, se somos funcionários desejáveis, inquilinos confiáveis, clientes valiosos - ou deadbeats, shirkers, ameaças e “perda de tempo”. Oportunidades cruciais estão em jogo, incluindo a capacidade de obter empréstimos, trabalho, moradia, e seguro. Embora a pontuação automatizada seja abrangente e consequente, ela também é opaca e falta de supervisão. Em uma área em que a regulamentação prevalece - crédito -, a lei enfoca o histórico de crédito, e não a derivação das pontuações dos dados. A regularidade processual é essencial para aqueles estigmatizados por sistemas de pontuação “artificialmente inteligentes”. A tradição do devido processo americano deve informar as salvaguardas básicas. Os reguladores devem ser capazes de testar sistemas de pontuação para garantir sua imparcialidade e precisão. Os indivíduos devem ter oportunidades significativas para desafiar decisões adversas com base em pontuações que os classifiquem de forma incorreta. Sem essas proteções, os sistemas poderiam lavar dados tendenciosos e arbitrários em pontos poderosamente estigmatizantes.