How the machine ‘thinks’: Understanding opacity in machine learning algorithms

Este artigo considera a questão da opacidade como um problema para mecanismos socialmente consequentes de classificação, como filtros de spam, detecção de fraude de cartão de crédito, mecanismos de busca, tendências de notícias, segmentação de mercado e propaganda, qualificação de seguro ou empréstimo e pontuação de crédito. Todos esses mecanismos de classificação freqüentemente dependem de algoritmos computacionais e, em muitos casos, de algoritmos de aprendizado de máquina para realizar esse trabalho. Neste artigo, faço uma distinção entre três formas de opacidade: (1) a opacidade como sigilo corporativo ou de Estado intencional, (2) a opacidade como analfabetismo técnico e (3) uma opacidade que surge das características dos algoritmos de aprendizado de máquina e escala necessária para aplicá-las utilmente. A análise neste artigo fica dentro dos próprios algoritmos. Eu cito literaturas existentes em ciência da computação, práticas industriais conhecidas (como são apresentadas publicamente), e faço alguns testes e manipulação de código como uma forma de auditoria de código leve. Defendo que reconhecer as formas distintas de opacidade que podem estar ocorrendo em uma determinada aplicação é uma chave para determinar quais de uma variedade de soluções técnicas e não técnicas poderiam ajudar a evitar danos.