O API Briefing: o desafio dos dark data do governo
Até agora, você está familiarizado com “ big data ” ou conjuntos de dados tão grandes que não podem ser analisados por métodos analíticos convencionais. Você pode ter ouvido falar de "dados longos", que são dados que têm um contexto temporal. Eu trabalho com dados longos quando analiso os padrões de contratação ao longo do tempo nos dados da força de trabalho. Há também “dados pequenos”. Dados pequenos são conjuntos de dados que descrevem uma condição atual. Por exemplo, se você tiver um eletrodoméstico inteligente, como um termostato inteligente ou um sistema de segurança residencial, esse dispositivo monitorará constantemente dados como temperatura ou se uma porta estiver aberta. O aparelho não armazena os dados (ou pode armazenar os dados por um curto período), mas reage apenas se houver uma alteração nos dados. Como você pode ver, existem muitos tipos de dados.
Então, o que você chama de dados que são coletados, mas não são analisados ou disponibilizados prontamente? "Dados escuros" está se tornando um grande problema para as organizações, já que a capacidade de coletar dados está superando em muito a capacidade de analisar dados. De acordo com um artigo no CIO.com, _Shedding Light on Dark Data _, dados escuros são criados porque a organização pode não estar ciente de que os dados estão sendo coletados.
Quando diferentes partes da organização não estão colaborando na coleta de dados ou na análise de dados, elas também podem criar dados escuros. Além disso, a organização pode não ter as ferramentas ou as habilidades analíticas para analisar os dados coletados. Finalmente, dados obscuros podem acontecer porque a organização não possui boa documentação sobre os conjuntos de dados organizacionais. Dados escuros são como um sótão ou galpão de armazenamento, onde as caixas de informações são armazenadas com a promessa de que, um dia, iremos trabalhar com os dados.
O governo federal é um grande colecionador de informações. O Data.gov tem atualmente 131.941 conjuntos de dados e tenho certeza de que é uma pequena fração do número total de conjuntos de dados do governo. Uma fração ainda menor de conjuntos de dados do governo foi traduzida em APIs. Como já documentei em postagens anteriores, os aplicativos baseados em APIs governamentais tornaram-se uma parte vital da economia dos EUA e fornecem serviços públicos valiosos. O próximo grande desafio para os dados do governo federal é explorar e utilizar os dados obscuros que existem em todas as agências governamentais. Muito progresso foi feito, mas mais trabalho é necessário para descobrir os tesouros escondidos nos dados obscuros do governo federal.* API - Interface de Programação de Aplicativos; como programas de software e bancos de dados compartilham dados e funções entre si. Confira as APIs no governo para mais informações. E Cada semana, " O API Briefing " mostra as APIs governamentais e as últimas notícias e tendências da API. Visite esta coluna toda semana para saber como as APIs do governo estão transformando o governo e melhorando os serviços do governo para o povo americano. Se você tiver ideias para um tópico ou tiver dúvidas sobre APIs, entre em contato comigo por e - mail . Todas as opiniões são minhas e não refletem as opiniões do USDA e do GSA._
Link da publicação
