Exibir código-fonte para O Data Briefing: Aprendendo com as cidades dos EUA sobre como implementar iniciativas de Big Data

Um estudo recente de iniciativas de big data em 65 cidades tem uma orientação interessante para iniciativas federais de big data. Os pesquisadores estudaram como os dados são coletados e usados para a tomada de decisões no que chamaram de “a estrutura para iniciativas de Big Data”. Há dois ciclos principais no framework:

'''O ciclo de dados controla as ferramentas e os processos usados para coletar, verificar e integrar dados de várias fontes. Por causa da variedade de fontes de dados envolvidas, as equipes de dados neste ciclo são freqüentemente compostas de representantes de vários departamentos para alavancar seus conhecimentos de campo e compreensão dos dados. Além disso, novas tecnologias - como o Hadoop, tecnologias do tipo Hadoop, análise de fluxo, armazenamento massivo de dados em paralelo, [[aprendizado de máquina]] e análise em tempo real - são usadas neste ciclo para processar tipos grandes e diversos de dados complexos.''

''O ciclo de tomada de decisão começa depois que os dados são limpos, integrados e analisados. Os resultados são interpretados e transformados por equipes de dados em indicadores de desempenho ou painéis. Neste ciclo, os resultados da análise de dados são fornecidos às unidades de tomada de decisão nos níveis de programa, departamental e corporativo, e os resultados da avaliação são usados para informar as metas políticas e definição de prioridades, orçamento, gerenciamento de programas e alocação de recursos e relatórios públicos.'''

No ciclo de dados, as cidades estão usando vários canais para coletar dados: tráfego do site do governo, mídia social, aplicativos móveis, sensores conectados e câmeras de vídeo. Depois que os dados são coletados, eles precisam ser limpos e transformados em um formato para a tomada de decisões. A frase anterior é muito mais fácil do que o processo real de limpeza de dados. Eu posso dizer a você por experiência pessoal que muito do trabalho de um cientista de dados é extrair, transformar e carregar (ETL) os dados para análise. O processo de ETL é ainda mais vital e complicado devido à grande quantidade de diversos dados sendo transmitidos para os bancos de dados.

As ferramentas de análise de dados também se tornaram mais sofisticadas. Como o relatório explica, a estatística descritiva foi o método preferido de análise de dados. Os analistas calculariam médias e percentis enquanto apresentavam os dados em gráficos de barras e gráficos simples. Agora, os analistas têm ferramentas como “análise de classificação, análise de agrupamento e agrupamento, detecção de anomalias, análise de redes neurais, redução de dimensionalidade e vários tipos de modelos de regressão”. O que também é novo é que algumas cidades permitem que os cidadãos realizem suas análises os dados e fornecer ferramentas analíticas on-line.

No entanto, apenas tecnologia e ferramentas não estão impulsionando o uso efetivo de big data pelas cidades. As cidades também tiveram que superar grandes desafios. Existem desafios de recursos humanos, como treinar a equipe na tomada de decisão baseada em dados e encontrar cientistas de dados suficientes. Existem restrições técnicas, como sistemas de TI desatualizados, qualidade de dados e dados bloqueados em silos. Junto com esses desafios estão os desafios culturais ainda maiores de ter departamentos trabalhando juntos em projetos de dados, aceitar os resultados da análise de dados e obter apoio de liderança. As agências federais também enfrentam esses desafios; pode ser útil ver como as cidades lidaram com desafios semelhantes.

Este relatório é rico em grandes insights e lições aprendidas. Também seria útil ver um relatório semelhante usando a estrutura para iniciativas de Big Data para analisar como as agências federais estão implementando suas iniciativas de Big Data.

''A cada semana, o The Data Briefing exibe as últimas notícias e tendências sobre dados federais. Visite este blog todas as semanas para saber como os dados estão transformando o governo e melhorando os serviços do governo para o povo americano. Se você tiver ideias para um tópico ou tiver dúvidas sobre dados do governo, entre em contato comigo por e - mail . O Dr. William Brantley é o Administrador de Treinamento da Academia Global de Propriedade Intelectual do Escritório de Patentes e Marcas Registradas dos EUA. Você pode descobrir mais sobre seu trabalho pessoal em dados abertos, análises e tópicos relacionados em BillBrantley.com . Todas as opiniões são suas e não refletem as opiniões do USPTO ou da GSA.''