Nossas Soluções

Organização de Ambientes de Dados

No mundo corporativo, cada vez mais os processos baseiam-se em imensos volumes de informação que transitam e se acumulam pelos repositórios de dados das empresas, coletados das mais diferentes maneiras, com grande variedade de formatos, estruturados ou não, e multiplicidade de origens – muitas das quais não são controladas pelas empresas.

Para uma organização, é imprescindível definir claramente como tirar o melhor proveito das informações disponíveis. Isto começa necessariamente com o entendimento da estratégia, objetivos e necessidades do negócio da empresa. Este alinhamento é que deve direcionar o propósito e as ações do ambiente de dados corporativo.

Os grandes ambientes de dados, sejam para o Big Data ou estruturas tradicionais, devem ser construídos sobre alicerces sólidos, pois as informações neles contidas serão a base para o planejamento e a execução de ações e estudos importantes, como por exemplo Business Intelligence (BI), Analytics, CRM e processos operacionais. Entretanto, muitas empresas continuam operando e tomando decisões sem um conhecimento prévio da real qualidade dos dados envolvidos, permitindo a produção de resultados incorretos que podem gerar perdas financeiras significativas, além da descrença nos sistemas em uso.

A utilização de estruturas com grande volume de dados, como Data Lakes, Operational Data Store (ODS) ou Data Warehouse, para estudos analíticos, suporte à operação e tomada de decisões estratégicas e críticas para o negócio da empresa, aumenta a necessidade de estes ambientes apoiarem-se em informações válidas, confiáveis, de qualidade e disponíveis no tempo certo.

A ingestão dos dados e sua preparação e consolidação para uso são tarefas complexas, que envolvem a análise de informações vindas de diversas fontes, capturadas em momentos diferentes e por processos distintos. O processo de Qualidade de Dados nestes ambientes objetiva monitorar e garantir a qualidade das informações, desde sua obtenção em sua origem, passando por sua transformação e consolidação – o chamado Data Preparation. Na maioria dos casos, os dados não estão totalmente prontos para utilização, sendo preciso adequá-los às diferentes necessidades de cada área consumidora da organização.

A crescente complexidade dos ambientes de dados das empresas também é representada pela multiplicidade de tecnologias e padrões de armazenamento disponíveis no mercado. A escolha da tecnologia e da forma de armazenamento dos dados influencia diretamente no nível de adequação para consumo pelas diferentes áreas das empresas. A disponibilização dos dados para consumo deve considerar as diversas necessidades das áreas consumidoras, no que diz respeito ao padrão de integração, granularidade, orientação, formato e representação das informações. Estes fatores contribuirão decisivamente na facilitação do uso da informação e na percepção da sua qualidade pelos consumidores.

Além das próprias informações, estes projetos devem prever também o registro dos mais diversos metadados, que explicam tanto o significado de cada pedaço da informação, como também o seu fluxo de produção – a chamada linhagem do dado ou Data Lineage.

A Assesso tem grande experiência no mapeamento e design do fluxo de dados em ambientes complexos, de maneira a estimular a fluidez das informações pelos departamentos das empresas, atendendo aos requisitos próprios de qualidade e permitindo o uso pleno da informação nos ambientes operacionais, analíticos e estratégicos da organização.