Sparked Master Data Manager (MDM)
O MD2 Sparked Master Data Manager é uma solução robusta construída sobre o processamento distribuído e escalável do Apache Spark, permitindo integrar dados de pessoas provenientes de diversas fontes, tanto em modo batch quanto streaming. A solução fornece uma visão unificada, qualificada e confiável dos dados corporativos, essencial para iniciativas de governança e tomada de decisão baseada em dados.
Na imagem abaixo é exemplificado que os dados estão armazenados em silos de dados. Seus vícios cadastrais e a qualidade dos seus dados são, na maioria das vezes, totalmente desconhecidos, até mesmo pelos responsáveis por cada um destes sistemas. A inexistência de correlação entre estes registros limita a visão holística e dificulta a construção de uma base unificada de alta confiabilidade.
Com uma arquitetura bem estruturada e organizada em camadas, o MD2 Sparked Master Data Manager oferece um modelo completo de governança de dados pessoais, apoiando diretamente os programas de privacidade por meio de uma visão consolidada e precisa das informações de indivíduos.
O modelo de dados da solução foi projetado para incorporar requisitos de privacidade em todas as etapas da arquitetura de medalhas recomendada para data lakehouses. Essa abordagem organiza os dados de forma progressiva, passando pelas camadas bronze, prata e ouro, cada uma com critérios específicos de qualidade e estruturação.
A arquitetura é composta pelas seguintes camadas:
Camada Bronze
É responsável por receber e armazenar os dados brutos provenientes das fontes de origem, mantendo sua estrutura, conteúdo e formatação originais.
Camada Prata
Transforma, integra, enriquece e qualifica os dados da camada Bronze. Nesta etapa, a solução já gera indicadores de qualidade no nível de registro de pessoa, permitindo avaliar a integridade e consistência dos dados entregues pelas fontes.
Também é nesta camada que ocorre a automação de enquadramentos legais, correlacionando os dados tratados com processos e hipóteses legais de tratamento. Dessa forma, equipes de privacidade e DPOs passam a visualizar indicadores relacionados à LGPD: registros sem finalidade definida, hipóteses legais ausentes, vigência dos dados, alertas de necessidade de anonimização, identificação de riscos e possíveis não conformidades com os princípios da lei.
Camada Ouro
Realiza a unificação dos registros qualificados da camada Prata, aplicando algoritmos de machine learning para matching e consolidação de identidades. O resultado é uma visão 360° das pessoas relacionadas à organização, utilizando seus melhores dados cadastrais e associando informações complementares como transações e registros de negócio, além de consolidar indicadores de privacidade e consentimento.
O tratamento de qualidade de dados requer profissionalismo, métodos adequados e artefatos performáticos específicos para cada camada da arquitetura.
Com o MD2 Sparked Master Data Manager, os dados são gerenciados de forma segura em todas as etapas, utilizando mecanismos de criptografia, controles de segurança e políticas de proteção de dados que asseguram conformidade com regulamentações e diretrizes de privacidade.
A solução combina performance, regras avançadas de padronização, enriquecimento de dados, gestão de enquadramento legal, controle de ciclo de vida e unificação de identidades, garantindo dados de alta qualidade para apoiar operações de negócio e assegurar diligência contínua perante a LGPD.