Sparked Master Data Manager (MDM)

O MD2 Sparked Master Data Manager é uma solução robusta construída sobre o processamento distribuído e escalável do Apache Spark, permitindo integrar dados de pessoas provenientes de diversas fontes, tanto em modo batch quanto streaming. A solução fornece uma visão unificada, qualificada e confiável dos dados corporativos, essencial para iniciativas de governança e tomada de decisão baseada em dados.

Na imagem abaixo é exemplificado que os dados estão armazenados em silos de dados. Seus vícios cadastrais e a qualidade dos seus dados são, na maioria das vezes, totalmente desconhecidos, até mesmo pelos responsáveis por cada um destes sistemas. A inexistência de correlação entre estes registros limita a visão holística e dificulta a construção de uma base unificada de alta confiabilidade.

Para suprir essas lacunas, as empresas adotam projetos de MDM como a melhor alternativa para complementar sua arquitetura com uma plataforma especializada na gestão de dados mestres. Essa plataforma executa todo o ciclo de ingestão, padronização, qualificação, validação e consolidação das informações em um repositório único e controlado.

Ao serem processados, os dados passam por um conjunto estruturado de regras, críticas e validações que asseguram sua integridade e confiabilidade. Somente os registros que atingem o nível de qualidade requerido para suportar processos corporativos são marcados como aptos para publicação aos demais sistemas, originando o Golden Record.

A solução Sparked Master Data Manager se destaca por entregar uma abordagem moderna, escalável e altamente eficiente para gestão de dados mestres, combinando desempenho, flexibilidade e governança avançada em um único ecossistema. Seus principais diferenciais incluem:

• Arquitetura Lakehouse Databricks: Aproveita todos os benefícios da arquitetura Databricks para programas robustos de MDM, como transações ACID, metadados escalonáveis, auditoria, versionamento de dados e armazenamento em formato aberto altamente escalável.

• Performance: Motor de ingestão, tratamento, enriquecimento e unificação de dados baseado em processamento paralelo Apache Spark, preparado para operar com volumes massivos de dados.

• Flexibilidade de coleta de dados: Capacidade nativa de ingestão em modo batch ou streaming (tempo real).

• Consumo de dados performático e flexível: Otimizações que garantem alta performance em consultas e integrações via API. Inclui motor de consulta de última geração e endpoints SQL com recursos computacionais instantâneos e elásticos — até 12x mais rápido que outros bancos em nuvem.

• Sem lock-in de fornecedor: Pode ser implantado nos principais provedores de nuvem do mercado, preservando autonomia e evitando dependência tecnológica.

• Rápida implementação: Possui aceleradores prontos e uma esteira completa de tratamento e qualidade de dados, reduzindo drasticamente o tempo de implantação.

Com uma arquitetura bem estruturada e organizada em camadas, o Sparked Master Data Manager oferece um modelo completo de governança de dados pessoais, apoiando diretamente os programas de privacidade por meio de uma visão consolidada e precisa das informações de indivíduos.

O modelo de dados da solução foi projetado para incorporar requisitos de privacidade em todas as etapas da arquitetura de medalhas recomendada para data lakehouses. Essa abordagem organiza os dados de forma progressiva, passando pelas camadas bronze, prata e ouro, cada uma com critérios específicos de qualidade e estruturação.

A arquitetura é composta pelas seguintes camadas:

Camada Bronze
É responsável por receber e armazenar os dados brutos provenientes das fontes de origem, mantendo sua estrutura, conteúdo e formatação originais.

Camada Prata
Transforma, integra, enriquece e qualifica os dados da camada Bronze. Nesta etapa, a solução já gera indicadores de qualidade no nível de registro de pessoa, permitindo avaliar a integridade e consistência dos dados entregues pelas fontes.
Também é nesta camada que ocorre a automação de enquadramentos legais, correlacionando os dados tratados com processos e hipóteses legais de tratamento. Dessa forma, equipes de privacidade e DPOs passam a visualizar indicadores relacionados à LGPD: registros sem finalidade definida, hipóteses legais ausentes, vigência dos dados, alertas de necessidade de anonimização, identificação de riscos e possíveis não conformidades com os princípios da lei.

Camada Ouro
Realiza a unificação dos registros qualificados da camada Prata, aplicando algoritmos de machine learning para matching e consolidação de identidades. O resultado é uma visão 360° das pessoas relacionadas à organização, utilizando seus melhores dados cadastrais e associando informações complementares como transações e registros de negócio, além de consolidar indicadores de privacidade e consentimento.

O tratamento de qualidade de dados requer profissionalismo, métodos adequados e artefatos performáticos específicos para cada camada da arquitetura.

Dispõe ainda de um conjunto robusto de artefatos pré-construídos, capazes de acelerar significativamente o tempo de implementação.

Com o Sparked Master Data Manager, os dados são gerenciados de forma segura em todas as etapas, utilizando mecanismos de criptografia, controles de segurança e políticas de proteção de dados que asseguram conformidade com regulamentações e diretrizes de privacidade.

A solução combina performance, regras avançadas de padronização, enriquecimento de dados, gestão de enquadramento legal, controle de ciclo de vida e unificação de identidades, garantindo dados de alta qualidade para apoiar operações de negócio e assegurar diligência contínua perante a LGPD.