Sparked Master Data Manager (MDM)

O Sparked Master Data Manager é uma solução avançada desenvolvida sobre o processamento distribuído e escalável do Apache Spark, permitindo integrar dados de pessoas provenientes de diversas fontes, tanto em modo batch quanto em streaming. Essa capacidade possibilita consolidar informações de forma eficiente e entregar uma visão unificada, qualificada e confiável dos dados corporativos, algo fundamental para iniciativas modernas de governança e tomada de decisão baseada em dados.

A imagem abaixo exemplifica um cenário comum nos ambientes corporativos, no qual os dados permanecem distribuídos em silos, frequentemente com problemas de qualidade e vícios cadastrais desconhecidos até mesmo pelos próprios gestores dos sistemas. A falta de correlação entre os registros impede a construção de uma visão holística e dificulta a criação de uma base unificada de alta confiabilidade.

Para suprir essas lacunas, as empresas adotam projetos de MDM como a melhor alternativa para complementar sua arquitetura com uma plataforma especializada na gestão de dados mestres. Essa plataforma executa todo o ciclo de ingestão, padronização, qualificação, validação e consolidação das informações em um repositório único e controlado.

Durante esse processo, os dados passam por um conjunto estruturado de regras e validações que asseguram sua integridade e consistência. Apenas os registros que atendem aos critérios de qualidade definidos são autorizados para publicação nos demais sistemas corporativos, originando o Golden Record e garantindo uma referência única e confiável para a organização.

A solução Sparked Master Data Manager se destaca por entregar uma abordagem moderna, escalável e altamente eficiente para gestão de dados mestres, combinando desempenho, flexibilidade e governança avançada em um único ecossistema. Seus principais diferenciais incluem:

• Arquitetura Lakehouse Databricks: Aproveita todos os benefícios da arquitetura Databricks para programas robustos de MDM, como transações ACID, metadados escalonáveis, auditoria, versionamento de dados e armazenamento em formato aberto altamente escalável.

• Performance: Motor de ingestão, tratamento, enriquecimento e unificação de dados baseado em processamento paralelo Apache Spark, preparado para operar com volumes massivos de dados.

• Flexibilidade de coleta de dados: Capacidade nativa de ingestão em modo batch ou streaming (tempo real).

• Consumo de dados performático e flexível: Otimizações que garantem alta performance em consultas e integrações via API. Inclui motor de consulta de última geração e endpoints SQL com recursos computacionais instantâneos e elástico, considerando até 12x mais rápido que outros bancos em nuvem.

• Sem lock-in de fornecedor: Pode ser implantado nos principais provedores de nuvem do mercado, preservando autonomia e evitando dependência tecnológica.

• Rápida implementação: Possui aceleradores prontos e uma esteira completa de tratamento e qualidade de dados, reduzindo drasticamente o tempo de implantação.

Com uma arquitetura bem estruturada e organizada em camadas, o Sparked Master Data Manager oferece um modelo completo de governança de dados pessoais, apoiando diretamente os programas de privacidade por meio de uma visão consolidada e precisa das informações de indivíduos.

O modelo de dados da solução foi projetado para incorporar requisitos de privacidade em todas as etapas da arquitetura de medalhas recomendada para data lakehouses. Essa abordagem organiza os dados de forma progressiva, passando pelas camadas bronze, prata e ouro, cada uma com critérios específicos de qualidade e estruturação.

A arquitetura é composta pelas seguintes camadas:

Camada Bronze
É responsável por receber e armazenar os dados brutos provenientes das fontes de origem, mantendo sua estrutura, conteúdo e formatação originais.

Camada Prata
Transforma, integra, enriquece e qualifica os dados da camada Bronze. Nesta etapa, a solução já gera indicadores de qualidade no nível de registro de pessoa, permitindo avaliar a integridade e consistência dos dados entregues pelas fontes.
Também é nesta camada que ocorre a automação de enquadramentos legais, correlacionando os dados tratados com processos e hipóteses legais de tratamento. Dessa forma, equipes de privacidade e DPOs passam a visualizar indicadores relacionados à LGPD: registros sem finalidade definida, hipóteses legais ausentes, vigência dos dados, alertas de necessidade de anonimização, identificação de riscos e possíveis não conformidades com os princípios da lei.

Camada Ouro
Realiza a unificação dos registros qualificados da camada Prata, aplicando algoritmos de machine learning para matching e consolidação de identidades. O resultado é uma visão 360° das pessoas relacionadas à organização, utilizando seus melhores dados cadastrais e associando informações complementares como transações e registros de negócio, além de consolidar indicadores de privacidade e consentimento.

O tratamento de qualidade de dados exige métodos adequados, profissionalismo e artefatos performáticos específicos para cada etapa da arquitetura. Para acelerar esse processo, a solução disponibiliza um conjunto robusto de artefatos pré-construídos que reduzem significativamente o tempo de implementação.

Com o Sparked Master Data Manager, todas as etapas são conduzidas com rigor de segurança e privacidade. A solução utiliza técnicas modernas de criptografia, controles de acesso e políticas de proteção de dados para assegurar conformidade com regulamentações e boas práticas de governança.

Ao combinar performance, padronização avançada, enriquecimento inteligente, gestão de enquadramento legal, controle de ciclo de vida e unificação de identidades, a solução garante dados de alta qualidade para suportar operações de negócio e assegurar diligência contínua perante a LGPD.