Data mesh: o que é e como funciona?

O aprimoramento da gestão é um dos compromissos de profissionais. Atualmente, para orientar esse movimento, uma das soluções disponíveis da cultura data driven é o data mesh, responsável por organizar a integração da linhagem de dados.

Com isso, para gerenciar dados em ambientes complexos e distribuídos, protegendo o armazenando e o acesso, uma empresa ágil depende de uma arquitetura de dados coesa.

Nesta postagem do blog, vamos detalhar o conceito de data mesh. Entenda mais sobre o assunto a seguir!

O que é data mesh?

Data mesh é uma abordagem recente para o gerenciamento de dados, decorrente de mudanças culturais e organizacionais. Para tanto, tem como foco a tecnologia de federação que enfatiza autoridade de gerenciamento dos dados localizados.

Nessa estrutura, o padrão dos ativos de dados é analisado por especialistas no assunto, que determinam a afinidade de dados. Na sequência, os ativos são organizados como domínios de dados e contextualizados com descritores de contexto de negócios.

Segundo o Gartner, especialistas utilizam de padrões e domínios para definir e construir produtos de dados, posteriormente registrados e disponibilizados para utilização, a depender das necessidades de negócios.

Em síntese, o conceito de data mesh pode ser definido como uma arquitetura de gerenciamento de dados descentralizada que compreende dados específicos de domínio. Em vez de ter uma única plataforma de dados centralizada, as equipes possuem os processos em torno de seus próprios dados.

Como um data mesh funciona?

Para compreender o data mesh é importante saber que esse modelo segue quatro princípios básicos. A seguir, detalhamos cada um deles:

• Descentralização
• Dados como produto
• Infraestrutura de autoatendimento
• Governança computacional federada

1. Descentralização da arquitetura de dados 

O objetivo do data mesh é descentralizar todo o ecossistema de dados. Para tanto, é preciso delegar a responsabilidade de gerenciar os dados às pessoas que trabalham em estreita colaboração com eles.

Dessa maneira, com a atuação dos proprietários dos produtos de dados é possível manter os dados atualizados e incorporá-los rapidamente as alterações.

2. Dados como produto

Para simplificar a descoberta, compreensão e confiabilidade dos dados, o data mesh emprega o conceito de dados como produto. 

Neste princípio, dados específicos do domínio correspondem ao “produto” e seus usuários correspondem aos “clientes”.

Por exemplo, podemos considerar os dados de vendas como um produto. Os clientes seriam os cientistas, analistas e gerentes de vendas que usam os dados para relatar, rastrear suas métricas e obter insights de negócios.

3. Infraestrutura de autoatendimento como plataforma

Para viabilizar a democratização de dados e facilitar a configuração e execução de diferentes domínios de dados, o data mesh deve ser apoiado por uma infraestrutura de autoatendimento.

Tal plataforma permite que todos os proprietários de dados configurem várias formas de armazenamento de dados, garantindo acesso aos domínios com segurança. 

Além disso, a configuração não deve exigir nenhuma habilidade complexa de engenharia ou apoio de especialistas. A medida do sucesso da plataforma de dados de autoatendimento é a autonomia dos domínios.

4. Governança computacional federada

O data mesh permite uma abordagem diferente ao incorporar preocupações de governança no fluxo de trabalho dos domínios. Nesta estrutura, o uso de métricas e relatórios é imperativo. 

O conceito exige um modelo de governança computacional federado para uma interoperabilidade perfeita. No entanto, os dados não devem viver em silos, apesar de terem uma arquitetura descentralizada.

Na prática, todo o ecossistema deve ser interoperável para extrair significado dos dados. Isso porque tudo, desde encontrar padrões até realizar transformações, requer que todos os produtos de dados conversem entre si.

Finalmente, é importante que os padrões de dados de uma organização sejam definidos e respeitados, para evitar problemas relacionados à segurança e conformidade.

Por que usar um data mesh?

O uso de um data mesh traz uma série de benefícios para uma organização, a depender de seu objetivo e infraestrutura. A implementação promove, entre outros ganhos, agilidade organizacional para empresas que desejam crescer, mesmo em cenários econômicos incertos.

O objetivo do data mesh é fornecer uma abordagem mais resiliente em relação aos dados para responder com eficiência a essas possíveis mudanças. Veja três benefícios do uso do data mesh:

Descentralização da informação

O uso do data mesh democratiza o acesso aos dados, permitindo que as organizações aumentem a qualidade e a disponibilidade.

Quando a empresa utiliza essa estrutura, ela adere a uma abordagem descentralizada, sendo cada equipe de produto responsável por garantir que seus próprios conjuntos de dados sejam precisos e atualizados. 

Esse processo diminui a redundância no sistema e minimiza o risco de erros e inconsistências nos dados. Algumas práticas que podem ajudar no gerenciamento da qualidade dos dados:

• Revisar regularmente as fontes de dados para garantir a precisão.
• Estabelecer processos e verificações de garantia de qualidade.
• Criar alertas automatizados para valores discrepantes.

Flexibilidade e eficiência

Um modelo de arquitetura data mesh também permite maior flexibilidade, já que oferece recursos para reorganizar e reduzir gargalos na gestão de dados, contribuindo para a eficiência.

Usando essa estrutura, dados de sistemas distintos podem ser transmitidos, integrados, transformados e analisados ​​de uma só vez dentro de cada equipe de domínio. 

Ao centralizar o fluxo de dados, a eficiência aumenta e o fluxo de processos é protegido por uma infraestrutura de observabilidade e monitoramento. Isso permite que as equipes de domínio projetem e desenvolvam de acordo com seus casos de uso, mantendo o controle total de seus produtos e serviços de dados.

Segurança e conformidade 

O data mesh exige máxima atenção das empresas na definição e gestão das políticas de segurança, monitoramento e auditorias. 

Na prática, esse cuidado  colabora para que a empresa proteja seus dados e esteja em conformidade com a Lei Geral de Proteção de Dados (LGPD). 

Quer saber ainda mais sobre as diretrizes de gestão de informações? Confira nosso conteúdo!

Interoperabilidade de dados com Ingram Micro

O conceito de data mesh apresenta um modelo de governança computacional federado para uma interoperabilidade perfeita. 

No entanto, como apresentado previamente, é importante que os dados não sejam mantidos em silos, mesmo em uma arquitetura descentralizada. É fundamental que os dados conversem entre si pra extrair significado.

Por fim, vale destacar a importância de adotar padrões de dados para o programa de governança, evitando problemas relacionados à segurança e garantindo conformidade.

Para dar conta de todos esses aspectos, é necessário ter acesso às melhores ferramentas tecnológicas do mercado. Conheça mais sobre a Ingram Micro, bem como nossas soluções para análise e processamento de dados.