La gestión de datos en plataformas centralizadas está cambiando y un nuevo paradigma cobra importancia: el Data Mesh. Con este término nos referimos a un enfoque de organización descentralizada de datos, contemplado también su transformación y entrega.
Qué es y qué no es Data Mesh
Es un enfoque de gestión organizacional y tecnológico que propone una evolución en el acceso, transformación, analítica y distribución de los datos. Este concepto se presentó en 2019 por la consultora Zhamak Dehghani. También es conocido como malla de datos.
¿Con qué no se debe confundir?
- Una plataforma.
- Una aplicación para gestión empresarial.
- Tampoco es un producto de software concreto para la administración de datos.
Gestión de información entre mallas, lagos y fábricas de datos
El Data Mesh es capaz de superar limitaciones de otros modelos al cambiar la manera de pensar sobre los datos y sobre su transformación en un producto. Veamos ahora qué diferencia al enfoque de mallas de datos de conceptos como el Data Lake o el Data Fabric.
Data Lakes
Son depósitos de almacenamiento que centralizan, organizan y protegen grandes depósitos de datos estructurados, semiestructurados y no estructurados. Mientras que, un Data Lake centraliza datos en una ubicación física (por ejemplo, un repositorio en la nube), un Data Mesh establece conexiones, lógicas y físicas, entre productores y consumidores de datos.
Data Fabric
Es una capa que se agrega a los activos de datos para apoyar procesos de conexión, diseño, despliegue y uso. En un Data Fabric (o tejido de datos) se trabaja con un enfoque integrado y que puede generar múltiples flujos de datos interempresariales.
Un rasgo que diferencia a un Data Fabric de una malla de datos es que sus estructuras y metadatos son útiles para:
- Identificar datos.
- Conectar datos desde diferentes aplicaciones y fuentes.
- Enriquecer datos en tiempo real.
Los cuatro principios del Data Mesh
Para diseñar soluciones a problemas que pueden afectar a una organización que basa sus decisiones estratégicas en el análisis de datos, este enfoque se apoya en cuatro principios:
1. Diseño orientado al dominio
Con este principio se busca descentralizar la arquitectura y la propiedad de los datos. Las áreas de la organización o del negocio sean dueños y responsables de sus datos y esto se logra utilizando patrones organizativos y arquitecturas basadas en Domain-Driven Design (DDD).
2. Datos como un producto
El objetivo es asociar los datos con la creación y entrega de valor, en lugar de únicamente almacenarlos como un recurso. Se promueven los procesos de product thinking con el fin de identificar a los consumidores de datos y satisfacer sus necesidades.
3. Plataforma como autoservicio
Este principio se refiere a que la plataforma de datos debe ofrecer diferentes capacidades en la forma de autoservicios. Esto reduce los obstáculos tecnológicos para crear y consumir datos y los productos derivados de ellos.
4. Gobierno de datos federado
Finalmente, este cuarto principio contempla la gestión de una plataforma descentraliza con un modelo de gobierno basado en decisiones federadas. Esto se traduce en mantener un equilibrio entre un control centralizado y la localización de otras decisiones más cerca de los productores, administradores y consumidores.
Cuáles son los beneficios del Data Mesh
Entre los beneficios que obtienen las empresas al implementar este enfoque se destacan:
- Creación de catálogos virtuales con varios orígenes de datos.
- Conexión a aplicaciones de nube pública o a entornos de nube del cliente.
- Acceso descentralizado a data lakes y a servicios visualización, arquitectura, ingeniería y analítica de datos.
- Consulta de datos por parte de equipos DevOps sin necesidad de conocer detalles técnicos de los almacenes donde se encuentran.
Migrar a un enfoque de malla de datos es particularmente útil ante el incremento en el número de dominios y fuentes, la aparición de cuellos de botella o fallas en la calidad de los datos. El Data Mesh aporta valor a los datos mediante una gestión a gran escala en arquitecturas distribuidas. Anímate a implementarlo en tu empresa.
