El problema de los equipos centrales de datos
En el tejido industrial asturiano conviven realidades muy distintas bajo un mismo grupo empresarial: una planta siderúrgica como las de ArcelorMittal en Gijón y Avilés genera datos de proceso muy diferentes a los de una división láctea como CAPSA/Central Lechera Asturiana, a los de una flota pesquera que descarga en El Musel o en Cudillero, o a los de la logística portuaria. Durante la última década, el modelo predominante para gestionar todos esos datos ha sido centralizar: un equipo de datos único que recibe solicitudes de toda la organización, ingiere datos de todos los sistemas y sirve analítica a todos los departamentos. Este modelo tiene sentido cuando la organización es pequeña y los datos no son críticos para el negocio.
Cuando la empresa crece, cuando los datos se convierten en un activo estratégico y cuando las demandas de analítica se multiplican, el equipo central se convierte en un cuello de botella. Las peticiones se acumulan, los plazos se alargan, y los equipos de negocio terminan creando sus propias soluciones en silos, lo que agrava el problema original.
Data Mesh es la respuesta arquitectónica y organizativa a este problema.
Qué es Data Mesh
Data Mesh, concepto formalizado por Zhamak Dehghani, propone cuatro principios fundamentales:
-
Propiedad del dato por dominios: cada área de negocio (ventas, producción, finanzas, logística) es responsable de sus propios datos como si fueran un producto. El equipo de ventas no espera a que el equipo central de datos procese sus datos; los gobierna, los publica y los mantiene ellos mismos.
-
Datos como producto: cada dominio publica sus datos con la misma atención a la calidad, la documentación y la accesibilidad que dedicaría a un producto de software. Los consumidores internos pueden confiar en esos datos.
-
Infraestructura self-service: una plataforma de datos centralizada proporciona las herramientas, pipelines y capacidades de almacenamiento que los dominios necesitan, sin que tengan que construirla ellos desde cero.
-
Gobernanza federada: existe un conjunto de estándares comunes (seguridad, privacidad, interoperabilidad) que todos los dominios aplican, pero con autonomía dentro de esos estándares.
Qué es Data Fabric y en qué se diferencia
Data Fabric es un enfoque arquitectónico complementario que parte de una premisa diferente: en lugar de reorganizar la propiedad de los datos por dominios, conecta fuentes de datos heterogéneas mediante metadatos activos y grafos de conocimiento, creando una capa de integración inteligente.
Donde Data Mesh es principalmente un cambio organizativo y de responsabilidad, Data Fabric es principalmente un cambio tecnológico que utiliza catálogos de metadatos, motores de integración y semántica compartida para hacer que los datos de distintos sistemas sean accesibles y utilizables sin moverlos.
Las dos aproximaciones no son excluyentes: muchas organizaciones adoptan principios de Data Mesh en su modelo operativo y tecnologías de Data Fabric para resolver la integración técnica.
Cuándo tiene sentido cada enfoque para empresas en Asturias
Data Mesh es adecuado cuando:
- La empresa tiene varias divisiones o unidades de negocio con equipos técnicos propios.
- El equipo central de datos no puede atender la demanda creciente de análisis.
- Los dominios de negocio tienen suficiente madurez técnica para gestionar sus propios datos.
Data Fabric es adecuado cuando:
- La empresa necesita integrar datos de muchos sistemas heterogéneos sin una reorganización estructural.
- Los datos están muy distribuidos geográficamente o en múltiples clouds.
- La prioridad es la accesibilidad y el descubrimiento de datos más que la propiedad.
Para grupos empresariales de Asturias con varias empresas o divisiones —pensemos en un holding que combine industria del metal y bienes de equipo, planta alimentaria o láctea, conservas de pescado en los puertos del Cantábrico y operación logística en El Musel—, una arquitectura Data Mesh puede transformar la relación entre los equipos de datos y el negocio. Para empresas con mucha variedad de sistemas legados, Data Fabric puede ser el puente hacia una plataforma de datos más coherente.
Implementación gradual: no es todo o nada
Ni Data Mesh ni Data Fabric requieren una transformación radical desde el primer día. El camino más pragmático comienza identificando los dominios de datos más maduros y más demandados, estableciendo con ellos el modelo de producto de dato, y extendiendo gradualmente los principios al resto de la organización.
En AIRES Studio trabajamos con empresas en Asturias para evaluar qué aproximación encaja con su estructura organizativa, su madurez de datos y sus objetivos de negocio, y diseñamos una hoja de ruta que minimiza el riesgo de la transición.
Preguntas frecuentes sobre Data Mesh y Data Fabric
¿Data Mesh es solo para grandes empresas? No, aunque es más común en organizaciones grandes. El principio de responsabilidad por dominio es aplicable en cualquier empresa con más de dos o tres áreas de negocio diferenciadas. Lo que cambia es la complejidad de la implementación. Una empresa mediana puede adoptar principios de Data Mesh de forma pragmática sin necesitar una plataforma de infraestructura compleja.
¿Qué pasa con la gobernanza cuando los datos están distribuidos? La gobernanza federada es uno de los pilares del Data Mesh precisamente para evitar que la descentralización se convierta en caos. Se definen estándares comunes de calidad, seguridad, formato y documentación que todos los dominios deben cumplir, y se establece un órgano de gobernanza ligero que vela por su aplicación sin microgestionar.
¿Cuánto tiempo lleva la transición a Data Mesh? Una transición completa en una organización mediana-grande es un proyecto de varias fases. Los primeros beneficios —mayor autonomía de los dominios, reducción del backlog del equipo central, mejora de la calidad de los datos más críticos— son visibles al completar los primeros dominios si se priorizan correctamente.