Data Mesh

Data Mesh, im Deutschen am besten mit Datengeflecht übersetzt, ist ein Architektur-Konzeptim Bereich des analytischen Datenmanagements.

Der Begriff wurde von Zhamak Dehghani im gleichnamigen Buch geprägt.

Die zentrale Idee ist eine dezentralisierte Datenorganisation – nicht nur eine dezentrale Speicherung wie beim Data Fabric Konzept. Anstatt Daten zentral in einem Ort zu speichern, werden sie in separate Domänen oder „Meshes“ aufgeteilt. Jede Domäne ist eigenverantwortlich für ihre Daten, einschließlich der Verwaltung, Qualitätssicherung und Bereitstellung.

Durch das dezentrale Verwalten soll die Skalierbarkeit und Flexibilität in großen Organisationen verbessert werden. Die zwei bislang genutzten BI-Architekturen, Datawarehouse und Data Lake, verfolgen einen zentralistischen Ansatz, bei dem alle Daten in die jeweiligen Datenbanken oder Lakes kopiert und dort zentral zur Verfügung gestellt werden. Der Schwachpunkt nach Dehghani sind dabei das zentrale Datenmanagementteam, das der Arbeitslast nicht mehr gewachsen ist und deren mangelndes Domänenwissen für eine fehlerfreie Aufbereitung der Daten.

Die Prinzipien des Data Meshs sind

• die Domänen – orientierte Dateneignerschaft (domain oriented data ownership),
• die Föderative Data Governance
• die Selbstservice-Möglichkeit der Datennutzer und
• die Betrachtungsweise von Data as a Product.
  

Das Domänen – Konzept.

In traditionellen Architekturen gehören die Daten dem BI – System; hier werden Daten aggregiert, angereichert und für Auswertungen verbunden. Im Data Mesh liegt die Verantwortung bei den datenerzeugenden Domänen. Im Gegensatz zu früherer dezentralen Datenhaltung (fragmentiert und isoliert) sollen im Data Mesh Konzept die bereitgestellten Datenstrukturen zentral auffindbar sein (Datenkatalog) und die Daten für die Konsumenten abrufbar (siehe auch Data Contracts). Eine Datendomäne besteht nicht nur aus einer Applikation, sondern kann das Zusammenspiel mehrere Systeme auf unterschiedlichen Architekturen umfassen. Im Data Mesh Ansatz müssen die Applikationen auch die historischen Daten halten. Ebenso wird eine zweite BI – orientierte Aufbereitung der Daten vorgehalten werden – neben den Daten in der originären Struktur der Applikationen.

Dezentralisierung und Selbstsouveränität der Domäne können aber auch schnell wieder zu den isolierten Datensilos führen, von denen man mit der zentralen Datenhaltung weg wollte. Daher ist es wichtig, zentrale Governance Richtlinien zu entwickeln, die dann dezentral in den Domänen verfeinert werden. Die Governance Organisation hat die schwierige Aufgabe ein Gleichgewicht zwischen Zentralisierung und Dezentralisierung aufrechterhalten, d. h. sie muss entscheiden, welche Entscheidungen für jeden Bereich lokal getroffen werden müssen und welche Entscheidungen global für alle Bereiche getroffen werden sollten.

Zum Vertiefen sei der Grundlagenartikel von Zhamak Dehghani „Data Mesh Principles and Logical Architecture“ empfohlen