Data Mesh

Data Mesh ist ein Architekturparadigma, bei dem die Verantwortung für Unternehmensdaten auf mehrere cross-funktionale Fachdomänen-Teams verteilt wird. Diese stellen internen Datenkonsumierenden dann Datenprodukte bereit.

Data Mesh ermöglicht eine erfolgreiche Dezentralisierung von Datenverantwortung. Damit wird der traditionelle Ansatz der zentralisierten Verantwortung, z. B. in Data Warehouses, infrage gestellt. Data Mesh bietet dabei Lösungen für einige der Qualitäts- und Skalierungsprobleme, die bei der Verwendung von Data Warehouses und Data Lakes auftreten.

Beschreibung

Beim Data-Mesh-Paradigma wird ein dezentraler Ansatz in Bezug auf die Datenplattform und datenproduzierende Teams verfolgt. Die traditionellen Engpässe von Datenplattformen mit zentralisierter Struktur werden so eliminiert.

Das Data-Mesh-Paradigma baut auf bewährten Software-Engineering Prinzipien auf und verbindet sie mit modernen dezentralen Ansätzen hinsichtlich Architektur und Self-Service-Plattformen. In den letzten 15 Jahren ist der Anteil an Vernetzung und Online-Diensten, einschließlich IoT, stark gestiegen. Parallel dazu hat auch die Bedeutung von Daten und ihrer effektiven Verwaltung deutlich zugenommen. Data Mesh bietet einen neuen Ansatz, die großen Mengen an erfassten Daten zu verwalten – und zwar effektiv mit neuen Architekturen und Tools.

Bisher herrschte die Auffassung, große Volumen an Analysedaten müssten zentral vorliegen und auch zentral verwaltet werden, damit Wertschöpfung möglich ist. Mittlerweile müssen Unternehmen zunehmend immer größere Datenmengen nahezu in Echtzeit analysieren. Dazu sind die zentralisierten Ansätze nicht mehr geeignet.

Beim Data-Mesh-Paradigma wird davon ausgegangen, dass Domänen-Experten am besten wissen, wie ihre Daten wertschöpfend verwendet werden können. Sie sollen ihre Daten als Produkte verstehen, die sie dem Rest des Unternehmens zur Verfügung stellen. Andere Datenproduktteams können mit diesen Daten dann eigene Analysen durchführen, intelligente Anwendungen erstellen oder Daten neu aggregieren und auf der Plattform zur Weiterverwendung veröffentlichen.

Vorteile

Data Mesh bietet Lösungen für einige der Qualitäts- und Skalierungsprobleme, die bei zentralisierten Ansätzen auftreten. Bei richtiger Anwendung erhält Ihr Unternehmen Erkenntnisse aus Big Data und kann Innovationen bei Datenanalysen voranbringen. Teams können frei experimentieren, wie sich die Daten am besten verwenden lassen.

Beim Data-Mesh-Ansatz sind funktionsübergreifende Domain-Teams für die Daten zuständig und können sie deshalb sinnvoller aufbereiten. Durch die Verantwortung und die Anforderung, die Daten in Form von Produkten dem gesamten Unternehmen zur Verfügung zu stellen, wird eine angemessene Datenkuratierung sichergestellt.

Trade-offs

Data Mesh ist ein komplexes Modell. Fachdomänen-Teams müssen sich unter Umständen erst darauf einstellen, für ihre Daten verantwortlich zu sein, sie aufzubereiten und in abrufbereite Form zu bringen. Damit die Domänen-eigenen Datenprodukte im gesamten Unternehmen genutzt werden können, bedarf es einer übergreifenden Governance.

Da die Daten verschiedenen Fachdomänen-Teams gehören, gibt es u.U. nicht mehr eine zentrale Entität mit allen Kundendaten. Stattdessen müssen die benötigten Daten identifiziert und aus den passenden, im Unternehmen verteilten, Datenprodukten gezogen werden. Für die Bereitstellung und Nutzung der Daten als Produkt sollte für die Fachdomänen-Teams eine Art Belohnungssystem eingeführt werden. Dazu ist ein ausgefeiltes Organisationsdesign erforderlich.

Anwendung

Data Mesh eignet sich für Unternehmen mit großen Datenbeständen und vielen Fachdomänen, Teams und Systemen. Das Paradigma wird immer häufiger im Einzelhandel sowie im Gesundheits- und Versicherungswesen eingesetzt. Hier erfassen Organisationen Daten aus vielen verschiedenen Quellen, die sie dann wertschöpfend verwenden möchten. Außerdem müssen sie ihre Plattformen skalieren, um schneller mehr Erkenntnisse zu gewinnen und gleichzeitig neue Daten einzubinden und zu erstellen.