Datamesh: de datawereld is aan zet…
We leven in een tijd van specialisaties: microservices, microbatches en microstreaming, een-op-een-coaching, en zelfs gepersonaliseerde geneeskunde. Er is echter een gebied dat hopeloos achterloopt op het vlak van specialisatie: datawarehousing en Business Intelligence. De oplossing: datamesh.
Traditioneel aangevlogen vanuit een ‘one-approach-must-fit-all’-aanpak past de huidige werkvorm van datawarehousing en Business Intelligence niet in de agile en volatiele wereld van informatievoorziening. De klantvraag, en dat wat er voor nodig is om die in te vullen, zijn twee totaal verschillende werelden met verschillende uitgangspunten. Het is onvermijdelijk dat specialisatie hierin een grote rol gaat spelen. Enerzijds om dubbel werk te voorkomen, anderzijds om de snelheid van leveren en reageren te verhogen.
Gedeelde verantwoordelijkheid voor dataverwerking
De samenwerking tussen business en IT was altijd al essentieel, maar wordt nu nog belangrijker. Om vraag en aanbod bij elkaar te brengen moeten we toe naar een dataorganisatie die data decentraal produceert en centraal publiceert en regisseert. Daar waar dataverwerking voorheen een IT-aangelegenheid was, wordt het een gedeelde verantwoordelijkheid met de business. Dit vereist de oprichting van domeinspecifieke teams die de productie en publicatie van bedrijfsdata zelfstandig oppakken. Hierdoor ontstaat een dataorganisatie waar gedeeld eigenaarschap, hoge datakwaliteit en een domeinspecifieke aanpak leiden tot wendbaarheid. Iets dat voor IT niet altijd vanzelfsprekend is, maar wat in de logische lijn van agile werken ligt.
Specialisatie met behulp van datamesh
Datamesh is een concept dat de verzelfstandiging vergroot op het vlak van data-eigenaarschap en -publicatie. Het biedt een oplossing en handvatten om de gewenste versnelling aan te brengen. In de basis gaat het om een decentrale dataorganisatie die centraal wordt geregisseerd. Dit is overigens geen directe oplossing, maar eerder een stip aan de horizon. Het is een ‘foundational shift’. Het is een verandering met gevolgen voor alle aspecten van de organisatie: van IT-centrisch naar domeinteams waarin IT is ondergebracht. Dit vraagt om een gefaseerde aanpak waarin duidelijk geprioriteerd wordt en focus wordt aangebracht: data-eigenaarschap en datagovernance zijn randvoorwaardelijk om dit te laten slagen.
Een drastische herziening is nodig
Nog altijd wordt datawarehousing aangevlogen vanuit de gedachte van ‘bron-centrale verwerking-ontsluiting’. Dit gedachtegoed moet drastisch worden herzien om aan de toenemende vraag van snelle informatie te kunnen voldoen. Het is bijna de standaard geworden dat de backlog van de IT-organisatie de doorlooptijd van een informatieproduct bepaalt. Op organisatorisch vlak worden zeker stappen gezet. Agile-teams werken al in sprints van twee weken om een ‘minimum viable product’ (MVP) op te leveren: een product dat direct waarde toevoegt. Verder zijn er CI/CD-pipelines waarin nagenoeg continu en op elk moment aan code wordt gesleuteld die niet op gezette tijden, maar op elk willekeurig moment wordt opgeleverd. Deze zaken zijn niet meer weg te denken uit onze realiteit en we maken er dagelijks gebruik van.
Snel schakelen staat voorop. App-stores geven zo’n beetje elke dag een melding dat er wéér een update van een social-platform beschikbaar is, omdat er een paar bugs zijn opgelost en daarbij ook nog wat nieuwe functionaliteit is toegevoegd. Niet omdat mensen erom vragen, maar omdat het beschikbaar is gemaakt. Dit staat in schril contrast met de situatie waarin de business een informatieproduct nodig heeft: dan blijkt snel schakelen niet mogelijk. De vraag wordt in een planningsessie besproken, geprioriteerd en komt uiteindelijk (hopelijk) terecht op de backlog van IT. Als de tijd rijp is wordt de sprint gestart waarin dit product wordt opgeleverd. Niet zelden is de informatievraag dan al gepasseerd en komt het dashboard als mosterd na de maaltijd. Dit los je niet op met uitsluitend IT-oplossingen. Om dit te verbeteren moet IT integraal onderdeel uitmaken van de businessteams. Dit zijn domeinspecifieke teams die bewaken dat zowel technische als functionele kennis efficiënt worden ingezet.
De B in Business Intelligence staat niet voor niks voor Business
BI heeft de business als klant en daar zit de functionele kennis. De business heeft niet alleen kennis van operationele processen en de systemen die deze processen ondersteunen, maar ook van de rapportages die het verloop van die processen duidelijk maken en aanleiding geven voor optimalisaties. Daar tussenin staat de moloch van IT zonder proces- en businesskennis.
BI gaat ook óver de business. Businessexperts hebben het belang om snel te kunnen schakelen zodat zij een klant beter kunnen bedienen en om beslissingen te nemen. In een snel veranderende wereld met een even snel ontwikkelende behoefte aan recente, correcte, toepasbare gegevens en inzichten is niet zelden de backlog van het centrale IT-team de bottleneck. De hardwerkende data-engineers en hun team zijn verworden tot een probleem omdat zij niet zo snel kunnen schakelen als de vraag van de business zich ontwikkelt. Dit wordt nota bene in stand gehouden door diezelfde business, namelijk door IT niet aan te haken bij de scrumteams die met de businessbehoefte aan de slag gaan. Een gemiste kans. De datawereld is aan zet…
De essentie van datamesh
Het lijkt erop dat IT de remmende factor is op de business die almaar sneller wil en daarvoor dataproducten nodig heeft. Door domeinspecifieke teams in te richten waarin IT een core-onderdeel is, kan het remmende aspect van IT worden beperkt. Deze vorm van herorganiseren is de essentie van datamesh.
In een reeks blogs, publicaties en e-papers nemen we je de komende maanden mee en delen we onze visie op:
- de impact van datamesh op jouw organisatie (lees bijvoorbeeld meer over de impact van datamesh op privacygovernance);
- Factbased Improvement;
- het datafundament en waardecreatie.
Datamesh@KPN
Herken je dit dilemma in jouw organisatie, wil je aan de slag met datamesh en zoek je daarbij ondersteuning? Neem dan contact met ons op. Wil je weten hoe KPN aan de slag is gegaan met een datamesh-architectuur, bekijk dan het webinar Datamesh@KPN.