De Rotterdamse haven zet erop in om wereldwijd de slimste haven te zijn. Het Havenbedrijf focust op de energietransitie, digitalisering en innovatie. In navolging van de haven zien ook andere bedrijven in distributie en logistiek dat dit dé vraagstukken van de toekomst zijn. Vraagstukken waarbij ‘slim omgaan met data’ een belangrijke rol speelt. Voor een grote logistieke dienstverlener ontwikkelde ICT daarom een data fabric: een platform voor datamanagement en governance dat het mogelijk maakt dat de business zelf aan het roer kan gaan zitten bij het ontwikkelen van dashboards en andere tools die je nodig hebt in een data driven businessstrategie. Niels Noordijk geeft uitleg.
Real-time bijsturen en voorspellen
Niels: “Iedere minuut dat een boot aan de kade ligt kost geld. Iedere vrachtwagen die leeg terugrijdt, verbruikt onnodig diesel. Hoe efficiënter je logistieke processen maakt en hoe beter je ze op elkaar kunt laten aansluiten, hoe beter het is in termen van geld, benodigde mankracht, tijd en ook CO2-uitstoot.”
Je kunt in een dataplatform twee stromen hebben: een hot path of een cold path. Een hot path is bedoeld voor streaming data waarop je real-time wilt inspelen. Bij een cold path duurt het langer voordat je over de informatie kunt beschikken omdat er ofwel meer berekeningen plaatsvinden of omdat de bronsystemen niet in staat zijn om data real-time te streamen. Niels. “Met een data fabric kun je beide typen dataproducten ontwikkelen. Bijvoorbeeld alerts die aangeven dat er iets niet volgens planning verloopt, dashboards die real-time inzicht geven, voorspellingen op basis waarvan je je planning kunt verbeteren en analyses op basis waarvan je je strategie kunt bepalen.”
Interne en externe data combineren
Bedrijven beginnen vaak met hun eigen interne data uit een veelheid van systemen, zoals WMS, ERP en data van IoT-devices. Al snel ontstaat daarna de behoefte om ook externe data te ontsluiten, zoals data van de totale supply chain. Niels: “In eerste instantie gaat het dan vaak om data afkomstig van klanten, zoals orders. In toenemende mate ook om data van publieke bronnen, zoals Eurostat, het IMF of weer en verkeer.” Om het makkelijk te maken om dergelijke in- en externe bronnen toe te voegen, ontwikkelt ICT de data fabrics zo dat de business zelf kan besluiten welke data ze willen gebruiken. Daarbij maken we regelmatig gebruik van een DataVault, een modelleringsmethode waarmee je heel flexibel nieuwe data geautomatiseerd kunt toevoegen. Dat maakt het heel wendbaar.
Wij leggen in de data fabric vast welke databronnen we erop aansluiten, waar die zich bevinden en welk datateam voor welke bron verantwoordelijk is. Met datadefinities zorgen we ervoor dat het platform van appels appels maakt en van peren peren.
Als de ene applicatie een datum noteert als 1-2-2022, de andere als 1 februari 2022 en de derde op zijn Amerikaans als 20-1-2022, dan wordt die data automatisch gelijkgetrokken. Op die manier ben je in staat om data uit verschillende bronnen in samenhang te analyseren. Het bedrijf kan vervolgens met de self service ‘datafabriek’ aan de slag en zijn eigen voorspellingen, dashboards en alertingsystemen ontwikkelen.
Automatische bewaking van datakwaliteit, performance en security
Niels is in zijn rol als business consultant veel bezig met de kwaliteit van het platform. Daarbij gaat het onder meer om datakwaliteit, performance, veiligheid, het functioneren van de user interface en de werking van het platform in zijn algemeenheid. Niels: “Datakwaliteit dwingen we af met goed ingeregelde datadefinities met daarbij diverse kwaliteitscontroles. We kunnen bijvoorbeeld volautomatisch controleren of een bepaalde referentiewaarde wel echt bestaat en of de data compleet is. Een ander aspect van datakwaliteit is het kunnen traceren waar de data vandaan komt en het vastleggen hoe bepaalde KPI’s zijn opgebouwd. Een voorbeeld is de berekening van het aantal kraanbewegingen per uur. Je kunt deze berekening doen op basis van het totale aantal klokuren, maar je kunt ook de tijd dat de kraan niet operationeel is hiervan afhalen. Als je KPI’s van verschillende terminals, teams of kranen met elkaar wilt vergelijken, is het belangrijk dat ze op dezelfde manier worden berekend en dat je kunt uitleggen hoe het getal tot stand is gekomen. Dat is ook belangrijk als je nieuwe versies gaat maken van je dashboard waarin formules of databronnen wijzigen. In dat geval wil je de wijzigingen kunnen volgen en testen. Met een testmanagement-module zorg je ervoor dat je kwaliteit van je KPI’s ook in de toekomst gewaarborgd blijft.”
Bij performance gaat het vooral om de verwerkingssnelheid van het platform. Niels: “Het hele proces van het ophalen van data uit de databronnen, distribueren naar de verschillende toepassingen en het maken van de analyses wordt door het platform georkestreerd. De afzonderlijke taken moeten op elkaar aansluiten en dit moet ook nog binnen een acceptabele tijd gebeuren, zodat de gebruikers op tijd hun informatie krijgen.”
Security is een ook belangrijk aandachtspunt, zegt Niels. “Een organisatie brengt alle data onder op één centrale plek, wat in beginsel best een groot risico is. Er wordt data verplaatst, opgeslagen en gedistribueerd, en dat gaat soms om data die als gevoelig is gemarkeerd. Dat moet op een gecontroleerde en beveiligde manier gebeuren. De business kan zelf aanklikken welke data als sensitief moet worden aangemerkt. Daar zijn dan extra beveiligingsprocedures op van toepassing. Daarnaast voorzien we elke stap die te maken heeft met het verplaatsen, opslaan of verspreiden van data van een review en een goedkeuringsproces.”
Korte time-to-market van dataproducten
Dataoplossingen worden door veel bedrijven gebruikt, maar ook door studenten en wetenschappers. Zij proberen in een veelheid van data patronen te ontdekken op basis waarvan ze voorspellingen kunnen doen. Een groot onderzoeksveld is bijvoorbeeld een ETA-voorspeller (Estimated Time of Arrival) voor de diverse modaliteiten (boten, treinen en vrachtwagens).
Niels: “Maar het meest interessant van zo’n datamanagement en -governance platform is toch wel dat je zonder specifieke data engineering-kennis zelf aan de slag kunt. Het is voldoende als je beschikt over domeinkennis en statistische kennis. Daardoor is de time-to-market van een nieuw dataproduct heel kort. Bedrijven kunnen veel sneller inspelen op actuele vragen en worden zo veel wendbaarder.”
Hij concludeert dan ook: “Ieder bedrijf dat in de toekomst wil blijven concurreren, zal data driven moeten gaan werken conform het Industry 4.0-gedachtengoed. Het hebben en goed gebruiken van een dataplatform is daarbij een vereiste.”