Data naar de Cloud
Voor de projecten bij de Rabobank en ASNBank is gewerkt aan projecten waarbij data werd gemigreerd naar de cloud. Hierbij wordt data beschikbaar gesteld voor verschillende stakeholders, zoals de AI afdeling die AI modellen willen ontwikkelen, de BI afdeling die Dashboards willen ontwikkelen, de marketeers die een klant profiel of een target group voor een marketing campagne willen hebben of voor KYC of Regulatory Reporting.
Al deze afnemers hebben hun eigen wensen en de data is vaak afkomstig vanuit verschillende domeinen zoals Betalen, Sparen of Hypotheken.
Voor de oplossingen zie ik graag dat men kiest voor DataMesh principes, met een centraal geregelde governance, maar met domeinen die hun eigen data in de cloud zetten.
Bij voorkeur ook wordt de data opgewerkt in meerdere lagen:
- Een ruwe laag: hierbij wordt data zoals deze uit de verschillende databronnen wordt aangeleverd ongewijzigd opgeslagen. Mocht er in een latere verwerkingslag iets moeten wijzigen, dan hebben we altijd nog de originele data.
- Een processed laag: hierbij worden de eerste verbeterslagen gemaakt zoals dat gekeken wordt naar formats, datatypes en of verplichte velden gevuld zijn.
- Een central data store: De verschillende bronnen komen samen in een central data store. Deze wordt zodanig gemodelleerd dat de data aan elkaar kan worden gelinkt waar nodig en ook historie zichtbaar is. Ook afleidingen op data worden gedaan met data uit de Central Data Store om de resultaten van deze afleidingen vervolgens ook weer op te slaan in diezelfde Central Data Store. Het idee is dat men vanuit de Central Data Store de data weer kan leveren voor verschillende data producten en stakeholders die data nodig hebben.
- Data producten: Vanuit de central data store kunnen verschillende data producten worden geleverd. Denk hierbij aan het beschikbaar stellen van data voor dashboards, een levering naar Marketing of controles van KYC of Regulatory Reporting.
Bij al deze lagen is aandacht voor Governance, Privacy en Data Kwaliteit. Immers wanneer data veel fouten bevat dan zullen ook dashboards veel foute bevatten of marketing campagnes ongewenst verkeerde klanten benaderen.