Hoe ontwikkel je een end-to-end dataproduct?

Authenticatie

Doordat wij eigen web portals ontwikkelen, zijn we ook in controle over de authenticatie en autorisatie. Diverse lagen binnen deze concepten zorgen ervoor dat de juiste gebruiker toegang krijgt tot de juiste rapportages en daarbinnen ook de data te zien krijgt die voor hem of haar bestemt is.

Allereerst moet een eindgebruiker bij ons bekend zijn en inloggen (MFA) via het portaal. Daarnaast moet deze gebruiker toegang hebben tot een rapportage (zogenoemde doelgroepen in een PowerBI App) die ook nog eens beveiligd is op rijniveau (RLS), en tabelniveau (OLS).

Waar RLS zich beperkt tot toegang op data op basis van de rijen, beperkt OLS zich tot toegang op basis van specifieke objecten, zoals tabellen of kolommen, binnen een dataset. Hierdoor hebben gebruikers alleen toegang tot de onderdelen die voor hen zijn geautoriseerd.

Data Infrastructuur

Het gehele proces wordt ondersteund door een solide data-infrastructuur. Over de keuzes en afwegingen voor de infrastructuur zouden we boekwerken kunnen schrijven, maar daar heb ik gelukkig geen tijd voor en daarom probeer ik het maar beknopt toe te lichten.

De infrastructuur wordt afgestemd op het doel van het eindproduct en uiteraard niet andersom. Waar wij met name op letten is:

• Schaalbaarheid: De infrastructuur moet kunnen meegroeien en afschalen met de hoeveelheid data en het aantal gebruikers. Zij moet diverse soorten data en workloads aankunnen, zoals batch- en real-time verwerking.
• Betrouwbaarheid: De infrastructuur moet consistente prestaties bieden en minimale downtime garanderen.
• Beveiliging: De infrastructuur moet voldoen aan alle relevante beveiligingsnormen en wetgeving, inclusief data encryptie en toegangscontrole.
• Toegankelijkheid: De mate waarin een klant zelf mee ontwikkeld bepaald ook in grote maten de keuzes op technisch vlak. De infrastructuur moet gemakkelijk toegankelijk zijn voor alle gebruikers, ongeacht hun locatie of technische vaardigheden (tot in zekere mate).
• Kosten
  

Onze engineers hebben o.a. kennis en ervaring met Microsoft Azure als cloud-platform en de inrichting ervan vraagt om specifieke technische kennis en expertise: van Identity and Access Management (IAM), resource management en monitoring tot DevOps protocollen voor de uitrol van de componenten. De keuze is reuze en het is een tijdrovend en complex proces om de juiste componenten voor je product te kiezen. Om dit wat tastbaarder te maken, hieronder een rijtje van componenten (en dan heb ik niet eens over de tools & technieken) die wij momenteel gebruiken voor onze klant BAA waarbij wij een end-to-end dataproduct implementeren:

• App Service en App Service Plan: Hosten Docker containers (webportal, API, onze data Fetcher)
• Container Registry: Opslag Docker Image
• SQL Server en Database: Opslag van data
• Storage Account: Opslag van data
• Managed Identities: Integratie en authenticatie
• Private endpoints en DNS zone: Beveiliging
• Network Interface: Beveiliging
• VNET: Beveiliging
• Fabric Capacity: PowerBI Embedded
• Email service: Versturen alerts en notificaties
• Application Insights: Logging en monitoring

Data Management

Een stevige datamanagement fundering is noodzakelijk om grip en inzicht te houden op de data, zodat we consistent blijven voldoen aan de kwaliteits- en beveiligingseisen. Zo zijn er een aantal datamanagement principes die we volgen bij de ontwikkeling van een end-to-end dataproduct:

• Data governance: Duidelijke richtlijnen en verantwoordelijkheden voor het beheer van data, waar we ook specifieke aandacht richten aan reporting goverance.
• Data kwaliteit: We maken gebruik van een datakwaliteit framework en voeren regelmatig kwaliteitscontroles uit om ervoor te zorgen dat de data accuraat en betrouwbaar is en blijft.
• Schaalbaarheid: We ontwerpen de data infrastructuur zodanig dat deze kan meegroeien met de hoeveelheid data en het aantal gebruikers.
• Beveiliging en compliance: Ook zorgen we ervoor dat de data-infrastructuur voldoet aan alle relevante wet- en regelgeving op het gebied van data privacy en beveiliging.

Door deze stappen te volgen en de juiste principes toe te passen, kunnen we een krachtig en betrouwbaar end-to-end dataproduct creëren dat voldoet aan de behoeften van de organisatie en haar gebruikers.

Uiteraard hebben we bij Metriek voor dit soort implementaties de juiste mensen nodig met genoeg ervaring. Alle profielen uit de data driehoek, waar Marijn Nieboereerder over heeft geschreven, zijn essentieel.

Dus:

• Ben jij een data-expert en bouw jij graag mee aan dit soort projecten?
• Wil je meer weten over één van de bovenstaande onderdelen van dit artikel?
• Wil je meer weten over hoe wij waarde aan jouw organisatie kunnen leveren met de ontwikkeling van end-to-end dataproducten?

Stuur een berichtje naar Marijn Nieboer of mij (Bart Bijlsma) en ontdek wat er mogelijk is.