Hoe gaan we om met bestaande wetgeving?

TJERK EN REMCO_3
 
(Intro met abstracte beelden met daaronder een korte begintune.)

(In beeld verschijnt de tekst: 
microlearnings
Ethiek)

(Twee mensen zitten tegenover elkaar in een verder lege kantoorruimte en starten het gesprek: 
de heer Tjerk Timan begint, de heer Remco Boersma reageert.)

(In beeld verschijnt de tekst:
dr. Tjerk Timan
TNO, afdeling Strategy, Analysis & Policy)

TJERK TIMAN: Er bestaan genoeg uitdagingen rondom het vertalen van ethiek naar de praktijk voor de data scientist. Zijn er nou specifieke zaken aan AI die zo anders zijn, dan bijvoorbeeld klassieke software engineering als het gaat om ethische dilemma's, kwaliteitscontrole, het nadenken over hoe je een dienst opbouwt. Zou u daar iets over kunnen zeggen?

(In beeld verschijnt de tekst:
ir. Remco Boersma
projectleider Data-analyse en AI, Ministerie van Justitie en Veiligheid)

(In beeld verschijnt de tekst: Verschil software ontwikkeling en AI ontwikkeling)

REMCO BOERSMA: Een belangrijk verschil met klassieke softwareontwikkeling, is dat AI natuurlijk veel meer gebruik maakt van de data en de historie die in die data opgesloten ligt. Dus het belang om kwaliteitscontroles op die dataset te doen, is die dataset niet te klein, zit er geen bias in die dataset, is die dataset wel geschikt voor het doel waarvoor ik het in wil zetten, die vraagstukken komen veel nadrukkelijker naar boven dan bij klassieke ontwikkeling, waar je misschien een applicatie genereert
die juist data moet inbrengen vanuit de professionele medewerker. Dus de oriëntatie van AI is denk ik anders inderdaad dan klassieke ontwikkeling, juist vanwege dat aspect.

TJERK: En hoe zit het aan de modelkant? De algoritmische kant? Zijn daar hele grote verschillen in bijvoorbeeld het feit dat een nieuw risico is dat modellen kunnen gaan afdrijven, op een gegeven moment, bijvoorbeeld? Dus de kwaliteitscontrole en de zekerheid, hoe zeker kun je van je model zijn
om daar een beslissing op te maken? Zijn dat ook zaken die actief terugkomen bij de data scientist?

REMCO: Ja, dat zou in ieder geval moeten, uiteraard. De feedbackloops of het hertesten op het moment dat data of functionaliteit wordt gewijzigd, is ontzettend belangrijk. In de klassieke software zie je dat iets minder. Een nieuwe release wordt wel technisch getest, maar misschien minder op de aspecten dat een model volledig kan afdrijven van het doel wat je ermee voor ogen had en ook de kwaliteit die daardoor ontstaat. Dus dat is denk ik belangrijk om daar goed rekening mee te houden.

TJERK: En hoe wordt daar nu rekening mee gehouden in de praktijk? Is daar al iets voor? 

REMCO: In ieder geval zeggen we dus dat er hertest moet worden op een moment dat een van die aspecten verandert. Of dat de dataset verandert of dat de software wordt aangepast om een of andere reden.

(In beeld verschijnt de tekst: Het testen van AI-modellen op de lange termijn)

Om het model te hertrainen, dat proberen we in de cyclus in te brengen. Dat je dat op regelmatige basis doet en de uitkomsten daarvan test, natuurlijk. Of die nog steeds voldoen aan wat je beoogt.

TJERK: Zijn er genoeg van dat soort testdatasets om dit te doen? Of is dat... Is dat allemaal in place? Denk je van, dit kunnen we doen, of liggen daar nog uitdagingen?

REMCO: Nou, dat is... Het juist verkrijgen van de data is altijd lastig. Het zit vaak opgesloten in applicatiesilo's, dus het is al ingewikkeld om al die data ter beschikking te krijgen voor je data science-kant. Maar op een moment dat dat gelukt is, denk ik dat die sets beschikbaar zijn. Daar is wel het vraagstuk, natuurlijk: Hoe gaan we om met bestaande regelgeving als Archiefwet, verjaringstermijnen et cetera.

(In beeld verschijnt de tekst: Hoe gaan we om met bestaande wetgeving?)

Dus je krijgt ook het hele spectrum nog eens een keer mee als je die datasets wilt herbruiken om je model te hertrainen. Dat je natuurlijk met alle vaste wetgeving ook rekening moet houden. Wat het soms nog eens een keer extra compliceert.

(In beeld verschijnt de tekst: Hoe zit het met toezicht?)

TJERK: Is er ook, naast dat jullie dit zelf allemaal doen en snappen dat die vragen er zijn, is er ook een bepaalde manier of mate van toezicht? Hoe is dat eigenlijk ingeregeld? Is er een externe partij
die bijvoorbeeld af en toe komt kijken?

REMCO: Op dit moment is dat beperkt. We doen veel collegiale toetsing. En toetsing natuurlijk in de scrum- of agile-wijze die vaak gehanteerd wordt om die toetsing te doen. Dat we echt externen daar nog eens een keer aanvullend naar laten kijken, gebeurt op dit moment nog beperkt. Er is wel meer politieke en maatschappelijke druk natuurlijk om dat te doen, om de Autoriteit Persoonsgegevens
die rol te geven of een andere instantie. Capaciteitstechnisch is dat natuurlijk een ingewikkeld stuk. Of er voldoende capaciteit is om dat te kunnen doen. Dus op dit moment is dat nog beperkt.

(Outro met abstracte beelden en korte eindtune.)

(In beeld verschijnt de tekst:
microlearnings
Ethiek)

(Het laatste beeld bevat het logo van de Rijksoverheid met daaronder de tekst:
Deze microlearning is tot stand gekomen door een samenwerking tussen de Leer- en Ontwikkelcampus (LOC) van UBR, de directie CIO Rijk van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BKZ) en de Rijksacademie voor Digitalisering en Informatisering Overheid (RADIO))