Hoe voldoet een AI-systeem aan alle ethische normen of wettelijke eisen?

TJERK EN REMCO_4
 
(Intro met abstracte beelden met daaronder een korte begintune.)

(In beeld verschijnt de tekst: 
microlearnings
Ethiek)

(Twee mensen zitten tegenover elkaar in een verder lege kantoorruimte en starten het gesprek: 
de heer Tjerk Timan begint, de heer Remco Boersma reageert.)

(In beeld verschijnt de tekst:
dr. Tjerk Timan
TNO, afdeling Strategy, Analysis & Policy)

TJERK TIMAN: Er is vanuit maatschappelijke en politieke bewegingen, maar ook misschien vanaf de ICT-kant zelf een grotere roep om AI goed in te regelen om die governance goed te doen.

(In beeld verschijnt de tekst: Wat kan een data scientist zelf doen om ethische AI te ontwikkelen?)

Wat zou een data scientist zelf kunnen doen om te zorgen dat zijn of haar AI-systeem voldoet aan al die ethische normen of wettelijke eisen?

(In beeld verschijnt de tekst:
ir. Remco Boersma
projectleider Data-analyse en AI, Ministerie van Justitie en Veiligheid)

REMCO BOERSMA: Het is ontzettend belangrijk dat een data scientist of een data-analist rekening houdt met de transparantie en de verantwoording die genomen moet worden. Dat betekent ook dat een data scientist zich al heel bewust moet zijn, dat hij de dingen op de juiste manier documenteert. Dat hij z'n aannames vastlegt, dat hij aangeeft waarom hij bepaalde afwegingen heeft gemaakt. Wat daar de beweegreden voor was. En dat dient hij ook eigenlijk bijna zelfs in de code te documenteren.
Of in ieder documentatie te creëren hoe dat tot stand gekomen is. Zodat later die transparantie er ook ingebracht kan worden en ook de verantwoording daarover kan worden afgelegd. Dat betekent wel echt specifieke aandacht van een data scientist op die punten.

(In beeld verschijnt de tekst: Belang van documentatie en redenatie van de inzet van een AI systeem)

TJERK: En kan dat altijd? Ik kan me voorstellen dat bij vormen van machine learning je niet altijd terug kunt redeneren waarom een neuraal netwerk tot een bepaalde uitkomst kwam. Op welk niveau zou die transparantiedocumentatie moeten plaatsvinden? Hoe specifiek diep moet dat gaan en kan dat gaan?

REMCO: Ja, dat is... Voor supervised learning zou dat prima kunnen. Dat je gewoon denkt: Welke identifiers neem ik mee? Maar bij unsupervised learning wordt dat al een ingewikkelder vraagstuk.
Maar ook daar kun je natuurlijk wel aannames maken op de kwaliteit van je dataset die je inbrengt - of die dataset scheef is qua populatie - en als je dan toch besluit om die gegevensset met dat  kwaliteitsniveau te gebruiken, zou je minimaal moeten vastleggen waarom je dan vindt dat voor dit doel de kwaliteit voldoende is en het bijvoorbeeld niet erg is dat er een wat scheve verhouding zit in de dataset op zichzelf. Dus dan leg je in ieder geval een aantal van die afwegingen wel vast.

TJERK: Ja. Aan de voorkant. Misschien ook aan de achterkant?

REMCO: Ja, aan de achterkant zou je dat wellicht ook moeten doen. Die zijn wat minder duidelijk te duiden, wellicht. Dan kom je toch op het aspect van hertrainen van je model en de uitkomsten daarvan evalueren. Bekijken: Waardoor heeft het systeem deze verdeling gemaakt?

(In beeld verschijnt de tekst: Controleer ook aan de achterkant of uitkomsten van een AI systeem logisch zijn)

Is dat logisch ook vanuit een domeinexpertise gezien? Je zult dan die discussie ook met de producto owners of de business aan moeten gaan, van: Klopt dit ook met de praktijk? 

TJERK: Ja. En hoe worden de data scientists bij JenV daarbij geholpen op dit moment?

(In beeld verschijnt de tekst: Via daily standups en sprints worden bij JenV ethische dilemma's behandeld. Praat ook regelmatig met de product- of business owner)

REMCO: We proberen natuurlijk echt wel in daily standups of in sprint reviews die business echt te betrekken. In mijn optiek is dat nog te weinig. Die hebben vaak geen dagelijkse bemoeienis met dit soort ontwikkelingen, maar komen dan inderdaad bij sprint reviews naar voren. Soms is natuurlijk wel de vraag: Is dat voldoende om in de loop van die sprints ook die afwegingen goed te kunnen bediscussiëren onderling. 

TJERK: En nog te kunnen sturen.

REMCO: Ja, zeker. Ja. Dus de samenwerking tussen een data scientist en de groep die daarmee bezig is
en echt de primaire businessvertegenwoordiger, zou misschien wel wat intensiever moeten.

(Outro met abstracte beelden en korte eindtune.)

(In beeld verschijnt de tekst:
microlearnings
Ethiek)

(Het laatste beeld bevat het logo van de Rijksoverheid met daaronder de tekst:
Deze microlearning is tot stand gekomen door een samenwerking tussen de Leer- en Ontwikkelcampus (LOC) van UBR, de directie CIO Rijk van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BKZ) en de Rijksacademie voor Digitalisering en Informatisering Overheid (RADIO))