Waarom worden we zenuwachtig van AI?

LEZING TJERK_2
 
(Intro met abstracte beelden met daaronder een korte begintune.)

(In beeld verschijnt de tekst: 
microlearnings
Ethiek)

(De heer Tjerk Timan staat voor de camera in een verder lege kantoorruimte en begint een monoloog.)

 (In beeld verschijnt de tekst:
Tjerk Timan
TNO, afdeling Strategy, Analysis & Policy)

TJERK TIMAN: Waarom worden we zenuwachtig van AI? We zien recentelijk in de media en in veel debatten in de academische wereld, in de technische wereld, in de bedrijfswereld, heel veel gepraat en heel veel discussie rondom AI. De vraag is waarom we daar nou zo zenuwachtig van worden. Wat maakt nou aan AI dat het zo veel nieuwe vragen oproept?

(In beeld verschijnt een afbeelding met vier punten onder de titel: 
AI als eindeloos experiment
Het probleem van afbakening gekoppelde systemen. 

- AI is geen 'product' en is moeilijk af te bakenen: het is een socitechnisch systeem
- Nieuwe data -> betere modellen -> nieuwe data etc: eeuwig beta
- Langetermijnsgevolgen: die in een ontwerpfase moeilijk te overzien zijn
- Denken in termen van ststemmen in plaats van producten.
Naast een schematische weergave in bloken van 'input' via 'algoritme' naar 'output' en waarin feedback weer invloed heeft op de 'input', in Engels een 'Framework for promoting anticipation and responsiveness regarding potential unintended, undesirable, higher-order effects of algorithms'). De werking legt de spreker vervolgens uit.

Een aspect van AI wat zeker daartoe bijdraagt, is het feit dat AI eigenlijk een constant, niet aflopend experiment is. AI is een algoritme dat getraind wordt op data en vervolgens in de echte wereld met echte data aan de gang gaat, daar weer van leert en zodoende het model weer beter maakt,  zodoende weer nieuwe data genereert et cetera. Het moeilijke daarvan is ten opzichte van alle andere technologieën, ook digitale technologieën die we hebben, dat we eigenlijk voor het eerst in een wereld
komen waar AI een soort van eeuwige bèta is. We weten niet goed hoe we op de lange termijn moeten nadenken over de effecten daarvan.

Waar we vaak kijken rondom ethiek en technologie naar een bepaald product en soms ook wel naar een bepaald proces in een heel afgebakend veld, zie je dat AI zo breed kan worden ingezet en zo snel en ook globaal kan leren van nieuwe data en van nieuwe inzichten et cetera, dat het heel moeilijk is om te grijpen waar dat nou op zit. Als we iets dieper gaan inzoomen over waarom dat eeuwige experiment zo problematisch is, zien we eigenlijk dat er een paar dingen zijn waar we op kunnen inzoomen.

(In beeld verschijnt wederom dezelfde afbeelding met uitleg over de werking.)

Een is het feit dat we wel kunnen kijken naar het algoritme zelf en de data die erin gaat en waar het wordt toegepast, maar zodra AI in de echte wereld gaat leven, krijg je allerlei langetermijneffecten waar we eigenlijk nog nauwelijks goed grip op hebben. Hoe, bijvoorbeeld, over de lange termijn, ontwikkelt een AI-model of algoritme zich aan de hand van nieuwe data? Doet het dan nog over tien jaar wat je in het begin beloofd had? Hoe zit het met de kwaliteit van data en van gegevens waar we die AI op trainen? En hoe zit het met echte-wereld-data? Hoe representatief is die eigenlijk? Et cetera.
Er is specifiek aandacht naar een bepaald aantal onderwerpen die vanuit de ethiek via de mensenrechten terechtkomen bij de AI-discussie.

(In beeld verschijnt  afbeelding met drie punten onder de Engelse titel: 
Fairness, accuracy, transparency, explicability
Maar ook liability, contestatibility, legality
- AI zorgt voor veel onrust omtrent eerlijke en gelijke behandeling en de versterkiing van bestaande vooringenomenheid (bias)
- Zelfs al is AI eerlijk, dan moeten we dat wel kunnen aantonen: transparantie en uitlegbaarheid
- 'Model drift' en kwaliteit van (trainings)data geven ook zorgen
naast een afbeelding met een pritnscreens met de titel Fair Machine Learning en afbeeldingen bij voorbeelden van ethische dilemma's in het Engels waaronder 'Biased AI'. Deze afbeelding wordt vervolgens uitgelegd door de spreker.)

Eén heel belangrijke daarvan is gelijkheid, eerlijkheid en vooringenomenheid, wat ook wel bias heet.
Het moeilijke is dat we, omdat we heel veel processen zijn gaan digitaliseren, ook bepaalde waardes en vooringenomenheid meenemen in die data. Soms bewust, heel vaak onbewust. De geschiedenis van de manieren hoe wij data opslaan, worden gevangen in digitale middelen en data. En met die data gaan we algoritmes trainen, die vanzelf beter worden in het vinden van correlaties tussen die datasets.
Dus zelfs al is die AI zo goed mogelijk geprogrammeerd, we krijgen toch een reflectie van de vooringenomenheid, de bias, in de maatschappij, in allerlei processen, krijgen we terug in AI. Nou kun je zeggen: Wat is daar het probleem van? Die bias bestond al. Het probleem is dat we die bias zijn gaan automatiseren. Het is niet een mens dat daarnaar kijkt, of een groep mensen dat daar een oordeel over heeft of daartegen terug kan vechten, maar het is een algoritme dat zelf op basis van die data relaties gaat leggen en dat vooringenomen effect gaat versterken. We hebben daar legio voorbeelden van, zoals bijvoorbeeld de COMPAS-casus in Amerika, waar een strafmaat werd bepaald door een rechter op basis van een algoritme. Dat algoritme was getraind op bepaalde data. In die data stonden bepaalde bevolkingsgroepen veel sterker vertegenwoordigd dan andere. Dus ging de AI zwaardere straffen toekennen aan die bevolkingsgroep. Daar is niks intentioneel verkeerd aan in het algoritme, maar je ziet de reflectie daar terugkomen. Wat is daar een volgende stap aan? Zelfs als dat algoritme eerlijk en transparant is - en zelfs al komen we achter dit soort problemen en fixen we ze...

(In beeld verschijnt dezelfde afbeelding met de drie Engelse punten onder de titel: 'Fairness, accuracy, transparency, explicability. Maar ook liability, contestatibility, legality')

Het is technologisch heel moeilijk om transparant te zijn over wat er gebeurt in zo'n algoritme. Vooral als het gaat over vormen van machinelearning waar een algoritme en een computer zelf gaat leren van bepaalde datasets, is het technologisch heel ingewikkeld om daar goed uitleg over te geven. Waarom komt een algoritme tot een bepaalde uitkomst? En kunnen we die uitkomst nog plaatsen in onze menselijke kennis en context? En daarnaast, daaraan gekoppeld ook, de manier waarop we transparant moeten zijn. Is het publiceren van een algoritme transparantie? Of is transparantie de vraag over wat we met die uitkomst gedaan hebben, bijvoorbeeld? Dus over transparantie, en of dat technologisch moet zijn, organisatorisch of sociologisch, daar zijn nog heel veel discussies over. Daar worstelen we nog mee, hoe we nou eigenlijk aan de wereld kunnen uitleggen wat zo'n algoritme doet. Dan is de vraag: Hoe kan de mens controle houden? Dat is nog een ethisch vraagstuk als het gaat om AI.

(In beeld verschijnt een afbeelding met vier punten onder de titel: 
Toegepast op meaningful human control
Hoe kan de mens controle houden?
- Meaningful Human Control (MHC) in HCI.
- Ontwerpuitdagingen in vertaling van ethiek naar ontwerpteksten en systeemeisen van AI in interactie met mensen.
- MHC steeds moeilijker in autonome AI.
- Hoe en waar kunnen we ingrijpe als er geen tijd of geen schaal is.
Naast afbeeldingen van kopen van krantenknipsels waar dit aan de orde is.)

In heel veel algoritmes die we toepassen, zien we dat het vrij simpele algoritmes zijn, die we nog aardig goed kunnen uitleggen, zoals een regressieanalyse. Echter, we gaan naar steeds meer autonome systemen die in een split second een beslissing moeten nemen of een besluit moeten vormen en daarop moeten handelen. Denk aan een zelfrijdende auto of een cyberaanval op een elektriciteitsnet, bijvoorbeeld. Daar komt geen mens meer tussen. Daar hebben we geen tijd voor. En we hebben niet als individueel mens de capaciteit om dat allemaal te snappen en om met al die informatie om te gaan.
Dus daar rijst de vraag: In de context waarin autonome systemen zelf beslissingen maken, hoe kunnen we dan nog menselijke controle houden? En moeten we misschien die ethiek inbouwen in die technologie? Dat zijn huidige discussies die heel sterk leven in de technologische wereld, ook in de wereld van ICT. In hoeverre kun je en mag je regels en wetten inbouwen in de technologie, omdat de mens te langzaam is om te snappen wat je daar moet doen. En als laatste zien we dat dat ingrijpt
op een groot vraagstuk waar we nu in zitten, als we kijken naar de Gartner Hype Cycle van AI en ethiek,
zien we dat we nu gaan van ethiek naar governance.

(In beeld verschijnt  afbeelding met vier punten onder de titel: 
Van ethiek naar governance
Van principes naar beleid.
- Van AI ethiek naar 'governance' van AI
- Technische analyses op modellen en data o.a. XAI
- Maar ook: veel aandacht naar data en 'feature studies'.
- Lange termijn: nog weinig over bekend (AI leeft in het 'verleden'.)

Hoe kunnen we die ethische vraagstukken in beleid en governance inbouwen? Hoe gaan we dat eigenlijk regelen? Daar komen dit soort vragen terug. Wie moet er toezicht op houden, bijvoorbeeld?
Of: Hoe kunnen we zorgen dat die datakwaliteit goed is? Moeten we daar instanties voor oprichten, moeten we nieuwe wet- en regelgeving maken, et cetera. We zien nu heel erg dat de vraag naast technologisch, rondom deze uitdagingen van transparantie en uitlegbaarheid en vooringenomenheid, nu zich ook vertalen naar de beleidskant en de managementkant. Hoe kunnen we eigenlijk AI goed managen?

(Outro met abstracte beelden en korte eindtune.)

(In beeld verschijnt de tekst:
microlearnings
Ethiek)

(Het laatste beeld bevat het logo van de Rijksoverheid met daaronder de tekst:
Deze microlearning is tot stand gekomen door een samenwerking tussen de Leer- en Ontwikkelcampus (LOC) van UBR, de directie CIO Rijk van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BKZ) en de Rijksacademie voor Digitalisering en Informatisering Overheid (RADIO))