Ethiek in de praktijk. Afl. 5 - Sociale algoritmes

'Hoe kunnen we algoritmes inzetten voor sociale doelen?'
Welkom bij 'Ethiek in de praktijk'. Ik ben Robin Rotman
en in deze podcastserie praat ik met experts en ervaringsdeskundigen
over data-ethiek in de dagelijkse praktijk.
'Die overheid heeft zoveel meer informatie dan die techbedrijven
en die doen het ook om andere redenen dan geld verdienen aan advertenties.
Dat maakt het zo spannend en eng.' ROTMAN: Te gast vandaag:
Steven Dorrestein, lector ethiek en technologie op de Saxion Hogeschool
en Aad Francissen, managing director bij 8ting.
Wat is 8ting?
-Een kleine data-adviesorganisatie.
Wij adviseren organisaties in het sociale domein
om meer te doen met data, om te leren van data.
ROTMAN: En we hebben het vandaag over sociale algoritmes,
algoritmes die we inzetten om mensen een beetje te helpen.
Die systemen bouw jij ook?
-Nee, eigenlijk niet.
We bouwen niet zo zeer die algoritmes,
maar wij sporen organisaties aan om de data die ze hebben
in te zetten om hun dienstverlening te optimaliseren
om mensen in een kwetsbare positie
steeds beter, sneller en effectiever te helpen.
ROTMAN: Steven, jij bent lector ethiek.
En we weten allemaal dat algoritmes inmiddels besmet zijn.
We kennen de beloftes: In de toekomst gaat alles met algoritmes en data.
Dat is zeg maar de oplossing voor alles. Maar ze zijn ook af en toe besmet.
Vooral als ze door de overheid worden ingezet, zijn we kritisch.
Profiling, privacy, vooroordelen, bias, uitsluiting, discriminatie.
Dat is nogal wat.
-Je hebt alles al genoemd.
Inderdaad, algoritmes hebben slechte pers de laatste jaren.
FRANCISSEN: Mensenrechtenschendingen.
ROTMAN: Maar is dat terecht, eigenlijk?
DORRESTIJN: Hebben we het de laatste tijd veel over gehad.
Ook onlangs in Enschede een sciencecafé over algoritmes
en daar kwam uit: in zichzelf zijn ze niet slecht,
net als een mes, je kan er goede en slechte dingen mee doen.
Dat geldt voor alle technologie, maar ook zeker ook voor algoritmes.
Dus nee, ze zijn niet in zichzelf slecht,
maar het blijkt nu dat we ze hebben toegepast
op manieren die echt slecht uitpakken.
ROTMAN: Wat is dan een sociaal doel?
-De aanleiding voor dit gesprek
is het voorstel van minister Carola Schouten.
De strekking daarvan was: laten we ook proberen algoritmes in te zetten
op een goede manier, ook bij de overheid.
En een voorbeeld was:
laten we kijken door de data beter te gebruiken,
misschien zelfs door algoritmes,
maar vooral ook lager bij de grond, data te gebruiken om mensen te helpen
gebruik te maken van regelingen die er zijn
om geld te krijgen, uitkeringen, bijstand, dus mensen die niet gebruikmaken
van de regelingen waar ze wel recht op hebben, te bereiken.
ROTMAN: Zij is minister van armoedebestrijding.
Er zijn in Nederland een heleboel mensen die recht hebben op subsidies,
op potjes met geld, en die maken daar geen gebruik van.
Ze weten de weg niet te vinden, whatever.
En minister Schouten dacht: wacht even, we hebben veel data van die mensen.
'Wij weten dat ze er geen gebruik van maken. We kunnen ze triggeren.'
'Kom op, je hebt recht op geld.'
-We noemen haar naam,
maar zij staat daar pas net,
dus zij bouwt verder op het werk van veel anderen.
Maar inderdaad, dat is nu het idee. En dat lijkt me een goed voorbeeld.
ROTMAN: Ik beschouw jou als de techneut in de zaal, Aad.
Is dit moeilijk om te bouwen?
-Nee, dit is niet moeilijk.
De data is voorhanden. We weten wat mensen
die in een kwetsbare positie zitten aan inkomen hebben
en misschien ook dat er bevorderingen of beslagleggingen gedaan zijn.
Die data is wel voorhanden.
Ik heb zelfs al een werkend voorbeeld van de gemeente Enschede,
wat ze noemen: digitaal luisteren. Zit ook in die schuldenhoek.
Die data vragen ze op of kopen ze van Google
en dan krijgen ze terug: in die en die buurten
wordt er meer gezocht op termen als: ik heb nu snel een lening nodig.
Daar zoekt Enschede actief op via Google, dat is dan het algoritme.
Ze hebben niets zelf laten ontwikkelen.
Maar ze gebruiken die data wel om hun schuldhulpverleners
en social workers in die wijken en buurten gerichter in te kunnen zetten.
ROTMAN: Dit is natuurlijk prachtig en wat de minister wil doen ook,
maar ik krijg ook een beetje jeuk, Steven.
-Ik ook,
en zeker bij zo'n groot techbedrijf,
want niet alleen algoritmes hebben slechte pers,
maar die big techbedrijven ook. Die zijn volop in het nieuws.
Dus bij mij gaan de haren ook overeind staan. Wat gebeurt er dan precies?
ROTMAN: Los van de vraag welk techbedrijf daar een rol speelt,
maar meer het idee dat de overheid allerlei wegen gaat behandelen
om informatie van mij, over mij bij elkaar te harken.
Om iets goeds te doen weliswaar, maar ze komen wel erg dichtbij.
Ze weten een heleboel. Alleen daar al krijg ik jeuk van.
DORRESTIJN: Ik ook, en het is mijn vak om die jeuk proberen te verwoorden.
Maar ik vind het ook interessant, en dat kan Aad mooi vertellen,
wat er toch de goede kant aan is, wat het alternatief is.
Wat er nu niet gebeurt wat we wel moeten gaan doen.
ROTMAN: Nou, pak 'm op.
-Oké.
We zijn met de trein, Steven en ik, vanuit Enschede hier gekomen.
ROTMAN: Jullie hebben dit gesprek al gevoerd.
FRANCISSEN: Al vier keer, denk ik. Veel verschillende voorbeelden.
Een van die voorbeelden is van de NS zelf,
die eigenlijk binnen dezelfde kaders die er nu zijn
net op een andere manier hun informatie aanreiken
waardoor je een ander gedrag krijgt.
Welk gedrag? Tien jaar geleden stond je op het perron
en dan kwam de omroep: ding dong, uw trein heeft tien minuten vertraging.
Iedereen chagrijnig: 'weer die NS'.
Tegenwoordig als je op perron staat, wordt er omgeroepen:
'Ding dong, uw trein vertrekt over tien minuten.'
Feitelijk, juridisch gezien, dezelfde informatie,
maar meer in de lijn van wat je wil horen. Je wil vertrekken en minder gedoe.
En wat ze ook doen,
is zorgen dat die trein dan net twee minuten eerder binnen komt rollen,
waardoor je denkt: oh, hij is nog eerder.
Ze passen een soort van psychologie toe
om die nare beeldvorming die ze steeds hadden, 'de NS heeft altijd vertraging',
om dat tegen te gaan.
ROTMAN: Maar dit gaat over communicatiestrategie.
Dit gaat over politici die getraind worden
om iets anders te verpakken, maar dezelfde boodschap te verkopen.
FRANCISSEN: Daar hebben we 't hier in het sociale domein over.
Jij zegt: ik krijg er jeuk van als die overheid van alles van mij weet.
Ik zal je uit de droom helpen: de overheid weet al heel veel.
Alle overheden waar je ooit mee te maken hebt, weten al veel van jou.
De Belastingdienst weet by far het meeste,
maar ook instanties als UWV of SVB.
Als je ermee te maken hebt, weten ze best veel van je.
Dus daar zit het probleem niet.
De vraag is veel meer: wat doen ze ermee?
Als het gaat om jou te begeleiden om de juiste stapjes zetten,
om jou uit die kwetsbare positie te helpen,
want dat is de bedoeling van de sociale wetgeving,
kun je dan ook wat doen met die data die je toch al hebt?
Dat is eigenlijk het gesprek wat we hier voeren.
ROTMAN: Maar wat kan er dan fout gaan, Steven?
DORRESTIJN: Nou komen we bij de toeslagenaffaire van de Belastingdienst.
Het hele beleid, de manier van denken over wat er moet gebeuren,
is dat de wet netjes nageleefd moet worden.
We sporen allen op die fouten maken en die krijgen straf.
En daar heel strak op zitten.
En de positievere draai die je zou kunnen geven aan het gebruik van dezelfde data,
is dat je niet mensen gaat bijsturen door hen te bestraffen,
maar laat zien 'dit is fout gegaan'
en te helpen om het beter te doen de volgende keer.
Dus dat lijkt een beetje op het voorbeeld van Aad,
waarbij de omroeper zegt
'trein is vertraagd' of 'hij komt er bijna aan, over vijf minuten'.
ROTMAN: Maar toch even dat verhaal van die armoedebestrijding,
want dat is toch een ander verhaal. Denk jij daarvan 'dat is niet zo handig'?
Of denk je 'Nee, als je dit juist uitvoert, kan het prima'?
DORRESTIJN: Nou, ik weet het echt nog niet.
We zijn bezig erover na te denken. ROTMAN: Dat is al heel wat.
Dus er is een minister die zegt: 'Mensen leven in armoede.
Dat zijn er in Nederland misschien best veel, de armoedegrens.'
Ik weet niet hoeveel, een paar honderdduizend misschien.
Die hebben een uitkering, rechten. Ik vergis me in de cijfers,
maar het gaat even om het principe.
En dan denk ik van: go for it. Dat is toch een no-brainer?
FRANCISSEN: En er komen er meer bij.
Nu de maatregelen zijn afgebouwd, vallen veel bedrijfjes om,
mensen moeten ook echt een andere baan gaan zoeken.
Op dit moment zijn er banen te over, gelukkig.
Maar laten we even kijken, in de nabije toekomst
denk ik dat het wel anders gaat lopen.
Dus het is hartstikke hard nodig.
Maar wat is er nou voor nodig, maar waar hebben we het nou over?
Die toepassing van die algoritmes,
waarbij er 'n technische oplossing wordt gekozen om mensen op een lijst te zetten
en die mensen op die lijst vervolgens automatisch af te snijden
van allerlei rechten die jij en ik gewoon hebben,
want mij heeft die toeslagenaffaire niet geraakt.
Ik heb er totaal geen last van gehad.
Maar hoe anders is dat voor de mensen die wel op die lijst stonden
en niet eens bezwaar konden aantekenen.
Dat kun je bijna niet voorstellen in Nederland,
dat je geen bezwaar tegen een beslissing van de overheid kunt aantekenen.
Dat kon gewoon niet. In wat voor dictatuur leven we dan?
En ik heb er niks van gemerkt, ook dat nog. Het waren echt twee werelden.
Als dat geautomatiseerd gaat, heb je het over een algoritme.
ROTMAN: Het is grappig, want jij leidt dit gesprek wederom
naar de toeslagenaffaire, terwijl jij Steven bijna afkapte.
Je nam het woord over, omdat het ging over de minister en armoedebestrijding.
Jij gaf de nut en noodzaak aan. Mensen vallen om, covid, et cetera.
Maar we waren nog steeds bij het punt dat Steven aan het uitleggen was.
Het is voor jou een no-brainer, gewoon doen.
Maar Steven zei: Voor mij is het niet zo'n no-brainer.
Maar waarom dan eigenlijk?
DORRESTIJN: Mijn keuze is: een beetje schematisch gezegd,
denk ik dat het bij de toeslagenaffaire helemaal fout is gegaan.
Daar werd data gebruikt op een manier die heel verkeerd is uitgepakt.
ROTMAN: Dat zit in ons achterhoofd.
-Maar dat kan vast en zeker ook beter.
Dus je kunt dan mensen niet alleen maar bestraffen en klem zetten,
maar op een veel positievere, constructievere manier begeleiden
en uit het leven halen wat erin zit, verstandiger gedrag te tonen.
Dus dat is altijd goed.
Maar nu komt het vervolg: waar leidt dat toe?
Want dat betekent wel dat de overheid zich intensief met ons gaat bemoeien,
Wat jij aangaf. En dat vind ik toch wel zorgelijk,
want waar ik vandaan kom, hoe ik in de techniekfilosofie ben gerold,
is onder anderen door Michel Foucault, een filosoof
en die heeft een begrip, een 'disciplinaire maatschappij',
waar je minutieus wordt gecontroleerd en bijgestuurd.
Dus komen we daar terecht en is dat erg?
Dat is de vervolgvraag. Van Belastingdienst naar armoedebestrijding:
altijd goed? Maar dan toch de vraag:
willen we in een maatschappij leven waar je zo intensief gevolgd
en bijgestuurd wordt, zelfs al is het ten goede?
ROTMAN: Dus jij stapt over de vraag van de minister die armoede wil bestrijden.
Jij ziet gelijk the bigger picture:
Dit is misschien de glijdende schaal.
We zijn nu een samenleving aan het organiseren
waarbij alles in de gaten wordt gehouden,
minutieus bijgestuurd en getweakt.
Voel jij dit ook, Aad? Als bouwer van systemen.
FRANCISSEN: Ik zit altijd erg op de mogelijkhedenkant.
Wat jij schetst is volgens mij wat in China ook gebeurt.
Die sociale controle die via digitale applicaties mogelijk wordt gemaakt.
Burgers houden ook elkaar daar in de gaten.
Zie jij iemand door rood licht lopen, kun je die bestraffen
door hem aan te geven. Vreselijk. Dat wil denk ik niemand.
Ik probeer wat dichter bij de doelmatigheid van de wet te blijven.
Ik zit steeds op dat...
Je hebt wetmatigheid: wat zijn de regels, de kaders van de wet?
Daar is het heel erg misgegaan. We gaan mensen dus straffen,
omdat ze iets hebben gedaan wat niet mag, want dat staat in de wet.
De uiterste kaders.
Maar er is ook een doelmatigheid van die wet.
En kun je ook in het kader van het doel van die wet,
en bij de sociale wetgeving is dat bijna altijd
het stimuleren en bevorderen van zelfredzaamheid en participatie,
kun je daarin mensen de juiste duwtjes, prikjes of informatie geven
op het juiste moment, op de persoon afgestemd?
Eigenlijk heb je het dan over marketing automation,
wat we gewend zijn van de grote retailers,
Bol.com, Coolblue, ook van Facebook, Google, Amazon.
Die hebben een profiel van jou
en je krijgt de producten aangereikt die passen bij dat profiel.
Dat kun je verwerpelijk of prettig vinden.
ROTMAN: Je zegt het met een grote glimlach richting Steven.
DORRESTIJN: Ik denk daarin ook wel enigszins in termen van mogelijkheden,
maar ook zorgen en gevaren die daarin meekomen.
Dus ik ben blij met het tegenvoorbeeld,
vanuit deze tafel gezien, het schrikvoorbeeld van China.
Maar dat vind ik ook raar om te zeggen, want daar wonen veel mensen,
en daar zijn veel mensen die er anders naar kijken, moet ik voorzichtig in zijn.
Maar vanuit ons perspectief gezien, is dat echt een heel andere wereld
en een beetje een schrikbeeld.
ROTMAN: Maar als jij nu Aad hoort praten over deze casus
en hij zegt 'ja, het grotere verhaal...
Ik kijk eigenlijk naar de casus en de wetmatigheid en doelmatigheid',
wat denk jij dan? Of blijf jij dan:
'Ja, maar je kan allerlei casussen hebben die wetmatig en doelmatig zijn
dat het voor de casus zelf klopt,
maar the bigger picture die je dan creëert, is zorgwekkend,
ook al is het per casus wel goed.'
Waar zit bij jou dan de wrijving? DORRESTIJN: Een goeie vraag
en een groot probleem. Want kun je tien goede toepassingen naast elkaar hebben
die geïsoleerd blijven, die je in de hand kunt houden en kunt blijven controleren?
Of krijg je dan toch een optelsom, krijg je een glijdende schaal?
Krijg je function creep? Aad, daar heb jij een mooi voorbeeld van genoemd.
Echt een strak voorbeeld.
FRANCISSEN: Toen wij de eerste voorbereidingen voor dit gesprek deden,
een maand of wat geleden, was er net in het nieuws dat de Finse overheid,
net als in Nederland, bij iedereen die 'n paspoort aanvraagt een vingerafdruk wil.
Ik was daar fel op tegen toen dat net werd ingevoerd.
Ik moest ook mijn paspoort vernieuwen. Ik kreeg het niet zonder vingerafdruk.
En nu is dat in Finland ook zo. In Nederland is het afgeschaft inmiddels.
De Finse overheid heeft gezegd:
'Mogen we die database van al die vingerafdrukken dan ook gebruiken
om dan, wel hele ernstige, criminelen op te pakken. Mag dat dan?'
Nou ja, ik viel van m'n stoel. Dit is zo erg.
Dit is de glijdende schaal. Precies wat Steven zegt.
En dan moet je als overheid niet eens die vraag stellen.
Dit is zo slecht om te doen.
Die vingerafdruk hebben we nodig.
Dat is ter identificatie van iemand die z'n paspoort aanvraagt.
Dat is nog tot daaraan toe. Zitten allerlei risico's aan.
Maar wat als dat paspoort in criminele handen valt en jouw vingerafdruk ook?
Dat wil je helemaal niet. Zitten we toch allemaal in een database.
En dan komt de politie ineens: Mogen we het toch gebruiken voor criminelen?
Het is echt... Hier gaat het fout. ROTMAN: Dan krijg je hetzelfde gesprek,
want dan komt er een keer een Opspo- ring Vermist die het hele land door gaat.
Een klein meisje met grote bambiogen die vermist raakt.
En dan komt er een politicus die zegt: 'Zullen we die database gebruiken?
Ik weet bijna zeker dat we 'm dan pakken.' Succes met nee zeggen.
DORRESTIJN: In verband met terrorisme- opsporing in Amerika heeft dat gespeeld,
op een interessante manier. Dus dat de overheid zegt
'wij willen de data uit de chatdiensten gebruiken'
en de telefoonmakers zeggen: We helpen niet, want dan is 't hek van de dam.
Dat juist de techbedrijven in dit geval de dam waren
om niet die afschuiving te krijgen. FRANCISSEN: Erg hè,
dat die techbedrijven dan uiteindelijk zeggen: hier trekken wij de grens.
ROTMAN: Als zelfs een techbedrijf een grens trekt, weet je dat...
FRANCISSEN: Maar echt. Die zitten daar om geld te verdienen.
Gelukkig doen ze dat nog voorlopig met advertenties.
Dat is het enge ook, dat snap ik ook wel.
We kunnen allemaal bang zijn voor die advertenties,
maar als je een keer een verkeerde advertentie getoond krijgt,
daar ga je niet meteen dood van.
Maar als jij in het ziekenhuis vanwege 'n algoritme een verkeerde spuit krijgt,
kun je wel ineens overlijden.
En weer over de toeslagenaffaire: er zijn 33 zelfmoorden geweest.
Dat is toch vreselijk.
Die overheid heeft zo veel meer informatie dan die techbedrijven
en die doen het ook om andere redenen dan geld verdienen aan advertenties.
Dat maakt het zo spannend en eng.
ROTMAN: Dit is een verhaal waar je een hele treinreis van het oosten...
naar Amsterdam lekker over kan bakkeleien.
Hier moeten we met z'n allen altijd over praten.
Of je nou bij de overheid of bedrijven werkt.
Er zijn een paar voorbeelden voorbijgekomen.
Minister Schouten die dus armoede wil bestrijden, is iets goeds.
Mitsen en maren, maar we hebben de potentie
dat de grote databases ons allemaal opvreten
en dat je dan in een kafkaëske situatie belandt
dat je eigenlijk geen weerstand meer kan bieden.
Aad noemde net een paar leuke voorbeelden.
Even een paar concrete tips en oplossingen.
Want je zit hiernaar te luisteren en je denkt:
'Op mijn afdeling zitten we ook te broeden op een algoritme.
Maar wij willen dat gaan doen.' Er zijn eigenlijk twee scenario's, Steven.
Of het is misschien oké, mits je aan deze voorwaarden voldoet.
Wat zijn dan de tips en de voorwaarden? Hoe kun je dat organiseren dat het safe is
en de andere scenario's die doen we daarna.
Wat zijn dan de rode vlaggen? Wanneer moet je het niet doen?
'Dit is geen algoritme dat je moet gaan inzetten.'
Eerst eventjes de voorwaarden en de tips.
Je wil een algoritme inzetten, je werkt voor een overheid.
Je bent misschien de beleidsmaker van een minister.
Waar moet je op letten zodat je het goed doet?
DORRESTIJN: Het eigenaardige is dat mensen een onterecht groot geloof
in data en algoritmes hebben.
Dus die krijgen te veel prestige toegekend op dit moment.
En ik denk dat je niet per se moet vertrouwen
wat er uit een rekensom van een computer komt.
Of ja, die rekensom kun je wel vertrouwen,
maar dat is niet een-op-een 'n antwoord, een beleid dat je gaat inzetten.
ROTMAN: Jij doet een stapje terug. Tip 1 is eigenlijk:
is een algoritme wel de oplossing? Stel jezelf eerst eens die vraag.
DORRESTIJN: Ja, ik denk dat dat een hele goeie vraag is
die je veel vaker moet stellen. Kan dat niet gewoon op een ouderwetse manier
met een schriftje of met een gesprek, de wijk in lopen.
ROTMAN: Aad, goede tip?
-Zeker.
Wat Steven ook zegt:
er moet altijd een mens zitten tussen een algoritme en het besluit,
en zeker als het over levens van mensen gaat.
ROTMAN: Dus 'computer says no' gaat niet gebeuren, er moet altijd een mens...
Het is een advies. Er komt een advies uit en geen besluit.
ROTMAN: Oké, dat is tip.
Dus je moet zorgen dat de mens het laatste woord heeft,
dus geen automatisering en dat je vermalen wordt,
dat je geen weerstand kan bieden, niet in beroep.
Andere tips als je toch aan de slag wil gaan met die algoritmes
die natuurlijk toffe dingen kunnen doen.
Er zit er hier eentje, die heeft er een bedrijf van gebouwd.
Hoe doe je het goed, Aad?
Hoe doe jij het goed?
-Een van de zaken
waar wij nu naartoe werken, onder andere met VNG,
Vereniging van Nederlandse Gemeentes,
dat wij sterk aanbevelen, en VNG zit zelf ook op dat spoor,
is dat de inwoner eigenaar wordt en ook blijft van z'n eigen data.
Veel gemeenten zijn bezig met een Mijn- pagina: mijn.hengelo,mijn.denhaag.
Daar staat maar een fractie op van wat er van jou bekend is bij die gemeenten.
Maar waarom hebben inwoners niet een eigen digitale kluis
waar de informatie van de SVB, UVW, gemeente en de rijksoverheid in staat?
De beginnetjes zijn er al. Waarbij je ook, net als die CoronaCheck-app...
even een QR-code kunt maken van een stukje van die informatie
en dat deel je met de consulent die 't op dat moment nodig heeft van de overheid.
ROTMAN: Of met de webwinkel.
-Wat jij zelf wil.
ROTMAN: Steven?
-Ik vind het wel mooi...
maar dat is een behoorlijke uitdaging. En dat betekent ook...
Het is een andere manier van denken.
Veel systemen die zijn gebouwd werken sneller.
Want het is een heel technisch bouwwerk om dat mogelijk te maken.
Dat kan wel, maar is 'n behoorlijke onderneming.
Ik denk dat het goed is om te doen. ROTMAN: Het gaat over regie.
Je geeft mensen weer control over hun eigen data.
DORRESTIJN: Dus ik ben het er helemaal mee eens.
En ook al kost het zoveel tijd en moeite om dat technisch te maken
en duurt het allemaal wat langer voordat al die mogelijkheden er zijn,
dan is 't wel de goede route. FRANCISSEN: Het wordt nu gebouwd.
Ze zijn aan het experimenteren.
Natuurlijk, over tien jaar zal dit hopelijk meer gemeengoed zijn,
maar het wordt nu ontwikkeld, er worden modules ontwikkeld.
Er wordt ook getoetst.
En ook dat delen. Zorg is altijd net iets verder dan een sociaal domein.
De curatieve sector.
Ik heb drie van die PGO's, persoonlijke gezondheidsomgeving, gedownload.
Dan heb je toegang via DigiD, best ingewikkeld nog.
Maar die downloadt zo m'n hele huisartsendossier op m'n telefoon.
DORRESTIJN: Maar dat is vertraagd, want de eerste versie
bij de invoering 10 jaar geleden van het Elektronisch Patiëntendossier,
dat is min of meer gestokt. En dat zat 'm echt hierop.
Dus nu komt dat toch wel op gang
op een manier waarin mensen eigenaar zijn van hun data, steeds meer.
FRANCISSEN: Nou, ik ben nog geen eigenaar.
Het is nog data die bij de huisarts staat en gemaakt wordt.
Ik kan niet zeggen: Dit klopt niet, het moet anders.
Ik heb toegang. Maar de volgende stap is
dat ik stukjes van die data, en dan kom ik in het ziekenhuis...
en de specialist wil weten: welke medicijnen gebruik je nou?
En die medicijnen, een moeilijke naam, die vergeet ik altijd.
Maar dat staat in het dossier, dat kan ik delen met die vent. Ideaal.
Ik vind dat mooi, maar dan heb ik dus echt controle.
ROTMAN: Totdat je in een ambulance wordt aangevoerd
en de artsen kunnen niet bij jouw informatie in de kluis.
Goed, dat zijn praktische dingen. We dwalen een beetje af.
Ik wil even terug naar die menselijke maat,
waar Steven het over heeft. Die algoritmes, dat solutionism.
Die tech gaat alles maar oplossen.
Heb je nog meer tips 'n tricks: als je dat wil doen, prima.
'Het heeft misschien mooie effecten.'
Wat zijn nog meer de tips die je wat jou betreft zou moeten volgen?
DORRENSTIJN: De belangrijkste: echt de mens in the loop houden.
Dus die moet daar echt onderdeel van zijn.
ROTMAN: Mensen in the loop, niet out of the loop.
DORRESTIJN: Mensen moeten onderdeel zijn en niet de data blindelings volgen.
Menselijke controle. Dat is nog een sterkere versie. Net ging het erover:
Kunnen mensen niet eigenaar, zelfs beheerder, worden
van hun eigen kluisje met data? ROTMAN: Wat is dan de rode vlag?
Je wil met een algoritme aan de slag.
Je hebt het gevoel dat je iets goeds gaat doen voor de samenleving.
En wanneer zeg jij nou 'leuk bedacht, moet je niet willen'?
Wat zijn dan de rode vlaggen? DORRESTIJN: Moeilijk te zeggen,
maar we gaan het proberen. ROTMAN: Tuurlijk.
DORRESTIJN: We hebben China voor- gehouden als een soort schrikbeeld.
Maar wat is daar zo anders aan dan wat wij nu proberen?
FRANCISSEN: Daar controleren mensen elkaar met een soort van sociale score.
Net zoals een kredietscore in Amerika.
Sta je in een database van een kredietbeoordelaar met een lage score,
kun jij geen hypotheek krijgen. Jammer, joh.
En dat doen ze daar dus met mensen, social scoren.
Dit is natuurlijk een hele rode vlag.
DORRESTIJN: Maar dan is die rode vlag maar moeilijk te zetten.
Het blijft toch een beetje een vaag gebied.
In hoeverre zit je in het ene systeem en in het andere?
We hebben we het nu over China, hoe het sociaal kredietsysteem functioneert?
Een paar jaar geleden heb ik met veel interesse gekeken
naar The Circle, de film en het boek van Dave Eggers
en daar heb je precies hetzelfde.
Dan zit iedereen elkaar te ranken, maar dan in de Amerikaanse context.
Ik denk dat de uitwerking ongeveer hetzelfde is.
En op vrijwillige basis. FRANCISSEN: Dat is een rode vlag.
Het gaat over jouw data, van jou, die bij de overheidsorganisaties staan,
er zijn veel overheidsorganisaties, dat jij die in beheer hebt,
maar niet dat jij andere mensen gaat zitten ranken.
Die rode vlag ik wil even planten. Geen ranking.
ROTMAN: Je bent ambtenaar op een ministerie,
bij een gemeente of een andere overheidsorganisatie
of misschien bij een commerciële club. Rode vlaggen zijn moeilijk te planten,
zeg jij, Steven. DORRESTIJN: Ik heb 'n nieuw antwoord.
Die rode vlag moet je altijd bij de hand houden. Op z'n minst.
ROTMAN: Dat betekent: je wil met 'n algoritme werken, dat is al de rode vlag.
DORRESTIJN: Nee. Je moet 'm bij de hand houden om 'm te kunnen zetten.
Je moet weten dat je ook een keer nee kunt zeggen.
Dus je moet je ervan bewust zijn dat je bezig bent
met datagedreven werken, algoritmes gebruiken
en dat dat een gevaar in zich draagt,
dat dat het niet duidelijk is hoever je kunt gaan, dat het nog wenselijk is.
ROTMAN: Dus dat is degene aan de kant die dat systeem wil inzetten.
Die laat dat systeem bouwen, moet daar scherp op zijn
zichzelf kritisch ondervragen,
ook het tegengeluid binnen de organisatie erbij halen.
Hebben we ook een aflevering over gemaakt met mijn vriend Alex Corra.
Die zegt ook allemaal slimme dingen. Luister die podcast.
En wat is de verantwoordelijkheid van de maker, Aad?
Jij zit wat meer aan die kant.
Moet je ook tegen een klant kunnen zeggen: 'Wat je nou wil,
je moet het niet willen, pak de telefoon en doe het analoog.
Bel die mensen gewoon op.' Is daar ook een verantwoordelijkheid?
FRANCISSEN: Vind ik wel, maar wij zijn ook een beetje een activistische
of idealistische organisatie.
Dus wij zitten er echt in om dat sociaal domein beter te maken
voor de mensen in die kwetsbare positie.
We maken een voorspelmodel voor een gemeente als het gaat om uitgaven.
Als dat model gebruikt gaat worden om straffen uit te delen,
dan draai ik daar de kraan van dicht. 'Daar was het niet voor bedoeld, mensen.
Ga maar even terug naar de doelmatigheid van de wet.'
DORRESTIJN: Ik kan me goed voorstellen, dat gebeurt wel,
dat overheden, steden... Iedereen heeft gehoord: je moet datagedreven werken,
dus er wordt wel geëxperimenteerd met plannen en dingen waarvan je denkt:
'moet dat nou echt? Dat is echt niet goed.'
En dat is wel een deel van m'n werk op het Saxion
om ook bij gemeenten en steden te helpen
om ethiek in de organisatie een plek te geven
zodat je ook kan bijsturen of zo nodig de stekker eruit kunt trekken.
FRANCISSEN: De gemeenteraad heeft een belangrijke functie.
In Enschede zitten wij er wat dichter op omdat we er wonen.
Maar die laten zich jaarlijks informeren:
welke algoritmes draaien er in deze gemeente? Kom het maar eens uitleggen.
Heel leuk. En het is goed voor raadsleden
om daar wat van te vinden.
ROTMAN: Bij twijfel, bel Steven Dorrestijn,
lector ethiek en technologie aan de Saxion Hogeschool.
Twijfel je nog steeds? Bel Aad Francissen, managing director van 8ting.
Dank voor het luisteren. Meer informatie? Luister meer van deze podcasts.
Hartstikke leuk. Bijvoorbeeld, zoals ik net al zei:
over hoe ga je nou om met interne kritiek
en zorg je ervoor dat mensen zich veilig voelen
als ze bijvoorbeeld jou aan je mouwtje trekken
als jij een algoritme wil inzetten.
Cip-overheid.nl/uitgelicht of je favoriete podcastapp.
Tot de volgende keer.