RADIO Webinar: Kennismaking met ChatGPT

Welkom allemaal bij dit webinar over ChatGPT.
Ik ben Marijke Abrahamse. Ik werk bij RADIO
de Rijksacademie voor Digitalisering en Informatisering Overheid
en wij organiseren vandaag dit webinar.
Het maakt trouwens deel uit van de Maand van de Digitale Fitheid.
Een hele maand lang zijn er heel veel sessies.
Leuke, inspirerende, leerzame sessies over digitale fitheid.
En dat gaat deels over goed om kunnen gaan met je digitale spullen
met je goede vaardigheden.
Maar het gaat ook over het volgen van nieuwe ontwikkelingen.
Weten wat er speelt, wat er aankomt
en wat dat mogelijk gaat betekenen voor jouw omgeving of jouw werk.
En in dat kader past dus dit webinar over Chat GPT.
Want kunstmatige intelligentie, AI
dat is één van die grote ontwikkelingen die al een aantal jaren opkomt
en de introductie van ChatGPT op 30 november vorig jaar
dat was echt een wereldwijde hype.
Al drie maanden lang is het volgens mij dagelijks in het nieuws.
Dus alle reden om hier aandacht aan te besteden.
Gelukkig vonden we goede sprekers. Deskundigen van de Universiteit Leiden.
Welkom Francien Dechesne en Masha Medvedeva.
Zij gaan jullie uitleggen wat er allemaal speelt, wat je kunt met ChatGPT
en, nou, misschien ook wel wat kansen en risico's zijn.
Dus 'the floor is yours'.
Eerst zouden we graag even kennismaken
ook met de mensen in de zaal, in de virtuele zaal.
Dus we hebben een aantal vragen voorbereid
waarin jullie kunnen aangeven waar jullie werkzaam zijn
en straks in wat voor functie en wat jullie grootste vraag is
over ChatGPT.
Jullie kunnen nu als het goed is in de poll zien, een aantal opties.
De eerste vraag: waar zijn jullie werkzaam?
Voor ons ook interessant.
Juist in het kader van die maand van de digitale fitheid hebben we ook
veel andere mensen die meedoen aan allerlei activiteiten.
Niet alleen maar de ambtenaren, vaak veel rijksambtenaren
die naar onze webinars kijken.
Dus leuk om even te zien wat de herkomst is.
Als je trouwens niet in een van de categorieën past
wees niet al te streng daarin of al te strikt
maar dan kun je ook nog in de chats aangeven
bij welk type organisatie je wel werkt.
We zien al... Toch veel ministeries en rijksoverheid.
Ook wat mede-overheden.
De gemeenten en provincies.
Nou, in het licht van de tijd...
Kunnen we misschien doorgaan naar de volgende vraag?
Dank jullie wel voor de antwoorden.
Want dan binnen deze organisaties, en nog steeds heel veel overheid dus:
wat is dan de functie die jullie hebben?
Ook dat is even aardig.
Zeker ook voor onze sprekers om te weten wat het publiek is.
Ook hier weer als er niet iets...
De categorieën zijn zeer breed gedefinieerd en ook, nou ja...
daar zijn vele andere functiecategoriseringen mogelijk.
Dan bestaat de optie D om in te vullen...
Nou ja, om via de chat even te laten weten wat voor soort andere functie.
En dan...
Tot slot zijn we natuurlijk ook benieuwd
naar wat jullie graag willen weten over ChatGPT.
Ook hiervoor hebben we een aantal mogelijke vragen geformuleerd
en hier is de categorie 'anders' natuurlijk heel erg open.
Het is ongetwijfeld te kort om alle vragen te beantwoorden
maar we zijn dankbaar voor vragen die jullie in de chat met ons willen delen.
MARIJKE: De chat blijft trouwens open gedurende het hele webinar.
En het is mijn opdracht om te zorgen dat ik de vragen in de gaten houd.
En als ze.... Als ik denk dat het interessant is
om ook vooral Francien te attenderen dat er zo'n vraag is
en proberen we daar op in te spelen.
Dus gebruik die chat tussendoor als je denkt:
hé, hier wil ik iets meer over weten of ik wil net iets anders weten
of ik heb een extra vraag bij een bepaald stukje.
Nou, ik zie tot mijn genoegen dat een groot deel van de respondenten antwoordt
dat ze graag willen weten hoe het werkt
en daar gaan we zeker aandacht aan besteden vandaag.
Maar ook wel: waarom maken we ons hier druk over?
En ook: waarom maken we ons hier druk over?
Ook daar hoop ik dat we enig antwoord op kunnen geven.
En we hebben nog twee vragen in de chat.
Hoe kunnen we het slim en effectief inzetten?
Hoe gebruik ik het handig in mijn werk?
Dat lijkt erg op elkaar.
En: hoe gaat AI zich het komende jaar ontwikkelen?
Dat is wel heel breed.
-Dat is heel breed
en dat sluit misschien aan op mijn start
bij de inleiding op dit webinar.
Dank je wel, Marijke. Ehm...
Donald Rumsfeld, de filosoof heeft de wereld verrijkt
met zijn constatering dat er dingen zijn die we weten.
Dingen waarvan we weten dat we ze niet weten
maar ook dingen waarvan we niet weten dat we ze niet weten.
En met large language models weten we dat er heel veel dingen zijn
waarvan we niet weten dat we ze niet weten.
Dus in die zin is die vraag van 'hoe gaat AI zich het komende jaar ontwikkelen'
dat is een vraag waarvan ik zou zeggen: nou, er zijn heel veel dingen
waarvan we niet weten wat we niet weten over de ontwikkeling van AI.
Maar wij als onderzoekers aan de universiteit...
Overigens, wij werken beiden in de rechtenfaculteit
maar zijn niet noodzakelijk juristen en hebben alle twee een achtergrond
in werken met computers in de informatica
en in de computationele linguïstiek.
Wij en de rest van de wereld proberen op het moment grip te krijgen
op wat deze large language models doen en wat ze betekenen.
En vandaar ook dit webinar, zodat jullie in elk geval zo goed mogelijk begrijpen
hoe dit soort technieken werken.
Sinds november is de wereld wakker geschud.
Zoals Marijke ook al aangaf, met de lancering van ChatGPT
het platform van het onderzoekslab OpenAI.
En, nou goed, die ChatGPT is lastig uit te spreken.
Die zal mensen opgevallen zijn. Waar verwijst dat naar?
Nou, dat verwijst in feite naar eerder bestaande large language models.
En GPT staat voor generative pre-trained transformer.
In feite is ChatGPT niet echt een doorontwikkeling
van de onderliggende technologie, maar vooral een interface
om het makkelijker te maken om deze technologie te gebruiken.
Overigens is OpenAI, een onderzoekslab, niet de enige die hieraan werkt.
Google is daar ook zeer actief mee bezig
en het large language model van Google haalde afgelopen zomer het nieuws
omdat het een van de chief technicians had overtuigd
dat computers vanaf nu konden denken.
Dus zo impactvol zijn die outputs van deze large language models.
En er zijn ook een aantal zaken waar we ons zorgen over kunnen maken
met de manier waarop de gegenereerde taal zich presenteert
en wat de impact daarvan kan zijn.
Zo zou je kunnen denken dat staatsactoren of extremisten
op grote schaal misinformatie zouden kunnen verspreiden.
Of deze modellen hebben ook... werken niet altijd voorspelbaar.
En sterker nog, een bekend risico is dat ze vervallen
in een soort van hallucinaties en dus volledig losgezongen van de realiteit
adviezen geven bijvoorbeeld zoals onjuist medisch advies.
Of je zou kunnen denken dat je prima een online psycholoog zou kunnen maken
die op deze technologie gebaseerd is, maar emotional support chatbots
die kunnen zomaar uit de bocht vliegen en zeer pijnlijke dingen hebben.
Je kunt je ook voorstellen dat bij het genereren van beleidsdocumenten
dat iedereen zo gewend is geraakt aan het hebben van die documenten
dat niemand ze meer leest
maar er kunnen allerlei onjuistheden of onwenselijkheden in zitten.
Maar niemand die het ziet, omdat niemand het beleid meer echt maakt.
En uiteraard, en dat is dan dicht bij huis voor ons aan de Universiteit Leiden
zijn er impacts op de manier
waarop we over kennis denken en kennisvaardigheden.
Dus dat is ook een grote uitdaging in het onderwijs.
MARIJKE: Ik werp een vraag tussendoor.
Iemand had al gevraagd:
Kan ChatGPT veilig en betrouwbaar worden ingezet
ten behoeve van voorlichting of informatie aan burgers?
Je noemde net al de beleidsstukken en de medische consults.
Ja, die zijn natuurlijk van een andere aard dan voorlichting aan burgers.
Dat is een tweeledig antwoord, zou ik daarop willen geven.
Maar ik denk dat ik daar ook enigszins op terugkom
tegen het einde van dit webinar, dus dat is een goede vraag.
ChatGPT is natuurlijk een tool die, ja...
zonder dat je daar heel veel menskracht voor nodig hebt
heel veel informatie kan verspreiden.
Het is wel belangrijk om je te realiseren
dat de antwoorden... kun je niet bij voorbaat vertrouwen.
Dus zeker als een verantwoordelijke overheid of overheidsdienst
is het belangrijk om die informatie die dan gegenereerd wordt
om die wel te verifiëren vanwege de verantwoording.
Maar ik denk dat we daar aan het einde misschien verder over door kunnen praten.
Dank voor deze opmerking of vraag.
Het is duidelijk als je kijkt naar hoe ChatGPT in het nieuws is
behalve dan aan de risicokant ook aan de kant van wat er allemaal omheen gebeurt.
Het is duidelijk dat de grote partijen in dit veld strijden
om de koppositie in deze ontwikkeling
juist omdat het zo'n impactvolle technologie zal zijn.
Microsoft is een grote sponsor van OpenAI, de ontwikkelaar van ChatGPT
en is bezig om deze technologie te integreren in zoekmachines als Bing
of in Microsoft Office, zodat je teksten in Word makkelijker kunt schrijven.
Google richt zich natuurlijk vooral op de toekomst van het zoeken
want het lijkt erop dat deze technologie dat ook radicaal gaat veranderen.
Complete antwoorden en niet verwijzingen naar bronnen.
We gaan daar de komende jaren
en in ieder geval de komende maanden nog veel over horen.
Maar zoals eerder gezegd en zoals ook gevraagd
besteden we ook graag even aandacht aan: hoe werkt deze technologie?
En daarvoor geef ik graag het woord aan mijn collega Masha Medvedeva.
Zij is als computational linguïst bij uitstek
iemand die begrijpt hoe deze technologie werkt.
Zij zal in het Engels spreken. Ik hoop dat dat geen probleem is.
Jullie kunnen vragen stellen in de chat, gewoon in het Nederlands
en wij zullen dat aan Masha doorgeven in het Engels.
Masha, the floor is yours.
Thank you very much. Indeed, I'm gonna be speaking English
because we'll also see with ChatGPT, I do much better in English than in Dutch.
That is something I will also address.
As you can see here, this is the webpage of ChatGPT.
You might already have access to it, you might be on the wait list.
If so, try again if you wanna play with this.
There are some examples of what you can try.
But what ChatGPT is most advertised as, at least in the beginning
was as a personal assistent, so let's try and just see what it can do.
And throughout the demonstration
we'll try to discuss how it works and what the limitations are.
So personal assistent, let's say:
give me a recipe for lasagna.
Use metric system.
And let's go.
And here immediately it generates the recipe for us.
I said 'use metric system', because I use ChatGPT for quite a bit, testing it out.
And it's very American oriented in the same way that the internet is, I guess.
So it will produce a lot of things that are more common in the States.
So yeah, here we see the entire list of ingredients and the recipe itself.
This is something that you could google
so this is not something outrageous that the system can do.
But nonetheless, this is quite an easy way to do it.
Instead of looking for different recipes, you get one immediately.
You don't have to go through the entire blog, description, the history of lasagne.
You just get the recipe.
You can also see here that while I asked it for metric system
it still did 9x13 inches.
This is the reality of it. This is what you get.
But nonetheless, it gave me Celcius for instance, which is what I wanted it to do.
This is something, once again, you can use existing previous tools like Google for.
But what for instance ChatGPT can now do, in the way a personal assistent might...
You can ask it: make shopping list.
And then sort it by supermarket aisle.
If you don't want to spend to much time in the supermarket
you want to just go to specific sections and then buy it. Very efficient.
Here is what it does. It immediately does this.
This is something you wouldnt' be able to ask Google to do.
And here we go, this is pretty ingenious. I feel like it's very nice.
FRANCIEN: It didn't even ask what you wanted to cook.
Yeah, so we are in this conversation.
Each chat that you have, is its own conversation
which means that since we're talking about lasagne, it knows I'm buying lasagne.
You can have a chat for instance for just your everyday cooking.
Usually on this site, which this is...
The reality of ChatGPT today
is that it's quite overwhelmed by how many people are using it.
So a lot of things are not working.
We are actually quite lucky that today we can demonstrate it live
because once in a while it's just down.
So, you would be able to return to that chat and just say:
'Okay, these are things that I'm going to cook this week.
Can you make me a shopping list?' For instance.
I don't have to explain anything to it.
It just very intuitively understands what I want.
It gives me some notes that different supermarkets are different.
That's true, but in general this might be quite useful.
I think in the Netherlands cheese and eggs are in different aisles, but nonetheless.
How does it work?
How does ChatGPT work?
As Francien mentioned, ChatGPT is a large language model.
And we don't know all the exact components of ChatGPT
or any of the other systems that are on the markets.
That's something we have to realise. It's still proprietary knowledge.
But we know that this is a large language model
and those have been available for a while, we know how they work.
So anything that is related to that part of the technology
that's the main part of the technology, we know in principle how it works.
But why don't we just ask ChatGPT how it works?
Since it's so great at generating information for us.
'How do large language models work.
Explain in simple terms.'
So that it doesn't go into too many technical details.
Again, this is a live demonstration
so I don't know what it's gonna spit out for us.
Or whether it will spit out anything for us.
Yeah, so, as you can see, it is quite slow right now.
This is the same problem as the lacking of the side bar here.
A lot of people are using it at the same time.
So you can't really rely, at the moment at least
you can't really rely on all of this being available.
I think there is a plus version. I haven't yet met anyone who has the plus version.
But nonetheless, I waited a couple of seconds and it works.
Now it says it works by analyzing vast amounts of text data and learns patterns.
That is indeed true, it uses a neural network architecture.
I'm gonna talk a little bit about this now.
But basically, what you can see here
is also that it generated a very coherent, a very impressive text.
And this is not a preprogrammed answer. It is generated on the spot.
So how does it work?
A large language model is trained on vast amounts of data.
Enormous amounts of data.
So in this sense, anything that you have put out on the internet.
Be it blogs, different websites, any information.
Even code. If you're a programmer, you might have put it online.
Any academic papers we've written are in there.
And then the system takes al this data, analyzes statistical patterns within in
and basically tries to understand which word follows which word.
So in very simple terms it tries to predict the next word in a sentence
given all the previous words and the prompts that you've given it.
Like the one that we put in here.
We asked it about large language models and tried to ask it to explain it.
By knowing these words it generates
which words would be in texts it saw on the internet before.
It generates a new text every time.
You can regenerate this response.
Very slowly, but now it generates a different text on the same topic.
It's still... I'm reading it very quickly, but it sounds reasonably correct to me.
It indeed uses neural networks in its architecture.
But basically it learns these patterns from the amounts of text.
The reason it's so good, is because of how much text it has.
So the more text it has, the better these systems perform.
So there were multiple iterations of this GPT-tool.
They were available quite a few years ago now.
And so, with each iteration, it gets bigger and bigger.
And the chat part of the ChatGPT, is just...
It's been finetuned to really answer questions in the prompt.
FRANCIEN: I see that there's a question coming in.
If there is going to be an explanation of what large language models are.
You just mentioned big, bigger. Bigger, bigger, bigger.
So, what I'm describing is a large language model.
It's a model of language that uses large amounts of data.
This model, with enough data
is modeling the probability of the next word given the previous word.
That's what those models in practice are.
So, it might be a bit confusing, because... Uhm...
just an encoding of language based on probabilities
of how they appear in sentences that already exist on the internet.
So, yeah...
FRANCIEN: Ja, dus ik denk dat...
de term language model is niet veel ingewikkelder dan precies de woorden.
Misschien het woord dat dan nog het minst helder is, is het woord model.
Dus large betekent echt groot en language is dat het werkt met taal.
En model is een component van heel veel huidige AI-systemen.
Dat is namelijk dat overzicht...
-Encoding.
Van het vastleggen van al die statistische verbanden.
En wat zo'n getraind... ja, en en daar komen we toch wel een beetje
in de techniek die een beetje buiten de context van dit webinar gaat.
Maar een systeem dat getraind is daar komt een model model uit.
En dat is het model.
Dus dat model dat hangt samen met dat het een neural network of machine learning is.
Daar komt dat woord model vandaan.
Nog een aanvullende vraag daarbij.
Krijg je als je de vraag in Nederland stelt in basis hetzelfde antwoord?
Of hoe werkt ChatGPT met die talen?
Ja, would you get the same answer or a similar answer
if you asked the question in Dutch?
We will see that... not exactly.
And I also want to emphasize that each time that you use it
it generates new text.
While of course the probabilities of given these prompts, these words will come
it still uses some level of randomisation.
It will really create new texts each time.
Be it for Dutch, for English, you can use it in Dutch.
I'll demonstrate that in a minute.
But you'll see that because the internet is largely in English...
and it really is representative of the internet, these models
because they have to use the data that is available.
It is very finetuned for English, American-English very often.
Shall we...
Ja, and then one question.
Klopt het dat de data die ChatGPT gebruikt niet helemaal actueel is?
Inderdaad, maart tot september '21.
So we are getting right to it.
So let's, let's just move on and I'll talk about this in just a second.
So let's... it's great to answer all the questions for webinar
and this is less work for me
but let's try to generate something a bit more interesting
in the line of what you might do for work or something.
Create... for instance, create a report on how the Netherlands
if I could spell correctly, is fighting climate change.
Something that we can all stand behind. Climate change.
And then I'll also ask it to cite three scientific sources.
And in the interest of time, I'll ask it to keep it brief.
In general, you can generate a very long text if you want.
And once in a while, when you don't use it for a little bit
it breaks down.
and luckily it came back on.
So let's just ask it the same prompt and...
Yes. So now it's....
The Netherlands is taking significant steps to fight climate change.
I'm not a climate change expert, but I do think that this is somewhat true.
So it generates quite a lot of information.
These numbers, I don't know if they're right.
If they're true, if they're correct. I'm not as I said, I'm not an expert.
Uhm, and now it's also generating some sources, as I've asked it.
Any time that I generate any information and ask it for sources...
Sometimes one is true and the rest is made up.
These I don't know. I'm not going to be googling it now, but you could try.
In general, this is something that ChatGPT is great at.
It's great in generating very plausible texts.
So these sources definitely do look like they could be sources
and it could be that these people actually...
FRANCIEN: The last part, the number, I wouldn't know how... The first also has...
But these look like journals.
Sometimes it will even give you links to websites that don't exist.
But they would go... for instance, it will say government.nl which is a website
and because government.nl has climate change policies, for instance...
but it will just generate a link that looks like a real link.
These I will assume are not real and this is something you have to understand:
that it's very good at predicting what a source will look like.
So it's not looking anything up.
It doesn't have any knowledge about the world.
It is only predicting. It's actually this is also...
Understand how limited these models are in terms of getting information out.
It's not even using the full words. It's using parts of words.
It just predicts the next part of the word and then so on.
Until it generates this entire text that I've asked it to generate.
And when we generate text about large language models
I know what it is about.
I can read it, I can verify
and I can say: yes, this is indeed how large language models work.
But when this text is generated about renewable energy...
to me it sounds very plausible, but I actually don't know whether it is true
and unless I can easily verify it, I would not use this text.
I see some...
FRANCIEN: Well, there's a question,
but it's on a different topic that I know you also want to address.
It's about what happens to the information that you enter into ChatGPT.
We'll talk about it and just...
So in terms of just using this tool
you can also change your prompt if this is not what you wanted.
For instance, I asked it to keep it brief
but I now want it really short under 200 words
and I want five scientific resources.
You could just submit it again, change it in the way you like
wait a little bit and then maybe it will... Yes.
So now it's generating again the same text
but this one will have to be a lot shorter.
So yeah, and then you can go between different prompts
that you've had before and check on them.
So this is in principle what it's really good at.
So you can adjust it and I feel like...
The same as I think with googling, you really...
Once you use it for a little bit
you learn to use it more towards your needs.
So you can change your prompts
in such a way that it really will help you with what you're trying to do.
You can make the prompts long.
You can say, I want my scientific resources to also have links to them.
Don't do that because the links are fake.
But you can specify in a lot of ways what you want it to look like.
You can also, as we've seen with lasagna...
you can also ask it to do something afterwards.
And one thing that ChatGPT is really good at is changing styles
of the writing so you can ask it to write it as an academic article.
You can ask it to write it as a pirate if you want.
Like it's really, really diverse in that sense.
I think that can be quite useful to rewrite it
so it is understandable by a specific group.
Understandable... understandable by specific group, for instance
by a six year old.
So, for instance, you want to explain climate change
to your children or your class or something.
And the Netherlands is trying to protect the planet
from getting too hot by doing things that do not cause pollution.
I think that's absolutely great. If you read it.
This is, I mean, I could also rephrase it for a six year old
but absolutely it takes no time and it's so fast and it's so good at it
and it doesn't really matter what kind of style you're trying to emulate.
You can say: Oh, can you rewrite it in the style of a newspaper that I read?
I read The New Yorker, for instance.
It has a very specific style, very literary articles
and then it rephrases it in that way.
FRANCIEN: Coming back to the question about the reliability in Dutch.
Can we ask it to generate a response in Dutch
so that we can judge how good it is compared to the English?
Yeah, sure. Write... Let's just rewrite it in Dutch.
You Francien, would be the one to judge how good it is.
What I can see it doing right now
is I think it's just translating English word for word.
So that happens very often
especially if you started your prompts in English.
But what I know is that if I start a new chat and I started in Dutch
it's more likely to do a bit better.
But yeah, indeed, this can become a problem,
but we'll get back to it a bit more in a second.
As I was talking here
I don't know about these numbers and I know that resources are not true.
I also know that all the resources end in 2021
because the model had to be trained.
As you mentioned before, it's a pre-trained model.
And because it had to be, once it's trained
it's set there and it can be retrained again
but it requires an enormous amount of computational power
and we'll talk about it.
It's also not great for the environment for us.
And it just takes a lot of time.
So I don't expect that these models will be continuously updated all the time.
So this one, for instance, had a collection from the Internet until 2021,
including 2021, but it doesn't know anything about 2022.
If the policies of the Netherlands have changed it would have not known it.
So this is also... again, in general, it's quite unreliable with information.
It hallucinates.
You also mentioned. That's the word that's going around
when talking about ChatGPT, it hallucinates facts.
Yeah. So it generates this this information
but this is unintended.
So as a user, you don't intend to create this misinformation
but you as a user should really try to make sure that you don't do it.
You really have to verify it.
So I would say if you can't verify the information that it produced
don't put it anywhere. Don't give it to anyone. Don't trust it.
MARIJKE: We have a few questions about privacy.
Yeah, we'll address that.

MASHA STAMELT

Also because they say
if I ask a question with private elements in it, can it be misused?
So but short answer is do not give just anything that you want anyone to know
anything that you wouldn't put on a billboard on the street.
Don't give it to to ChatGPT.
And it's very, very important.
And I will repeat and repeat it actually throughout
because indeed, now that I've asked it about lasagna
and I've prepared for this seminar, I asked it about lasagna multiple times,
I'm sure it now thinks that I'm incredibly Italian food oriented.
But in general any kind of information.
And it it can be something that you don't think about
because you might just want to try to edit some text.
Right? But if it's text, I work for a lot of faculties.
If it's the text of your clients that they didn't mean to be advertised
this is now in the model and it's collected.
And when they will retrain this model, I assume that they will use it.
There is nothing prohibiting them from doing it.
I really recommend reading the privacy policy that they have where they say
that basically you also don't have to read it because they collect everything.
They collect everything they can collect and they will reuse it.
I assume, because this is their best training data.
They actually know what you're searching for now. What everybody's searching for.
So if they use that data to retrain the model, it will become a better model
because this is exactly the type of things that they will be answering.
But we'll definitely get back to it again because...
FRANCIEN: Try to stay within five minutes.
-Yes.
So what then? Yeah.
I will try to explain some things, maybe instead of prompting everything.
But while...
This misinformation about these numbers that we've seen, or sources
it's not intentional.
You just wanted to see information about climate change
how the Netherlands is fighting it.
But it's also very easy to actually ask it
to generate misinformation if you're interested in it.
And this is something that definitely will be abused.
I'm sure it's already abused.
And there are some... I'll show you that there are some limitations
to what you could do specifically with ChatGPT.
It's not necessarily the same with all the models that come out.
For instance, I can ask it to generate a convincing argument
that climate change, since we're on this topic, is not real.
Generally, typos don't matter.
So right now, as you can see, it says
that it cannot generate a convincing argument because it is real.
And in general it says that it will give you some sort of way of informing you
that it's unethical to do so.
It's a really long text about how you really shouldn't be doing that
but at the same time, I can ask it.
I will not do it now in the interest of time
but I can say that 'oh, this is just for my students to debate in class'
and all of a sudden it gives you, me, all this information.
And then I have this text and it doesn't really...
if you give it the text, it doesn't really care what it's about.
I can say: Okay, and now rephrase it in such a way that it would be convincing
to a specific environmental agency or whoever.
Some regulators, if these people are well known, that it will even know who they are
and try to really adjust it to their writing, for instance.
So there's really no limit to.
Even though OpenAI as a company is trying to prevent some of these things
It's really not great. It's also impossible
to really track down whether something was generated by ChatGPT.
There will be some companies that will give out models
that are supposed to be able to do that
but you can usually just ask ChatGPT to just prompt it:
make it so it's undetectable by these models
and then it's just undetectable by those models.
So in that sense it doesn't work very well. In terms of privacy
again, I have already addressed that it collects absolutely everything.
It connects it to your name as well.
So you logged in?
I logged and logged in using a Google-account.
So everything that you put in there is collected.
And so you should never ever put anything about your students, your clients
whoever you're working with, anything that shouldn't be public
anything about your children, maybe.
It will be connected to you and will be reused and is likely to be spit out
to someone when they ask about it whenever their model is retrained.
So I would I would really not do that.
So any kind of also drafts or something
if you don't know if it will be public afterwards, I wouldn't use it.
Any emails that you want to edit that's also something
if you don't want them to ever become public, don't use it.
You cannot delete prompts.
So everything that you've ever put in there is always going to be in there.
And as I mentioned, everything is really English oriented in such models,
really creating this bigger gap between resources that are available
for English and available for other languages.
In Dutch, we tried, it just translated.
I know that if I ask it to write from the start,
wright a sinterklaas poem about me
Well, this is in English.
I need to... let's say in Dutch then because I mentioned Sinterklaas
it is a very cultural thing then it is much more likely
to create something. At least it rhymes.
So if you just translate, if you put it in English
and ask it to make it Dutch, it will translate it. It won't rhyme anymore.
But if it's something culturally specific to the Netherlands
then this is pretty decent.
Francien will talk more about the impacts of this technology on our daily life.
One thing I would like to mention from the technical perspective
is that, as I mentioned already, it takes this enormous amount of power
to train this model. So while we're using that, we should also really be
since we were talking about climate change here a lot,
is that these require a lot of computational power.
That's a lot of energy.
And now they become so popular and everybody is trying to build them.
And this not necessarily means that we should stop doing that
but we should be really aware that this is not a free system.
It really comes at a cost.
It also comes at a human cost because people have to annotate this
and sometimes they might be underpaid and there are issues around there as well.
But now I'll give it back to Francien to talk about...
Even een kleine update.
Er komen eigenlijk te veel vragen binnen om nog hier op het scherm te krijgen.
Dus we gaan daar achteraf nog wel even naar kijken wat we daarmee kunnen.
Wel een paar die ook al vanaf het begin ertussen stonden is:
hoe kunnen we het inzetten in een adviesfunctie?
Hoe kunnen we het inzetten in de digitale overheid?
Dus wellicht zeg jij er hier of daar wat over.
Ik zou die vraag graag even parkeren tot het verhaal dat ik heb voorbereid
omdat ik denk dat een aantal mogelijke toepassingen voorbij komen.
Ik zal daar ook meteen een aantal waarschuwingen bij geven.
Ik heb eerst eigenlijk een vraag terug
zonder dat ik daar antwoord op verwacht.
Maar of mensen iets is opgevallen aan de beschrijving van dit webinar...
want dit is namelijk geschreven in het Engels en in het Nederlands door ChatGpt.
Je hebt het in het Engels laten vertalen naar het Nederlands of is het een...
It was originally in English, because I can't...
I can read Dutch, but I can't make sure that it'scorrect.
Masha zat prompts te voeren aan ChatGPT
terwijl ik ondertussen een abstract met de hand aan het schrijven was.
En Masha was veel eerder klaar en we stonden onder tijdsdruk.
Ik moet zeggen, ik vond mijn tekst eigenlijk beter
maar dit was af en snel klaar.
En toen realiseerde ik me: dit gaat echt vaker gebeuren.
Ik denk dat bijna iedereen die weleens wat schrijft
denk aan een e-mail, denk aan een beleidsdocument, die gaat dit gebruiken.
Ik moet een disclaimer maken
dat het overzicht dat ik geef van mogelijke impact op jullie praktijk
of de maatschappij in het algemeen, is verre van volledig.
Ik geef een aantal voorbeelden uit eigen praktijk en uit het nieuws
en er wordt op dit moment op allerlei fronten
wellicht ook door mensen die hier nu bij aanwezig zijn, actief gedacht
over wat we weten dat we nog niet weten bij ons op de universiteit.
Daar zal ik straks wat van laten zien.
Ik weet dat bij de politie Marian Luursema bezig is om in kaart te brengen
wat ChatGPT binnen de politieorganisatie gaat betekenen.
En ook in de Kamer en dit zullen mensen misschien gezien hebben.
D66 heeft in januari vragen gesteld over hoe de regering om te gaan...
de regering denkt om te gaan met ontwikkelingen rondom AI
en in het bijzonder ChatGPT.
En er is ook een kamervraag ingediend door Hind Dekker-Abdulaziz.
Op Twitter liet zij weten dat zij haar kamervragen mede heeft gegenereerd
met hulp van ChatGPT.
Ik vind het jammer dat we volgens mij... o ja, nee.
In dit geval zien we de prompt wel, want de prompt is ook altijd interessant.
Nou ja, dit is dus een manier
waarop onze volksvertegenwoordiging voortaan vragen kan stellen.
Je vraagt aan ChatGPT: Wat zijn zinnige vragen?
Ik vind het goed dat zij ChatGPT gebruikt als een soort brainstormmiddel.
Ik vraag me af gegeven dat het soort uh antwoorden dat ChatGPT geeft
gebaseerd is op een soort gemiddelde, een voorspelling...
Het haakt niet aan bij wat mensen echt belangrijk vinden.
Of we onze debatten in het parlement moeten laten leiden
door, nou ja, waar ChatGPT mee naar voren komt.
Twee weken later heeft dezelfde Hind Dekker-Abdelaziz
zelfs een motie ingediend die zij heeft laten genereren door ChatGPT
Ze noemt in de tweet die ze daarbij post:
Kijk, AI is een kans, een kans voor mij als parlementslid.
Ik kan u nog sneller en makkelijker moties genereren.
Ik vind 't interessant om te zien.
Jammer dat we de prompt niet helemaal kunnen lezen
maar ik vind het interessant om te zien dat ze...
In het onderwijs wordt deze AI vooral als een uitdaging
en niet zozeer als een kans geportretteerd.
Ik ben benieuwd wat u vindt van deze kans
dat, nou ja, goed, het debat dat we voeren in in de Kamer
dat dat gebaseerd kan gaan worden...
Prioritering, agendering, gebaseerd op plausibele vragen en plausibele concerns.
Wat ik ook een soort gemiste kans vind van dit gebruik van ChatGPT vragen naar
wat is de strategie van de regering op het gebied van AI
is dat er door experts al een jaar voor het verschijnen van ChatGPT
een rapport is verschenen:
Opgave AI van de Wetenschappelijke Raad voor het Regeringsbeleid.
En dit had wat mij betreft een grondig referentiekader kunnen geven
voor de vragen en ook een aantal vragen kunnen kaderen waar ChatGPT...
En daarom, ik... Ik wil hier geen politiek punt maken
maar wat ik graag wil aangeven is:
wat ChatGPT niet doet, is kijken naar welke specifieke kennis
of welke specifieke debatten hebben we hiervoor gehad?
Zeker de manier waarop de prompts gegeven zijn
kijk je gewoon naar: wat is een plausibele vraag?
Zonder na te denken: is dat een belangrijke vraag?
Ik denk dat... voor mij is het verschil tussen vragen stellen
vanuit het grondige werk van experts waarin gekeken wordt naar
'wat betekent iets voor onze maatschappij in Nederland in context?'
dat dat een betere manier is
om vragen te formuleren in het parlement.
Maar goed, het is waar dat het een goede tool is om tekst te genereren.
En het kan inderdaad, net zoals het mij geholpen heeft
ons geholpen heeft om een abstract te schrijven.
Voor het maken van een goede tekst kan het prima werken.
Je zou ook kunnen zeggen: het schrijven van een partijprogramma kan prima
zonder al die handarbeid.
Je genereert een voorstel en je gaat daar dan met z'n allen over praten.
Je kunt je voorstellen dat de regering zegt:
Nou, we gaan onze Kamervragen laten beantwoorden door ChatGPT.
Maar ja, dan is de vraag van:
welk begrip, standpunt of beleid zit er achter de antwoorden?
Hoe verhoudt zich dat tot verantwoording?
En je kunt je ook afvragen: vanuit welk standpunt worden vragen beantwoord?
En zeer recent... Vorige week heeft een masterstudent aan onze universiteit Leiden
bijvoorbeeld de Stemwijzer laten invullen door ChatGPT
en kwam uit op een linkse voorkeur.
Ik kan me voorstellen dat met bepaalde prompts afhankelijk van hoe je formuleert
dat het ook heel eenvoudig zou zijn om een rechtse voorkeur te genereren.
Dus dat hangt er maar net van af.
Daarom ook mijn aandacht voor: ik wil graag die prompt zien.
Er kunnen triggers in die prompt zitten die een heel ander antwoord genereren.
Dat is dus een eigenschap van ChatGPT, dat het niet duidelijk is
of het altijd hetzelfde genereert omdat het niet gebaseerd is
op een bepaald standpunt of op bepaalde kennis
maar puur op: wat is waarschijnlijke tekst in deze context?
Ik zie met het oog op de tijd...
Ik ga proberen wat sneller door de volgende casus heen te gaan.
Nou goed, onze werkomgeving is onderwijs, kennis en vaardigheden.
Natuurlijk is er op de universiteit ook een groot debat, zowel over de impact,
over de risico's van het aanwezig zijn van deze tool
als over welke mogelijkheden het biedt. Dat ziet u op deze slide.
Aan de ene kant een bericht dat we hebben geschreven
dat de universiteit heeft geschreven aan studenten.
Wees je ervan bewust dat volgens de letter van de...
of in ieder geval volgens de geest van onze examenregels
is het gebruik van ChatGPT als ware het je eigen originele woorden is...
het telt als fraude.
We waarschuwen studenten dat als ze deze tool gebruiken
dat ze dan bepaalde vaardigheden die in ons onderwijs getraind worden
dat je die dan zelf niet traint. Dus het schrijven van teksten
het aanpassen van je tekst op basis van feedback.
Kun je je afvragen in de toekomst: hoe nodig is dat?
We hebben ook met rekenmachine leren werken.
We werken tegenwoordig met vertaalsoftware.
We werken met spell checkers.
Je zou dit ook kunnen zien als een volgende stap daarin.
Dus als onderwijs moeten wij ons ook gaan afvragen:
Moeten wij anders tegen dat skills development aankijken?
Aan de andere kant kunnen we ChatGPT als docenten natuurlijk ook gebruiken
voor kennisoverdracht.
Nou, en daar zijn ook allerlei tips voor waar ik nu niet op zal ingaan.
Dat probleem van een hoger niveau kennisvaardigheden
waar ChatGPT eigenlijk op duidt, dat is voor mij een rode draad.
Het wordt makkelijker om tekst te produceren.
Het wordt makkelijk berekeningen te doen.
Je kunt ChatGPT ook eenvoudig als een calculator gebruiken.
Je moet uitkijken dat het niet als een calculator werkt
dus het werkt niet als een rekenmachine.
Maar als je bepaalde opdrachten geeft
ja, die komen vaak genoeg voor in de taal dat er goede antwoorden op komen.
Maar het wordt dus van mensen steeds meer...
het gaat een beroepsvaardigheid worden om te beoordelen
of wat ChatGPT of vergelijkbare tekst of dat geschikt is voor het document.
En we ontleren waarschijnlijk voor een deel
om dat gemakkelijk te herkennen omdat we het zelf niet meer vaak doen.
In de arbeidsmarkt, nou ja, kun je je voorstellen dus
dat mensen vacatures gaan schrijven met deze tools.
Dat lijkt me eerlijk gezegd best een goeie toepassing.
Kandidaten zullen ook hun motivatiebrieven gaan schrijven
met deze tools, die er prachtig uitzien
maar je weet natuurlijk niet wat dat nog zegt...
Wat zo'n brief zegt over een kandidaat.
Daar moeten we misschien denken aan op een andere manier
de kandidaten vragen om zich aan ons te presenteren.
Dus ja, het gesprek zal belangrijker worden
en daar gaat je efficiëntiewinst in zekere zin
die je krijgt door het genereren van tekst.
In het algemeen denk ik dat voor alle beroepsgroepen
de inhoud en tijdsverdeling van beroepen zal veranderen.
En wat ik ook even genoemd wil hebben, ook in relatie tot privacy
maar ook de afhankelijkheid van bedrijfsprocessen.
Dat als we deze tools gebruiken...
Zoals Masha aangaf, het is niet gratis en het is highly proprietary
dus bedrijven zitten op hun gouden ei.
He kost ontzettend veel energie om een tool te trainen voor een bepaald domein.
Dus als we met z'n allen erop gaan leunen dat deze tools beschikbaar zijn
en onszelf deskillen in een aantal vaardigheden
zoals we misschien deskilled zijn in het hoofdrekenen.
Dat is niet zo erg, want een rekenmachine, die kunnen we overal vinden.
Maar deze modellen, daar gaan we ons afhankelijk van maken.
En dat is ook een punt denk ik waar je als overheid je erg bewust van moet zijn.
Ik zie dat de klok snel gaat.
Ik wou nog kort ook nog even het domein van recht en veiligheid noemen.
Recht is natuurlijk zeer talig.
We hebben nieuwsberichten gezien: ChatGPT is kennelijk een goede jurist
want het kan het barexam halen in de Verenigde Staten.
Maar ik wil benadrukken dat dat soort prachtige resultaten
dat betekent niet dat ChatGPT het recht begrijpt
laat staan dat het in staat is
om juridische onderbouwde beslissingen te nemen of oordelen te vellen.
Wat het doet... En ik kan zeggen als getraind als wiskundige
die af en toe tentamens gemaakt heeft buiten mijn vakgebied....
Maar ik ben heel goed in... Ik ben gepromoveerd in de logica.
Als ik multiplechoicevragen krijg, dan kan ik vaak raden wat het goede antwoord is
puur op de structuur van de test.
Er zitten patronen in dat examen en dat is waar ChatGPT goed in is.
Dat is niet zo nuttig als je een jurist nodig hebt die je van advies voorziet
in je rechtszaak of als je een rechter een oordeel wil laten vellen
dat in lijn is met onze juridische principes.
MARIJKE: Er is hier ook inderdaad nog een vraag over het trainen van het model
of er ook door mensen kaders meegegeven worden.
Ja. Dat is een hele goeie vraag. Dat gebeurt
maar dat gebeurt altijd reactief, zou ik zeggen.
Nou, Masha heeft de afgelopen weken...
Masha had, for the past few weeks, been playing around with ChatGPT
almost on a daily basis to see what she could get it to do.
And she could see, well, maybe you can tell about this
that certain failures or risks
that they were being preempted somehow
so there would be rules probably saying that, well...
As we had for climate change.
Climate change is something that I'm assuming a lot of people
were trying to trick it to give misinformation
probably about COVID as well and so on.
That's something that... but not about everything.
There will be things that it misses just because it's not in the public eye much.
Ik denk in het algemeen dat ChatGPT als een soort geavanceerde zoekmachine
ook in het juridisch domein zeer nuttig kan zijn.
Het recht en veiligheid en rechtsbescherming
zijn enorm infomatie-intensieve domeinen.
Het is heel lastig om bij informatie te komen.
Ik denk dat ChatGPT kan helpen om het eerste eindje van een groot touw te vinden
maar dan moet je daarna zelf echt nog naar de bron toe om te verifiëren hoe het zit
en bijvoorbeeld, een hoop die mensen hebben bij dit soort technologie
is dat het niet alleen juristen helpt om nog meer tekst te produceren
maar vooral ook dat het het publiek kan helpen.
En dat refereert een beetje aan de vraag
die aan het begin gesteld werd van:
Kunnen we dit ook als overheidsdienst gebruiken voor informatieverspreiding?
Nou, het kan ook democratiserend werken...
In zo'n...
Ja, in zo'n positie dat de overheid heel veel informatie heeft
dat met deze tools dat je makkelijker kunt vinden waar je moet zijn
of hoe je iets moet formuleren.
Maar er zijn allerlei risico's aan verbonden die ik ook wil noemen.
Want zeker als het gaat om mijn eigen zaak
die ik eventueel zou willen aankaarten:
als ik dat ga invoeren, dan komt het meteen
in de machinerie van ChatGPT en die weten dan dat ik me zorgen maak
of ik als fraudeur word aangemerkt of...
MARIJKE: Ik heb nog één net binnengekomen laatste vraag.
ChatGPT is nu inmiddels ook geïmplementeerd in Bing.
Is nog niet breed beschikbaar, maar daarin worden wel...
Daarin wordt wel naar bestaande bronnen verwezen.
Maybe you want to say something about this.
Yeah, so in principle theese models, whether they are in Bing or ChatGPT
they work in exactly the same way, so it's still going to be generated stuff.
Of course it has this... it's finetuned to look also
at these websites where it can check things so it's a little bit better,
but nonetheless it's still: which websites will it check and so on.
I still wouldn't trust it and I feel like it also creates this atmosphere
where you're more trustful of it because it checks something on the Internet.
But you have to remember that it still checks things on the Internet
which is not great default resource.
And then with this sort of platform
you might not go to those websites to actually check.
Sometimes, you go into a website and say: I'm not going to trust this
but you're not going to do that because Bing just gave it out to you.
In principle it's not safe from producing misinformation in any sort of way.
Just because it's on the Internet, it doesn't mean it's true.
Ik zie de klok.
-Ja, we moeten zeker afronden.
We hadden nog bedacht over deze laatste conclusies nog wat vragen te stellen
maar het webinar is gewoon te kort. Er valt zoveel over te vertellen
en er zijn ook inderdaad zo veel vragen.
Ook die inzet binnen de overheid en in ons werk.
Hoewel, tussen de regels door zijn dat soort vragen
ook best al beantwoord vind ik zelf.
Dus hartelijk dank voor jullie goede verhaal
en ook voor het inspelen toch op de vragen die voorbij zijn gekomen.
We gaan de vragen die in de chat staan nog even bekijken
en ook kijken of we daar nog antwoorden op kunnen geven
aan de vragenstellers. We nemen dat wel serieus.
Nou ja, er is gewoon volop aandacht.
Er was ook nog één vraag: is het een hype?
Ehm...
-Yes and no.
Ik vond het in eerste instantie een hype
omdat de technologie bestaat al lang en het is al twee jaar geleden
dat ik met mijn studenten in de collegezaal
dat ik hun huiswerkopdrachten door GPT 2 of 3 had laten genereren
en dat we discussies hadden over: wat vinden jullie nou van dit antwoord?
Mensen wisten toen nog niet dat het kon.
Mijn rechtenstudenten wisten niet dat dat kon.
En zij vonden dat hele plausibele antwoorden.
Nou goed. Daar hebben we toen discussies over gehad.
Dus toen in eerste instantie ChatGPT kwam, dacht ik van...
Begon ik een beetje met mijn ogen te rollen: ja, maar dit wisten we toch al?
Het is geen hype als je het mij vraagt, omdat het nu zo toegankelijk
en zo zichtbaar en zo bruikbaar is... iedereen gebruikt het nu.
Iedereen speelt ermee en het heeft volgens mij een enorme impact
op hoe we met communicatie, informatieoverdracht en kennis
en het produceren van tekst hoe we daar over denken.
En dat is de backbone van onze maatschappij.
MARIJKE: Dus ik denk inderdaad dat iedereen, werkenden en privépersonen
en zeker ook de overheid, zich moet leren te verhouden tot deze technologie.
En dat zal nog best een zoektocht zijn, denk ik
en daar komen we wellicht nooit uit, want iedere keer zijn er nieuwe ontwikkelingen.
But at the same time I don't think ChatGPT will become your doctor.
If somebody tries to tell you that it will become your doctor
don't trust that doctor.
So it's useful for some things and I think the hype is around that.
But in terms of this general intelligence, it doesn't have it.
And if it continues to work this way as the language models work,
it will still continue to just predict the next word
and will not be able to understand your diagnosis or anything like that.
Nog even een vraag of de presentatie beschikbaar gesteld mag worden?
Dan gaan we dat doen. En dan moeten we nu toch afronden.
Heel hartelijk dank voor alles wat jullie verteld en gedeeld hebben.
Nou, wordt vervolgd in elk geval, dit gesprek.
Ik weet niet met jullie of samen met ons
maar door heel veel anderen in elk geval en het is ook de moeite waard.
Het is ook goed om dit te volgen en het erover te hebben.
Hartelijk dank.
-Graag gedaan.