Får vi använda det här AI-verktyget? En bedömning i fyra steg
En gymnasieskola vill köpa ett AI-verktyg som läser elevernas uppsatser, ger återkoppling och föreslår ett betyg som läraren kan godkänna. Rektorn frågar: får vi? Så här går bedömningen till — det är samma fyra steg som kursens slutprov prövar, utan att du behöver skriva en rad kod.
1. Börja med vad verktyget används till, inte vad det är
EU:s AI-förordning (2024/1689) är riskbaserad. Kraven följer av användningen, inte av tekniken. Samma språkmodell kan vara minimal risk när den rättar stavning och högrisk när den påverkar ett betyg. Beskriv därför användningen i en mening innan du läser en enda paragraf: «verktyget föreslår betyg på elevuppsatser, och läraren sätter betyget».
Gå sedan igenom nivåerna uppifrån. Först: är något förbjudet? Artikel 5 förbjuder bland annat social poängsättning, oriktad skrapning av ansiktsbilder och känsloigenkänning på arbetsplatser och i utbildning. Skulle verktyget också mäta elevernas engagemang via kameran är just den delen förbjuden — inte reglerad, förbjuden.
2. Står användningen i bilaga III? Då är det högrisk
Bilaga III räknar upp områden där AI-system är högrisk: bland annat antagning till utbildning och bedömning av läranderesultat, rekrytering och urval av personal, kreditprövning och tillgång till offentliga förmåner. Ett verktyg som föreslår betyg bedömer läranderesultat. Det är högrisk, även om läraren har sista ordet.
Gav verktyget bara formativ återkoppling som aldrig påverkar betyget skulle bilden bli en annan. Då återstår artikel 50: eleverna ska veta att de interagerar med en AI, och AI-genererat innehåll ska kunna märkas. Det är begränsad risk — öppenhetskrav, inte högriskkrav. Gränsen går alltså vid konsekvensen för den enskilde.
3. GDPR gäller samtidigt — och på andra grunder
AI-förordningen reglerar systemet, GDPR reglerar personuppgifterna. Ett verktyg kan uppfylla det ena och bryta mot det andra. Uppsatser, betyg och loggar är personuppgifter, och behandlingen behöver en rättslig grund i artikel 6.
Samtycke är fel grund här. En elev kan inte fritt säga nej till ett verktyg som skolan använder i undervisningen, och samtycke under ojämlik maktbalans är inte giltigt. För en skola är grunden normalt uppgift av allmänt intresse. Kontrollera också ändamålsbegränsningen: får leverantören använda elevtexterna för att träna sina modeller? Det är ett nytt ändamål, och det ska stå i personuppgiftsbiträdesavtalet att det inte sker. Eftersom behandlingen rör barn och systematisk bedömning behövs en konsekvensbedömning (DPIA).
4. Vem ansvarar för vad?
För ett högrisksystem delar förordningen ansvaret mellan två roller. Leverantören, som utvecklar och säljer verktyget, ansvarar för systemet: riskhantering, teknisk dokumentation, kvalitetsledningssystem, överensstämmelsebedömning och CE-märkning. Tillhandahållaren, som är skolan, ansvarar för användningen.
- Använd systemet enligt leverantörens bruksanvisning och begär den innan köpet.
- Utse lärare med kompetens, tid och befogenhet att utöva mänsklig tillsyn.
- Spara loggarna som systemet genererar.
- Informera eleverna om att ett högrisksystem används i beslut som rör dem.
- Som offentlig aktör: gör en konsekvensbedömning av grundläggande rättigheter innan verktyget tas i bruk.
5. Var ska människan sitta?
Ett betyg är stort och svårt att ändra i efterhand. Läraren ska därför fatta beslutet med verktyget som förslag (human-in-the-loop), inte övervaka ett system som sätter betyg på egen hand. Men att en människa formellt godkänner räcker inte. Om lärarna godkänner 99 % av förslagen på några sekunder per uppsats granskar de inte — de stämplar. Mät hur ofta lärarna avviker, och lägg in uppsatser där verktyget har känt fel för att se om granskningen fångar dem.
Beslutet
Skolan får använda verktyget, men som högrisksystem. Begär teknisk information och CE-märkning av leverantören, gör DPIA och konsekvensbedömningen av grundläggande rättigheter, stäng av eventuell känsloanalys, informera eleverna och se till att läraren sätter betyget med tid att granska. Vill skolan undvika högriskkraven är vägen att bara använda verktyget för återkoppling som inte påverkar betyget. Förordningens krav börjar gälla stegvis, och tidplanen för högriskkraven har varit föremål för förslag om ändring — kontrollera den aktuella tidplanen på EUR-Lex innan ni planerar.