Modellkort och systemdokumentation

Ett modellkort (Mitchell m.fl. 2019) är till en modell vad ett datablad är till ett dataset. Nio rubriker:

1. Modelldetaljer — vem, när, version, arkitektur, licens.
2. Avsedd användning — vad den är byggd för, och för vem.
3. Användning utanför omfånget — vad den inte ska användas till.
4. Faktorer — vilka grupper och förhållanden som påverkar prestandan.
5. Mått — vilka, och varför just dessa.
6. Utvärderingsdata — källa, storlek, hur den valdes.
7. Träningsdata — samma, plus kända skevheter.
8. Kvantitativa analyser — resultat uppdelade per grupp, inte bara totalt.
9. Etiska överväganden och rekommendationer.

Rubrik 3 och 8 är de som gör mest nytta — och de som oftast saknas.

EU:s AI-förordning gör dokumentation till ett krav, inte en god vana. För högrisksystem (bland annat utbildning, rekrytering, kreditgivning och rättsväsende) krävs teknisk dokumentation, loggning, mänsklig tillsyn, riskhantering och beskrivning av datakvalitet. För generativa system tillkommer krav på att märka syntetiskt innehåll och redovisa träningsdata på en övergripande nivå.

För AI-grafen är utbildningskopplingen relevant: system som används för att bedöma elever eller styra deras utbildning hamnar i högriskkategorin. Plattformens hållning — att kompetensbevis är dokumenterad evidens och inte en examen, och att modellen aldrig sätter betyg — är delvis ett svar på just det.

Vad dokumentationen ska klara i praktiken: en person som inte byggt systemet ska kunna avgöra om det passar deras användning, vilka risker det har, och vad som händer när det har fel. Klarar dokumentationen inte det är den för intern bruk, inte transparens.

Praktiskt råd: skriv modellkortet innan lanseringen. Det tvingar fram beslut om avsedd användning och begränsningar medan de fortfarande går att påverka.

Modellkort — kortform att fylla i:

# Modellkort: <namn> v<version>

## Modelldetaljer
Utvecklad av … | Datum … | Typ … | Licens … | Kontakt …

## Avsedd användning
Avsedd för: att föreslå nästa övning för elever i åk 7–gymnasiet.
Avsedda användare: elever, lärare.

## Utanför omfånget
Ska INTE användas för betygsättning, urval, eller bedömning av enskilda
elevers förmåga i formella sammanhang.

## Faktorer
Prestandan varierar med: elevens nivå (A–G), ämnesområde, språk (endast svenska).

## Mått
Behärskningsprognos: AUC. Rekommendationskvalitet: andel slutförda steg.
Skyddsräcke: andel svar som avslöjar facit.

## Utvärderingsdata
2 400 sessioner, sept 2026, alla nivåer. Testmängden användes en gång.

## Kvantitativa analyser
| Grupp | AUC | n |
|---|---|---|
| nivå A–C | 0.81 | 900 |
| nivå D–E | 0.78 | 1 100 |
| nivå F–G | 0.71 | 400 |   ← sämre, litet underlag

## Etiska överväganden
Risk för självuppfyllande prognos om rekommendationen styr för hårt.
Motmedel: eleven kan alltid välja fritt; förslaget är aldrig ett hinder.

## Rekommendationer
Använd med lärare i loopen. Omvärdera var sjätte månad.

Tabellen under «kvantitativa analyser» är kärnan: den visar var modellen är svag, i stället för att dölja det i ett medelvärde.