Hypoteser och falsifierbarhet

En hypotes är ett påstående som kan vara fel — och du säger i förväg vad som skulle visa det.

• «Vår modell är bra» — inte falsifierbar.
• «Vår modell når ≥ 85 % på testsetet X» — falsifierbar: kör och se.
• «Dropout 0,5 minskar gapet träning–test med minst 5 procentenheter jämfört med 0, på tre frön» — falsifierbar och precis.

Fällan: förklara i efterhand. Resultatet blev 83 %? «Det var väl testsetet som var svårt.» Om varje utfall kan förklaras har hypotesen inget innehåll. Skriv ner förutsägelsen innan du kör.

Skriv om till falsifierbara hypoteser:

Vag	Falsifierbar
Mer data hjälper	Dubbla träningsdata höjer val-acc med ≥ 2 pe (3 frön, medel)
Modellen förstår sarkasm	På 200 sarkastiska exempel ≥ 70 % rätt, mot 50 % för slump
Prompten är bättre	På samma 100 fall vinner prompt B i ≥ 60 % av parvisa jämförelser

För varje: vad är utfallet som motbevisar? Om du inte kan skriva det är hypotesen inte testbar. Skriv sedan ner den i labbjournalen före körningen — med datum.

Ett helt beslut, inte bara en hypotes: En skola vill pröva om en ny AI-handledare får fler elever att slutföra en lektion inom sju dagar. Innan försöket börjar skriver teamet ner:

1. Population och tilldelning: 400 elever slumpas, 200 till gammal och 200 till ny version.
2. Primärt utfall: antal som slutför lektionen inom sju dagar, delat med alla tilldelade elever i gruppen.
3. Beslutsregel: byt bara om ett 95 %-intervall för skillnaden (ny minus gammal) ligger helt över noll och andelen felaktiga råd inte ökar.

Resultatet blir 80/200 = 40 % mot 96/200 = 48 %. Skillnaden är +8 procentenheter, men ett enkelt 95 %-intervall för två oberoende andelar är ungefär −2 till +18 procentenheter. Utfallet klarar alltså inte beslutsregeln. Det bevisar inte att versionerna är likvärdiga: intervallet rymmer både en liten försämring och en förbättring som skulle spela roll.

Om teamet först efteråt väljer «elever i årskurs 9» därför att just den gruppen såg bäst ut, är det en ny, utforskande hypotes. Testa den i ett nytt, förhandsplanerat försök. Dokumentera ändringar i analysplanen i stället för att skriva om den ursprungliga förutsägelsen.