Blev AI-handledaren bättre? Följ ett experiment till beslut
En skola provar två versioner av en AI-handledare. Av 200 slumpmässigt tilldelade elever per version slutför 80 elever lektionen med den gamla och 96 med den nya inom sju dagar. Skillnaden är åtta procentenheter. Räcker det för att byta?
1. Bestäm vad som ska räknas innan testet
Skriv ner huvudmåttet i förväg: andelen tilldelade elever som slutför lektionen inom sju dagar. Räkna alla som tilldelades en version i nämnaren, även dem som aldrig öppnade den. Om bara aktiva användare räknas kan versionerna se olika bra ut på grund av vilka som valde att börja.
Skriv också ner ett säkerhetsmått, till exempel andelen felaktiga svar som eleven accepterade. En högre slutförandegrad är inte en förbättring om handledaren samtidigt lär ut mer fel.
2. Slumpa tilldelningen
Om eleverna själva väljer version kan de mest motiverade samlas i den nya gruppen. Då kan motivation, inte handledaren, förklara skillnaden. Slumpa därför vid start och behåll samma version för varje elev under hela försöket. Kör grupperna under samma kalenderperiod.
En skillnad efter slumpning kan fortfarande vara slumpvariation. Slumpningen gör grupperna jämförbara i förväntan; den gör inte varje enskild observation säker.
3. Räkna skillnaden och osäkerheten
Gamla versionen: 80/200 = 40 %. Nya versionen: 96/200 = 48 %. Den uppmätta skillnaden är +8 procentenheter. För två oberoende grupper ger ett enkelt 95 %-intervall för skillnaden ungefär −2 till +18 procentenheter. Det innehåller både noll och en förbättring som spelar roll.
Intervallet är en approximation för just dessa gruppstorlekar och andelar. Det är inte ett löfte om effekten hos nästa skola. Jämför inte enbart de två gruppernas separata intervall; räkna osäkerheten för själva skillnaden.
4. Fatta beslut med samma regel som ni bestämde i förväg
Anta att planen var att byta först när hela intervallet för skillnaden ligger över noll och säkerhetsmåttet inte försämras. De här resultaten klarar inte den regeln. De bevisar heller inte att versionerna är likvärdiga. Planera ett nytt försök med samma mått och en på förhand bestämd större stickprovsstorlek.
Att efteråt välja den årskurs eller det mått som råkade se bäst ut ger en ny hypotes att testa, inte en bekräftelse från det ursprungliga experimentet.