A/B-test och experimentdesign

Ett A/B-test randomiserar användare till två varianter och mäter en förbestämd metrik. Randomiseringen är det som gör orsakssambandet giltigt — allt annat är i genomsnitt lika mellan grupperna.

Innan testet startar ska du ha bestämt:

1. Primär metrik — en enda. (Sekundära får rapporteras, men de avgör inte.)
2. Minsta intressanta effekt (MDE) — hur stor skillnad är värd att agera på?
3. Stickprovsstorlek ur MDE, baslinje, α = 0,05 och styrka 0,8.
4. Testets längd — minst en hel vecka (veckodagseffekter).
5. Stoppregel.

Skriv ner det. Annars blir varje resultat efterhandskonstruerat.

Stickprovsstorlek per grupp för att upptäcka en absolut skillnad $\delta$ i andelar kring baslinjen $p$:

$n \approx \frac{2\,(z_{1-\alpha/2} + z_{1-\beta})^2\;p(1-p)}{\delta^2}$

Med $\alpha = 0{,}05$ (z = 1,96) och styrka 0,8 (z = 0,84) blir konstanten $(1{,}96+0{,}84)^2 \approx 7{,}85$.

Exempel: $p = 0{,}10$, vill upptäcka $\delta = 0{,}01$ (10 % → 11 %): $n \approx 2 \cdot 7{,}85 \cdot 0{,}09 / 0{,}0001 \approx$ 14 100 per grupp.

Tre fällor:

• Peeking: titta varje dag och stoppa när p < 0,05 → den faktiska falsklarmsrisken blir 20–30 %, inte 5 %. Lösning: förbestämd längd, eller sekventiella test (always-valid p-values).
• Multipla metriker: 20 metriker ger i snitt en «signifikant» av slump. Korrigera eller förbestäm en.
• Interferens: användare påverkar varandra (sociala nätverk, marknadsplatser) → randomisera på grupp- eller marknadsnivå i stället.

from math import ceil

def n_per_grupp(baslinje, mde_absolut, alfa=0.05, styrka=0.8):
    z = {0.05: 1.96}[alfa] + {0.8: 0.84, 0.9: 1.28}[styrka]
    return ceil(2 * z**2 * baslinje * (1 - baslinje) / mde_absolut**2)

for mde in (0.005, 0.01, 0.02):
    print(f"MDE {mde:.1%}: {n_per_grupp(0.10, mde):>7,} per grupp")
# MDE 0.5%:  56,376 per grupp
# MDE 1.0%:  14,094 per grupp
# MDE 2.0%:   3,524 per grupp

Halverad MDE → fyrdubblat n. Det är därför små förbättringar kräver stor trafik — och varför team med lite trafik ska testa stora förändringar, inte knappfärger.