Stickprov och osäkerhet

Du mäter träffsäkerhet på 100 testexempel: 87 %. Hade du valt 100 andra exempel hade du fått 84 % eller 90 %. Siffran har osäkerhet för att testet är ett stickprov av alla möjliga exempel.

Standardfelet (SE) mäter den osäkerheten: för en andel p är SE = √(p(1−p)/n). Med n = 100 och p = 0,87: SE ≈ 0,034 — alltså ±3,4 procentenheter. Med n = 10 000: ±0,3.

Osäkerheten minskar med √n: fyra gånger mer data ger bara hälften så stort fel. Två modeller med 87 % och 89 % på 100 exempel är inte skiljbara.

import numpy as np
rng = np.random.default_rng(0)
sann_acc = 0.87

for n in (30, 100, 1000, 10_000):
    skattningar = rng.binomial(n, sann_acc, size=5000) / n
    print(n, round(skattningar.std(), 4), round(np.sqrt(sann_acc * (1 - sann_acc) / n), 4))
# 30     0.0614  0.0614
# 100    0.0336  0.0336
# 1000   0.0106  0.0106
# 10000  0.0034  0.0034

Simuleringen och formeln stämmer överens. Bootstrap ger samma sak utan formel: dra n exempel med återläggning ur testsetet 1 000 gånger, räkna måttet varje gång, titta på spridningen — fungerar för vilket mått som helst (F1, BLEU …).