Vetenskaplig metod i AI

ML-forskning har ett reproducerbarhetsproblem: många rapporterade förbättringar försvinner när någon kör om med samma frön, samma baslinje-tuning och fler datamängder. Metoden som skyddar:

1. Fråga → hypotes som kan falsifieras, skriven före experimentet.
2. Kontroll: bara en sak ändras. Baslinjen får lika mycket hyperparameter-tuning som den nya metoden.
3. Variation: minst 3–5 frön; rapportera medel ± std eller KI. Ett frö är en anekdot.
4. Flera datamängder: en förbättring på en datamängd är ofta brus.
5. Ablation: ta bort varje komponent — vilken gör jobbet?
6. Rapportera negativa resultat och allt du provade, inte bara det som fungerade.

Vanliga fel: testset använt för val, baslinje undertunad, cherry-pickade frön, mått bytt i efterhand, «signifikant» utan intervall.

Granska ett påstående: «Vår nya optimerare ger 1,2 pe bättre på CIFAR-10 än Adam.»

Frågor du ställer:

• Hur många frön? Vad är std mellan frön för Adam? (Ofta ~0,3–0,5 pe → 1,2 kan vara 2σ, kan vara brus.)
• Fick Adam samma lr-sökning?
• Hur valdes epoker/tidigt stopp — på test?
• Fungerar det på ImageNet, på text?
• Finns kod, frön och exakt konfiguration?

Om svaren saknas är påståendet inte fel — det är oprövat. Gör samma granskning av dina egna resultat innan du visar dem för någon.