Planera ett eget forskningsprojekt
Kunna avgränsa en fråga, planera experiment och beräkningsbudget.
Förkunskaper
Intuition
Ett forskningsprojekt misslyckas oftast på avgränsning och budget, inte på idén.
Från idé till fråga: «Hjälper minne agenter?» → «Ger episodiskt minne (sammanfattningar, k = 4) högre lösningsgrad än ingen minne på 20-sessionsserier med simulerade användare, på uppgiftsfamilj X?» Frågan har mått, kontroll, data och omfång.
Plan (en sida, förregistrerad):
- Hypotes + vad som falsifierar.
- Experiment i ordning: pilot (1 dag) → huvudexperiment → ablationer. Varje med förväntat utfall.
- Beräkningsbudget: GPU-timmar per körning × frön × varianter. Om det överstiger vad du har: krymp modell/data, inte antal frön.
- Avbrytningskriterier: «om piloten inte visar ≥ X, stoppa och rapportera negativt».
- Tidsplan med hälften av tiden till analys och skrivande.
Publiceras planen (internt) innan körning kan ingen — inte du själv — flytta målstolparna efteråt.
Interaktivt
Budgetkalkyl — exempel:
| Post | Antal | Tid per | Summa |
|---|---|---|---|
| Pilot | 1 | 2 GPU-h | 2 |
| Huvud: 2 villkor × 5 frön | 10 | 4 GPU-h | 40 |
| Ablation: 3 varianter × 3 frön | 9 | 4 GPU-h | 36 |
| Omkörningar (buffert 30 %) | 23 | ||
| Totalt | ~100 GPU-h |
Har du 40 GPU-h? Då: mindre modell (halva tiden), 3 frön i huvud, 2 ablationer. Aldrig ett frö.
Skriv ned tre saker som kan gå fel (data saknas, baslinjen är oväntat stark, miljön är buggig) och vad du gör då. Det är din riskplan.
Behärskning innebär
- Avgränsar en forskningsfråga till något som kan besvaras på 4–8 veckor
- Planerar experiment, beräkningsbudget och avbrytningskriterier
- Skriver en förregistrering
Logga in för att göra övningarna och bygga upp din behärskning.
Källor
- Center for Open Science — Preregistration — fri läsning
- arXiv — Deep Reinforcement Learning that Matters — arXiv (öppen åtkomst; licens per artikel)