Läsa och analysera forskningsartiklar

Tre pass (Keshav):

1. 5 min: titel, abstract, figurer, slutsats. Vad påstås? Bryr jag mig?
2. 30 min: metod och experiment i detalj, hoppa över bevis. Skriv ned: påstående → vilken tabell stödjer det → vad jämförs mot → hur många frön → vilken data.
3. 2 h (bara om det spelar roll): reproducera resonemanget, hitta antaganden, leta efter vad som inte står.

Frågor som avslöjar svaga papper:

• Fick baslinjen samma tuning? Står det?
• Hur många frön, och rapporteras spridning?
• Är benchmarken äldre än modellens träningsdata (kontaminering)?
• Redovisas negativa resultat och ablationer?
• Finns kod och exakt konfiguration?
• Är förbättringen större än bruset mellan frön?

Ett paper med stora påståenden och små tabeller är en hypotes, inte ett resultat. Det gäller även papper från stora labb.

Läskort — fyll i för varje paper (tar 10 minuter, sparar timmar):

Fält
Påstående (en mening)
Metod (tre meningar)
Huvudtabell + baslinjer
Frön / spridning
Data + kontamineringsrisk
Ablationer som stöder mekanismen
Svagheter
Relevant för mig därför att
Skulle jag reproducera? Kostnad?

Prova på LoRA-pappret (Hu m.fl. 2021): påståendet är tydligt, tabellerna jämför mot flera PEFT-metoder och full finjustering, men frön/spridning rapporteras sparsamt — notera det. Prova sedan på ett paper som just kommit ut.