Frontier Lab — självständigt forskningsprojekt
Läs och reproducera ett paper, kör ablationer, inspektera modellen mekanistiskt och skriv en rapport som någon annan kan reproducera.
Alla kunskaper som ingår (87) — i beroendeordning
- 1AMönster och kategorier
- 2BData från vardagen
- 3AInstruktioner i rätt ordning
- 4BAlgoritmiskt tänkande
- 5DDiskret matematik: grafer och relationer
- 6CFunktioner och koordinatsystem
- 7DDerivata och optimering
- 8CProgrammeringslogik — variabler, villkor, loopar
- 9CPython — grunderna
- 10CPython — listor, loopar och dictionaries
- 11DTidskomplexitet och ordo-notation
- 12DDatastrukturer: listor, stackar, köer, hashtabeller
- 13EGrafalgoritmer: BFS, DFS, topologisk ordning
- 14DPython — funktioner, scope och undantag
- 15DPython — moduler, paket och virtuella miljöer
- 16DGit — versionshantering
- 17BRegler kontra inlärning
- 18BKällkritik och ansvar när AI svarar
- 19CStatistik — medelvärde, median och spridning
- 20DKorrelation och kausalitet
- 21DHypoteser och falsifierbarhet
- 22CSannolikhet — grunderna
- 23DSannolikhetsfördelningar
- 24DLoss-funktioner
- 25DNormalfördelningen och standardisering
- 26DStickprov och osäkerhet
- 27EKonfidensintervall
- 28EHypotesprövning och p-värden
- 29DTestning med pytest
- 30FBidra till open source
- 31DTokenisering
- 32BTräningsdata, features och etiketter
- 33EAnnotering och märkning av data
- 34BKlassificering — så sorterar en modell
- 35CDin första prediktiva modell — en rät linje
- 36DGradient descent
- 37FMänsklig utvärdering och annotatörsöverensstämmelse
- 38CNeuronnät — intuitionen
- 39CPromptning — att styra en språkmodell
- 40EReinforcement learning — grunderna
- 41DVektorer
- 42DMatriser och matrismultiplikation
- 43DLinjär regression med flera features
- 44DNeuronnät — forward pass med matriser
- 45DBackpropagation
- 46EFaltningsnät (CNN)
- 47DEmbeddings — ord som vektorer
- 48DAttention
- 49FGrafneuronnät (GNN)
- 50DOverfitting och generalisering
- 51DPartiella derivator och gradienten
- 52DPyTorch — tensorer och autograd
- 53DRetrieval — hitta rätt text
- 54ESekvensmodeller före transformers
- 55FSaliency och attribution
- 56DTräning, validering och test
- 57DTräna ett neuronnät i PyTorch
- 58DTransformers — arkitekturen
- 59EMulti-head attention i detalj
- 60ESpråkmodeller — träning och generering
- 61EModellutvärdering
- 62EBenchmarks: vad de mäter och missar
- 63EFinjustering av språkmodeller
- 64FBenchmark-kontaminering
- 65GBygg en egen benchmark
- 66ERAG — retrieval-augmented generation
- 67FEvals för språkmodeller och agenter
- 68FRLHF och preferensinlärning
- 69GAlignment — problem och metoder
- 70GState space-modeller och Mamba
- 71GUtvärdering av farliga förmågor
- 72EVetenskaplig metod i AI
- 73FAI i naturvetenskap: från proteiner till klimat
- 74EBaslinjer och kontroller
- 75GMechanistic interpretability — grunderna
- 76FAktiveringar och linjära sonder
- 77FLäsa och analysera forskningsartiklar
- 78EReproducerbarhet
- 79GAblationsstudier
- 80EExperimentspårning
- 81ELabbjournal och experimentlogg
- 82GPlanera ett eget forskningsprojekt
- 83GKretsar, ablation och aktiveringspatchning
- 84GReproducera ett paper
- 85FSkriva en teknisk rapport
- 86GProjekt G: självständigt forskningsprojekt
- 87GGranska andras arbete