Mål E Universitet
Bygg en transformer från grunden
Implementera self-attention, multi-head attention och positionell kodning själv, och sätt ihop dem till en fungerande liten transformer.
- Kunskaper
- 49
- Från noll
- ca 40 h
- Labbar
- 6
Se vad du redan kan — utan konto
Diagnosen föreslår en startpunkt. Övningarna visar vad du faktiskt kan.
Det här kan du efteråt
Labbar på vägen
Du skriver koden. Tester du inte ser avgör om den håller.
Projekt 3: Dissekera en språkmodellEsandlåda · ca 180 minLabb: ett neuronnät i ren NumPy — forward, backprop, gradientkontrollDsandlåda · ca 75 minLabb: gradient descent från grundenDi webbläsaren · ca 50 minLabb: matrismultiplikation och ett lager i ett neuronnätDi webbläsaren · ca 45 minLabb: scaled dot-product attention med kausal maskDsandlåda · ca 60 minLabb: semantisk sökning med embeddingsDsandlåda · ca 45 min
Hela vägen
Allt målet bygger på, grupperat per nivå och i den ordning det bygger på varandra. Visa på kartan
AUpptäckare2 kunskaper
BUtforskare5 kunskaper
CByggare9 kunskaper
- Funktioner och koordinatsystem
- Avståndsberäkning och Pythagoras sats
- Programmeringslogik — variabler, villkor, loopar
- Python — grunderna
- Python — listor, loopar och dictionaries
- Statistik — medelvärde, median och spridning
- Sannolikhet — grunderna
- Linjär regression: anpassa en rät linje till data
- Neuronnät — intuitionen
DAI-utvecklare19 kunskaper
- Derivata och optimering
- Tidskomplexitet och ordo-notation
- Python — funktioner, scope och undantag
- Python — klasser och objekt
- Sannolikhetsfördelningar
- Normalfördelningen och standardisering
- Tokenisering
- Gradient descent
- Trigonometri — grunderna
- Vektorer
- Matriser och matrismultiplikation
- Neuronnät — forward pass med matriser
- Aktiveringsfunktioner
- Backpropagation
- Embeddings — ord som vektorer
- Attention
- PyTorch — tensorer och autograd
- Träna ett neuronnät i PyTorch
- Transformers — arkitekturen