Mål E Universitet
Träna neuronnät på riktigt
Optimerare, regularisering, normalisering, initiering, dataloaders och transfer learning — allt som skiljer en träning som fungerar från en som inte gör det.
- Kunskaper
- 86
- Från noll
- ca 65 h
- Labbar
- 6
Se vad du redan kan — utan konto
Diagnosen föreslår en startpunkt. Övningarna visar vad du faktiskt kan.
Det här kan du efteråt
- BNeuronnät: inspiration från hjärnan
- DAktiveringsfunktioner
- EFörsvinnande och exploderande gradienter
- EGradientklippning
- EInitiering av vikter
- DEmbeddings för kategoriska variabler
- DPerceptronen
- EHur autograd fungerar inuti
- DDataloaders, batchar och epoker
- EResidualkopplingar
- ESekvensmodeller före transformers
- EAutoencoders
- EDeep learning på tabelldata
- EBatch- och layernormalisering
- ECheckpoints, sparande och återstart
- EGPU-minne, gradientackumulering och batchar
- FMixed precision-träning
- EOptimerare: momentum, Adam, schemaläggning
- ELärhastighetsscheman och warmup
- ERegularisering: dropout, weight decay, early stopping
- EDropout i detalj
- ETransfer learning
- ETräningsdiagnostik
- EHyperparametrar för djupa nät
Labbar på vägen
Du skriver koden. Tester du inte ser avgör om den håller.
Labb: ett neuronnät i ren NumPy — forward, backprop, gradientkontrollDsandlåda · ca 75 minLabb: gradient descent från grundenDi webbläsaren · ca 50 minLabb: matrismultiplikation och ett lager i ett neuronnätDi webbläsaren · ca 45 minLabb: semantisk sökning med embeddingsDsandlåda · ca 45 minLabb: skalärprodukt, norm och cosinuslikhetDi webbläsaren · ca 40 minLabb: tensorer, autograd och din första träningsloopDsandlåda · ca 50 min
Hela vägen
Allt målet bygger på, grupperat per nivå och i den ordning det bygger på varandra. Visa på kartan
AUpptäckare4 kunskaper
BUtforskare10 kunskaper
CByggare12 kunskaper
- Funktioner och koordinatsystem
- Programmeringslogik — variabler, villkor, loopar
- Python — grunderna
- Python — listor, loopar och dictionaries
- Python — strängar och textbehandling
- Python — filer, CSV och JSON
- Statistik — medelvärde, median och spridning
- Sannolikhet — grunderna
- Linjär regression: anpassa en rät linje till data
- Neuronnät — intuitionen
- Variabler och algebraiska uttryck
- Potenser och rötter
DAI-utvecklare31 kunskaper
- Derivata och optimering
- Tidskomplexitet och ordo-notation
- Python — funktioner, scope och undantag
- Python — moduler, paket och virtuella miljöer
- Git — versionshantering
- Sannolikhetsfördelningar
- Normalfördelningen och standardisering
- Gradient descent
- Logaritmer
- Vektorer
- Matriser och matrismultiplikation
- Linjär regression med flera features
- Logistisk regression och beslutsträd
- Beslutsträd
- Neuronnät — forward pass med matriser
- Aktiveringsfunktioner
- Backpropagation
- Embeddings — ord som vektorer
- NumPy — arrayer och vektorisering
- Overfitting och generalisering
- Pandas — tabeller i Python
- Datakvalitet: saknade värden, dubbletter, fel
- Feature engineering
- Embeddings för kategoriska variabler
- Perceptronen
- PyTorch — tensorer och autograd
- Dataloaders, batchar och epoker
- Träning, validering och test
- Korsvalidering
- Träna ett neuronnät i PyTorch
- Visualisering med Matplotlib
EUniversitet27 kunskaper
- Numerisk stabilitet och flyttal
- Ensembler: random forest och boosting
- Linjära avbildningar
- Egenvärden och egenvektorer
- Matrisfaktorisering och lågrangsapproximation
- Försvinnande och exploderande gradienter
- Gradientklippning
- Initiering av vikter
- Parallellism och varför GPU:er
- Hur autograd fungerar inuti
- Residualkopplingar
- Sekvensmodeller före transformers
- Singulärvärdesuppdelning (SVD)
- PCA — principalkomponentanalys
- Autoencoders
- Deep learning på tabelldata
- Hyperparametersökning
- Batch- och layernormalisering
- Checkpoints, sparande och återstart
- GPU-minne, gradientackumulering och batchar
- Optimerare: momentum, Adam, schemaläggning
- Lärhastighetsscheman och warmup
- Regularisering: dropout, weight decay, early stopping
- Dropout i detalj
- Transfer learning
- Träningsdiagnostik
- Hyperparametrar för djupa nät