Hoppa till innehållet
AI-grafen
Logga in
☰ Meny

Mål F AI engineering

Finjustera en modell med LoRA

Förstå varför lågrangsadaptrar fungerar, välja target modules och rank, bygga ett dataset och utvärdera resultatet med evals.

Kunskaper
36
Från noll
ca 25 h
Labbar
6
Se vad du redan kan — utan konto

Diagnosen föreslår en startpunkt. Övningarna visar vad du faktiskt kan.

Det här kan du efteråt

Labbar på vägen

Du skriver koden. Tester du inte ser avgör om den håller.

Labb: LoRA på ett litet nät — träna bara adaptrarnaFsandlåda · ca 75 minLabb: ett neuronnät i ren NumPy — forward, backprop, gradientkontrollDsandlåda · ca 75 minLabb: gradient descent från grundenDi webbläsaren · ca 50 minLabb: matrismultiplikation och ett lager i ett neuronnätDi webbläsaren · ca 45 minLabb: scaled dot-product attention med kausal maskDsandlåda · ca 60 minLabb: semantisk sökning med embeddingsDsandlåda · ca 45 min

Hela vägen

Allt målet bygger på, grupperat per nivå och i den ordning det bygger på varandra. Visa på kartan

AUpptäckare2 kunskaper
  1. Mönster och kategorier
  2. Sekvenser och exakta instruktioner
BUtforskare5 kunskaper
  1. Data i vardagen
  2. Algoritmiskt tänkande
  3. Regelbaserade system och maskininlärning
  4. Träningsdata, features och etiketter
  5. Klassificering: hur en modell sorterar information
CByggare8 kunskaper
  1. Funktioner och koordinatsystem
  2. Programmeringslogik — variabler, villkor, loopar
  3. Python — grunderna
  4. Python — listor, loopar och dictionaries
  5. Statistik — medelvärde, median och spridning
  6. Sannolikhet — grunderna
  7. Linjär regression: anpassa en rät linje till data
  8. Neuronnät — intuitionen
DAI-utvecklare16 kunskaper
  1. Derivata och optimering
  2. Loss-funktioner
  3. Tokenisering
  4. Gradient descent
  5. Vektorer
  6. Matriser och matrismultiplikation
  7. Linjär regression med flera features
  8. Neuronnät — forward pass med matriser
  9. Backpropagation
  10. Embeddings — ord som vektorer
  11. Attention
  12. Overfitting och generalisering
  13. PyTorch — tensorer och autograd
  14. Träning, validering och test
  15. Träna ett neuronnät i PyTorch
  16. Transformers — arkitekturen
EUniversitet4 kunskaper
  1. Matrisfaktorisering och lågrangsapproximation
  2. Språkmodeller — träning och generering
  3. Modellutvärdering
  4. Finjustering av språkmodeller
FAI engineering1 kunskaper
  1. LoRA — Low-Rank Adaptation