Hoppa till innehållet
AI-grafen
Logga in
☰ Meny

Mål F AI engineering

Finjustera och driva egna modeller

PEFT och QLoRA, datasetdesign, distribuerad träning, katastrofal glömska, export och ett capstone där du finjusterar och utvärderar på riktigt.

Kunskaper
89
Från noll
ca 78 h
Labbar
6
Se vad du redan kan — utan konto

Diagnosen föreslår en startpunkt. Övningarna visar vad du faktiskt kan.

Det här kan du efteråt

Labbar på vägen

Du skriver koden. Tester du inte ser avgör om den håller.

Projekt 4: Finjustera en modell med LoRAFsandlåda · ca 180 minLabb: LoRA på ett litet nät — träna bara adaptrarnaFsandlåda · ca 75 minLabb: bygg en eval-harnessEsandlåda · ca 60 minSlutprov: bygg ett spårbart RAG-flödeEsandlåda · ca 75 minLabb: ett neuronnät i ren NumPy — forward, backprop, gradientkontrollDsandlåda · ca 75 minLabb: gradient descent från grundenDi webbläsaren · ca 50 min

Hela vägen

Allt målet bygger på, grupperat per nivå och i den ordning det bygger på varandra. Visa på kartan

AUpptäckare4 kunskaper
  1. Mönster och kategorier
  2. Sekvenser och exakta instruktioner
  3. Heltalsaritmetik och räkneordning
  4. Jämföra och sortera värden
BUtforskare11 kunskaper
  1. Data i vardagen
  2. Algoritmiskt tänkande
  3. Regelbaserade system och maskininlärning
  4. Källkritik och ansvar vid AI-användning
  5. Bråk, decimaltal och procent
  6. Koordinater: positioner i ett rutnät
  7. Negativa tal i vardagen och AI
  8. Träningsdata, features och etiketter
  9. Klassificering: hur en modell sorterar information
  10. Generativ AI: hur den skapar innehåll
  11. Språkmodeller och sannolikheter
CByggare19 kunskaper
  1. Funktioner och koordinatsystem
  2. Programmeringslogik — variabler, villkor, loopar
  3. Python — grunderna
  4. Python — listor, loopar och dictionaries
  5. Python — strängar och textbehandling
  6. Python — filer, CSV och JSON
  7. Statistik — medelvärde, median och spridning
  8. Sannolikhet — grunderna
  9. Manuell datamarkering
  10. Linjär regression: anpassa en rät linje till data
  11. Neuronnät — intuitionen
  12. Promptning — att styra en språkmodell
  13. Experiment: skev träningsdata och dess konsekvenser
  14. Projekt: träna en bildklassificerare i webbläsaren
  15. Träna om modellen med egna exempel
  16. Uppmärksamhet: hur ord påverkar varandra
  17. Ord som punkter: liknande ord nära varandra
  18. Variabler och algebraiska uttryck
  19. Potenser och rötter
DAI-utvecklare26 kunskaper
  1. Derivata och optimering
  2. Python — funktioner, scope och undantag
  3. API:er och HTTP
  4. Reguljära uttryck
  5. Licenser och öppna data
  6. Loss-funktioner
  7. Testning med pytest
  8. Tokenisering
  9. Gradient descent
  10. Transformern — översikt utan formler
  11. Hur en språkmodell tränas — på gymnasienivå
  12. Finjustering — översikt för gymnasiet
  13. Logaritmer
  14. Vektorer
  15. Matriser och matrismultiplikation
  16. Linjär regression med flera features
  17. Neuronnät — forward pass med matriser
  18. Backpropagation
  19. Embeddings — ord som vektorer
  20. Attention
  21. Overfitting och generalisering
  22. PyTorch — tensorer och autograd
  23. Retrieval — hitta rätt text
  24. Träning, validering och test
  25. Träna ett neuronnät i PyTorch
  26. Transformers — arkitekturen
EUniversitet10 kunskaper
  1. Informationsteori: entropi och KL-divergens
  2. Matrisfaktorisering och lågrangsapproximation
  3. Optimerare: momentum, Adam, schemaläggning
  4. Språkmodeller — träning och generering
  5. Modellutvärdering
  6. Bygg en eval-harness
  7. Finjustering av språkmodeller
  8. Instruktionsfinjustering (SFT)
  9. RAG — retrieval-augmented generation
  10. Webbskrapning — teknik och regler
FAI engineering18 kunskaper
  1. Kvantisering
  2. Distribuerad träning
  3. Datasetdesign för finjustering
  4. Kunskapsdestillation
  5. Katastrofal glömska
  6. LoRA — Low-Rank Adaptation
  7. Slå ihop adaptrar och exportera modeller
  8. Parametereffektiv finjustering: adapters, prefix, LoRA
  9. QLoRA
  10. Evals för språkmodeller och agenter
  11. Regressionstester för modeller
  12. Förträning i praktiken
  13. Fortsatt förträning på domändata
  14. Skalningslagar
  15. Syntetisk data
  16. Target modules och rank i LoRA
  17. Projekt F: finjustera och utvärdera en språkmodell
  18. Träningsdata för språkmodeller: filtrering och dedup
GFrontier Lab1 kunskaper
  1. FSDP, ZeRO och DeepSpeed