Hoppa till innehållet
AI-grafen
Logga in
☰ Meny

Mål F AI engineering

Kör modeller billigare: kvantisering

Krymp en modell till en fjärdedel, mät vad som förloras, och välj rätt format för din körmiljö.

Kunskaper
59
Från noll
ca 46 h
Labbar
6
Se vad du redan kan — utan konto

Diagnosen föreslår en startpunkt. Övningarna visar vad du faktiskt kan.

Det här kan du efteråt

Labbar på vägen

Du skriver koden. Tester du inte ser avgör om den håller.

Labb: ett neuronnät i ren NumPy — forward, backprop, gradientkontrollDsandlåda · ca 75 minLabb: gradient descent från grundenDi webbläsaren · ca 50 minLabb: matrismultiplikation och ett lager i ett neuronnätDi webbläsaren · ca 45 minLabb: scaled dot-product attention med kausal maskDsandlåda · ca 60 minLabb: semantisk sökning med embeddingsDsandlåda · ca 45 minLabb: skalärprodukt, norm och cosinuslikhetDi webbläsaren · ca 40 min

Hela vägen

Allt målet bygger på, grupperat per nivå och i den ordning det bygger på varandra. Visa på kartan

AUpptäckare4 kunskaper
  1. Mönster och kategorier
  2. Sekvenser och exakta instruktioner
  3. Heltalsaritmetik och räkneordning
  4. Jämföra och sortera värden
BUtforskare8 kunskaper
  1. Data i vardagen
  2. Algoritmiskt tänkande
  3. Regelbaserade system och maskininlärning
  4. Koordinater: positioner i ett rutnät
  5. Träningsdata, features och etiketter
  6. Klassificering: hur en modell sorterar information
  7. Generativ AI: hur den skapar innehåll
  8. Språkmodeller och sannolikheter
CByggare11 kunskaper
  1. Funktioner och koordinatsystem
  2. Programmeringslogik — variabler, villkor, loopar
  3. Python — grunderna
  4. Python — listor, loopar och dictionaries
  5. Statistik — medelvärde, median och spridning
  6. Sannolikhet — grunderna
  7. Linjär regression: anpassa en rät linje till data
  8. Neuronnät — intuitionen
  9. Uppmärksamhet: hur ord påverkar varandra
  10. Ord som punkter: liknande ord nära varandra
  11. Varför tar det tid när AI:n svarar?
DAI-utvecklare20 kunskaper
  1. Derivata och optimering
  2. Tidskomplexitet och ordo-notation
  3. Python — funktioner, scope och undantag
  4. Python — moduler, paket och virtuella miljöer
  5. Loss-funktioner
  6. Terminal och shell
  7. Tokenisering
  8. Gradient descent
  9. Transformern — översikt utan formler
  10. Hur en språkmodell tränas — på gymnasienivå
  11. Vektorer
  12. Matriser och matrismultiplikation
  13. Neuronnät — forward pass med matriser
  14. Backpropagation
  15. Embeddings — ord som vektorer
  16. Attention
  17. PyTorch — tensorer och autograd
  18. Träna ett neuronnät i PyTorch
  19. Transformers — arkitekturen
  20. Liten modell eller stor?
EUniversitet9 kunskaper
  1. Docker — containrar
  2. Kontextlängd och kvadratisk kostnad
  3. Köra modeller lokalt: llama.cpp, vLLM, Ollama
  4. Multi-head attention i detalj
  5. KV-cache
  6. Latens, throughput och batching vid inferens
  7. Kostnadsmodellering för LLM-system
  8. Språkmodeller — träning och generering
  9. Sampling: temperatur, top-k, top-p, beam
FAI engineering6 kunskaper
  1. Kvantisering
  2. Kvantisering i praktiken: GPTQ, AWQ, GGUF
  3. Inferensoptimering
  4. Prompt-caching och prefixdelning
  5. Multi-query och grouped-query attention
  6. Spekulativ dekodning
GFrontier Lab1 kunskaper
  1. Beskärning och gleshet