Finjustera en modell med LoRA
Förstå varför lågrangsadaptrar fungerar, välja target modules och rank, bygga ett dataset och utvärdera resultatet med evals.
Alla kunskaper som ingår (36) — i beroendeordning
- 1AMönster och kategorier
- 2BData från vardagen
- 3AInstruktioner i rätt ordning
- 4BAlgoritmiskt tänkande
- 5CFunktioner och koordinatsystem
- 6DDerivata och optimering
- 7CProgrammeringslogik — variabler, villkor, loopar
- 8CPython — grunderna
- 9CPython — listor, loopar och dictionaries
- 10BRegler kontra inlärning
- 11CStatistik — medelvärde, median och spridning
- 12CSannolikhet — grunderna
- 13DLoss-funktioner
- 14DTokenisering
- 15BTräningsdata, features och etiketter
- 16BKlassificering — så sorterar en modell
- 17CDin första prediktiva modell — en rät linje
- 18DGradient descent
- 19CNeuronnät — intuitionen
- 20DVektorer
- 21DMatriser och matrismultiplikation
- 22DLinjär regression med flera features
- 23EMatrisfaktorisering och lågrangsapproximation
- 24DNeuronnät — forward pass med matriser
- 25DBackpropagation
- 26DEmbeddings — ord som vektorer
- 27DAttention
- 28DOverfitting och generalisering
- 29DPyTorch — tensorer och autograd
- 30DTräning, validering och test
- 31DTräna ett neuronnät i PyTorch
- 32DTransformers — arkitekturen
- 33ESpråkmodeller — träning och generering
- 34EModellutvärdering
- 35EFinjustering av språkmodeller
- 36FLoRA — Low-Rank Adaptation