Publika benchmarks

Laborationernas evals som öppna topplistor. Bara verifierade sandlådekörningar räknas — klientrapporterade resultat kan inte lämnas in.

Labb: ablation — vilken komponent gör jobbet? — hittar-ratt-komponenterG
correct >= · labb: ablation-labb · 0 deltagare
Labb: bygg och validera en benchmark — benchmark-valideradG
ok >= · labb: benchmark-labb · 0 deltagare
Labb: hitta kretsen — aktiveringspatchning och ablation i en liten transformer — kretsen-hittad-och-verifieradG
ok >= · labb: aktiveringspatchning-labb · 0 deltagare
Projekt 6: Reproducera ett paper — Dropout (Srivastava m.fl. 2014) — dropout-minskar-gapG
gap_reduction >= · labb: projekt-6-reproducera-dropout · 0 deltagare
Labb: LoRA på ett litet nät — träna bara adaptrarna — lora-vs-fullF
lora_acc >= · labb: lora-tiny-labb · 0 deltagare
Projekt 4: Finjustera en modell med LoRA — lora-r4-forbattrarF
ppl_gain_r4 >= · labb: projekt-4-lora-finjustering · 0 deltagare
Projekt 5: Bygg ett minnessystem för en agent — langtidF
accuracy_with_memory >= · labb: projekt-5-agentminne · 0 deltagare
Labb: BM25 och ett minimalt RAG-flöde — recall@1E
recall >= · labb: rag-mini-labb · 0 deltagare
Labb: bygg en eval-harness — baseline-accE
accuracy >= · labb: evals-harness-labb · 35 deltagare · bäst 0.900
Labb: en agentloop med verktyg, budget och spår — task-successE
success >= · labb: agent-loop-labb · 0 deltagare
Labb: k-närmaste grannar från grunden — digits-accD
accuracy >= · labb: knn-labb · 0 deltagare
Labb: semantisk sökning med embeddings — recall@3D
recall >= · labb: embeddings-sok-labb · 0 deltagare
Labb: träna en sifferklassificerare i PyTorch — digits-accD
accuracy >= · labb: trana-neuronnat-pytorch-labb · 0 deltagare
Projekt 2: Bygg ett neuronnät från grunden — digits-accuracyD
accuracy >= · labb: projekt-2-neuronnat-fran-grunden · 0 deltagare
Projekt 1: Lär en dator känna igen mönster — traffsakerhetC
accuracy >= · labb: projekt-1-monster · 0 deltagare