Sluten beta för vuxna · gratis

Evals som håller mellan releaser

LLM som domare, regressionstester, statistisk signifikans och multipla jämförelser — så att «bättre» betyder något.

Känner du igen dig?

Två procentenheter bättre — förbättring eller brus?

LLM-domaren håller med sig själv.

Regressionen upptäcks av användarna, inte av testerna.

Målet har 62 kunskaper från grunderna och uppåt, ungefär 54 timmar om du börjar från noll. Diagnosen stryker det du redan kan.

Du skriver koden i webbläsaren eller i en sandlåda på servern. Dolda tester avgör om den håller.

Frågorna följer förkunskapskedjan bakåt från målet. Det du redan kan hoppar du över.

Bara de kunskaper som saknas, i den ordning de bygger på varandra. Vägen räknas om när du lär dig.

Du skriver koden. Tester du inte ser avgör om den håller — inte att den ser rätt ut.

Behärskning kräver flera slags belägg. Kompetensbeviset listar dem och går att verifiera.

Inget konto. Du ser direkt vad du redan kan och var din väg skulle börja.

Var står du i dag?

Evals i praktikenF

LLM som domare, regressionstester, statistisk signifikans och hur man värderar negativa resultat — mätning som håller mellan releaser.