Slutprov: släpp en modellversion du kan försvara

"""Evals-slutprov. Ändra funktionerna nedan; testerna bedömer beteende på nya resultat."""

IMPROVED = "förbättring"
WORSE = "försämring"
NOISE = "brus"
TIE = "LIKA"


def accuracy_ci(outcomes, z=1.96):
    """outcomes: [bool] per testfall -> {accuracy, low, high, n} med Wilsonintervall."""
    # TODO: räkna andelen rätt och ett 95 %-intervall som håller även nära 0 och 1.
    raise NotImplementedError


def paired_comparison(a, b, alpha=0.05):
    """a, b: [bool] för samma fall i samma ordning -> {diff, a_only, b_only, p, verdict}."""
    # TODO: räkna fall där bara en version har rätt och gör ett exakt, tvåsidigt McNemar-test.
    # verdict är IMPROVED eller WORSE om p < alpha, annars NOISE.
    raise NotImplementedError


def release_gate(baseline, candidate, critical=(), min_accuracy=0.0):
    """baseline, candidate: {fall_id: bool} -> {accuracy, regressions, critical_failures, block, reasons}."""
    # TODO: ett fall som saknas i candidate räknas som fel. Blockera vid kritiskt fel eller för låg träffsäkerhet.
    raise NotImplementedError


def judge_audit(judge, pairs, human):
    """judge(question, first, second) -> "1" | "2" | annat. pairs: [{id, question, a, b}], human: {id: "A"|"B"}.
    Returnerar {verdicts, consistency, agreement}."""
    # TODO: kör varje par i båda ordningarna; ett domslut som byter sida med ordningen blir TIE.
    raise NotImplementedError