Labb: byte-pair encoding från grunden

from collections import Counter


def words_from(text):
    """Ord → tuple av tecken med slutmarkör, med frekvens."""
    c = Counter(text.split())
    return {tuple(w) + ("</w>",): n for w, n in c.items()}


def pair_counts(words):
    # TODO: räkna intilliggande symbolpar viktade med ordets frekvens
    ...


def merge(words, pair):
    # TODO: ersätt varje förekomst av pair (a, b) med "ab" i alla ord
    ...


def train(text, n_merges=50):
    words = words_from(text)
    merges = []
    for _ in range(n_merges):
        # TODO: hitta vanligaste paret, slå ihop, spara
        ...
    return merges


def encode(text, merges):
    # TODO: för varje ord: börja med tecken + </w>, tillämpa merges i ordning
    ...