Hvad er en token? En enkel guide til AI’s byggeklodser
Når man arbejder med kunstig intelligens og sprogmodeller som ChatGPT, Claude eller Gemini, støder man ofte på ordet “token”. Men hvad er en token egentlig, og hvorfor er det så centralt et begreb inden for AI?
Hvad er en token?
En token er den grundlæggende byggeklods, som en AI-sprogmodel bruger til at læse og skrive tekst. Mens vi mennesker læser ord og sætninger, behandler en AI tekst som en sekvens af tokens. En token er ikke nødvendigvis et helt ord — det kan være et ord, en stavelse, et enkelt bogstav eller endda et mellemrum og tegnsætning.
Som en tommelfingerregel svarer 1 token på engelsk til cirka 4 tegn, eller sagt på en anden måde: 100 tokens svarer til omtrent 75 ord. På dansk og andre ikke-engelske sprog kan et ord kræve lidt flere tokens, fordi sprogmodellerne primært er trænet på engelske tekster.
Hvorfor bruger AI tokens?
Grunden til at AI-modeller bruger tokens frem for hele ord er effektivitet og mønstergenkendelse. Ved at bryde tekst ned i mindre bidder kan modellen bedre forstå grammatik, sammensatte ord og endda ord, den aldrig har set før. Kender modellen tokenet “hunde” og tokenet “hus”, har den lettere ved at forstå “hundehus”, selvom det er første gang, den møder det.
Eksempel: Sådan tokeniseres en sætning
Tag sætningen “ChatGPT er fantastisk”. En tokenizer vil typisk opdele den i noget i retning af: [“Chat”, “G”, “PT”, ” er”, ” fanta”, “stisk”]. Hvert af disse stykker er en token. Det kan virke mærkeligt, men denne tilgang giver modellen stor fleksibilitet til at håndtere alle slags tekst.
Kontekstvinduet: AI’ens korttidshukommelse
Et vigtigt begreb i forlængelse af tokens er “kontekstvinduet” (context window). Det refererer til det maksimale antal tokens, en AI kan holde i sin “hukommelse” på én gang. En model med et kontekstvindue på 128.000 tokens kan læse og huske en tekst svarende til ca. 300 A4-sider, inden den begynder at “glemme” starten af samtalen.
Når du uploader et dokument til en AI, konverteres hele dokumentet til tokens. AI’en læser disse tokens og genererer sit svar — én token ad gangen. Du kan lære mere om, hvordan sprogmodeller fungerer, i vores guide til generativ AI.
Tokens og prissætning
For brugere med et månedligt abonnement (som ChatGPT Plus) kører token-forbruget i baggrunden uden bekymringer. Men for udviklere og virksomheder, der bruger AI via et API, betales der direkte per token. Her skelnes der mellem input tokens (det du sender til AI’en) og output tokens (det AI’en svarer tilbage med). Du kan læse meget mere om dette i vores artikel om hvad tokens koster.
Input vs. output tokens
Output tokens er typisk 3–5 gange dyrere end input tokens, fordi det kræver langt mere regnekraft at generere tekst end blot at læse den. Det er en vigtig detalje, når man optimerer sine AI-udgifter.
Konklusion
Tokens er AI’ens alfabet og ordforråd kogt ned til små, beregningsvenlige bidder. Forståelsen af tokens er nøglen til at bruge AI effektivt — uanset om du er nysgerrig bruger eller professionel udvikler. Vil du vide mere om, hvilke AI-modeller der er bedst til din brug, kan du se vores oversigt over AI-værktøjer.
