Dit artikel is onderdeel van de AI Woordenlijst op De Wereld van AI. Daar vind je een overzicht van alle belangrijke AI-begrippen.
Wat is een token?
Een token is een basiseenheid die een AI-model gebruikt om tekst te verwerken. In plaats van hele zinnen te lezen, splitst een AI tekst op in tokens, zoals woorden, woorddelen of tekens.
Uitleg van het begrip in begrijpelijke taal
Een token is een stukje tekst dat door AI als één element wordt gezien. Dat kan een volledig woord zijn, maar ook een deel van een woord of zelfs een leesteken. Door tekst op te splitsen in tokens kan een AI-model taal stap voor stap analyseren en begrijpen.
Hoe het werkt of hoe het wordt toegepast
Wanneer tekst wordt ingevoerd, zet een AI-systeem deze eerst om in tokens. Elk token krijgt een numerieke waarde die het model kan verwerken. Het model kijkt vervolgens naar de volgorde en samenhang van tokens om betekenis af te leiden. Dit proces ligt aan de basis van vrijwel alle moderne taalmodellen en chatbots.
Praktisch voorbeeld of toepassingen
De zin “AI leert taal” kan worden opgesplitst in meerdere tokens, zoals “AI”, “leert” en “taal”. Soms worden woorden verder opgesplitst, bijvoorbeeld in woorddelen. Dit maakt het mogelijk om ook onbekende of nieuwe woorden toch correct te verwerken. Tokens worden gebruikt bij tekstgeneratie, vertalingen en samenvattingen.
Verder leren
Wie beter wil begrijpen hoe AI taal verwerkt en waarom tokens zo belangrijk zijn voor kosten, snelheid en context, kan verder leren via mijn gratis AI basiscursus.
DE WERELD VAN AI 