Pre-training is een trainingsfase waarin een AI-model eerst algemene kennis leert uit grote hoeveelheden data. Tijdens pre-training ontdekt het model patronen, structuren en verbanden die later gebruikt kunnen worden voor specifieke taken.
Dit artikel is onderdeel van de AI Woordenlijst op De Wereld van AI. Daar vind je een overzicht van alle belangrijke AI-begrippen.
Wat gebeurt er tijdens pre-training?
Tijdens pre-training traint een ontwikkelaar het model op zeer grote datasets, meestal zonder een specifieke taak of context. Het doel is dat het model leert hoe data er in het algemeen uitziet en hoe onderdelen samenhangen.
Bij verschillende soorten modellen betekent dit bijvoorbeeld:
- Een taalmodel leert hoe woorden, zinnen en grammaticale structuren samenhangen
- Een beeldmodel leert randen, vormen, texturen en objectstructuren herkennen
- Een audiomodel leert patronen in geluid, toonhoogte en timing
Daardoor leert het model algemene patronen herkennen die later van pas komen bij specifieke taken.
Waarom pre-training belangrijk is
Het is essentieel omdat het de basis vormt voor vrijwel alle moderne AI-systemen. Daardoor kunnen ontwikkelaars hetzelfde model sneller aanpassen aan nieuwe taken.
Dit zorgt ervoor dat modellen:
- Minder taak-specifieke data nodig hebben
- Sneller convergeren tijdens training
- Betere prestaties leveren op nieuwe problemen
Zonder pre-training kosten complexe AI-modellen veel meer data, tijd en rekenkracht.
Pre-training versus fine-tuning
Moderne AI-modellen combineren deze twee trainingsfasen bijna altijd met elkaar.
Bij pre-training leert het model algemene kennis uit grote, brede datasets. Deze fase vraagt veel rekenkracht en ontwikkelaars voeren haar meestal maar één keer uit.
Bij fine-tuning trainen ontwikkelaars hetzelfde model verder op een kleinere, specifieke dataset, gericht op één taak zoals samenvatten, classificeren of klantenservice. Hierbij worden de bestaande kennis en patronen verfijnd in plaats van opnieuw aangeleerd.
Praktisch voorbeeld
Een taalmodel leert tijdens pre-training miljoenen teksten analyseren en voorspellen welk woord logisch volgt. Het begrijpt hierdoor zinsstructuren, woordbetekenissen en context.
Daarna kan hetzelfde model via fine-tuning worden aangepast voor een specifieke toepassing, zoals het beantwoorden van vragen, het schrijven van samenvattingen of het ondersteunen van klanten.
Verder leren
Wil je AI stap voor stap begrijpen, dan is de Gratis Basiscursus AI op De Wereld van AI een goed startpunt. Daar leer je in gewone taal hoe AI werkt en hoe belangrijke begrippen met elkaar samenhangen.
Bekijk je liever video-uitleg, dan biedt het YouTube kanaal De Wereld van AI heldere uitlegvideo’s over AI, uitgelegd in begrijpelijke taal.