Preprocessing is de fase waarin ruwe data wordt voorbereid voordat een AI-model ermee gaat leren. Tijdens preprocessing wordt data opgeschoond, aangepast en gestructureerd, zodat een model de informatie beter kan verwerken en begrijpen.
Dit artikel is onderdeel van de AI Woordenlijst op De Wereld van AI. Daar vind je een overzicht van alle belangrijke AI-begrippen.
Wat gebeurt er tijdens preprocessing?
Tijdens dit proces worden verschillende bewerkingen uitgevoerd om de kwaliteit en bruikbaarheid van de data te verbeteren.
Veelvoorkomende stappen zijn:
- Verwijderen of corrigeren van fouten en ontbrekende waarden
- Omzetten van data naar een uniforme vorm
- Schalen of normaliseren van numerieke waarden
- Coderen van categorieën naar getallen
- Opschonen van tekst, zoals hoofdletters, leestekens en stopwoorden
Het doel is om ruis te verminderen en relevante informatie beter zichtbaar te maken voor het model.
Waarom preprocessing belangrijk is
Zonder goede preprocessing kan een model verkeerde patronen leren of instabiel gedrag vertonen. Slechte of scheve inputdata leidt direct tot onnauwkeurige voorspellingen.
Preprocessing zorgt voor:
- Sneller en stabieler leren
- Betere prestaties van het model
- Minder bias door rommelige of inconsistente data
- Betere vergelijkbaarheid tussen datapunten
Preprocessing bij verschillende AI-toepassingen
De exacte stappen verschillen per type data:
- Bij tekst draait het om tokenisatie, normalisatie en het verwijderen van irrelevante woorden
- Bij beelden gaat het vaak om schalen, bijsnijden en normaliseren van pixels
- Bij numerieke data ligt de focus op schaling, normalisatie en het omgaan met ontbrekende waarden
Relatie met AI en ethiek
Beslissingen in preprocessing hebben directe invloed op eerlijkheid en betrouwbaarheid. Het verwijderen of aanpassen van data kan onbedoeld bepaalde groepen benadelen. Daarom is transparantie over preprocessing-stappen belangrijk binnen AI & ethiek.
Verder leren
Wil je AI stap voor stap begrijpen, dan is de Gratis Basiscursus AI op De Wereld van AI een goed startpunt. Daar leer je in gewone taal hoe AI werkt en hoe belangrijke begrippen met elkaar samenhangen.
Leer je liever via video, dan vind je op het YouTube kanaal De Wereld van AI heldere uitlegvideo’s in gewone taal, zonder technisch jargon.