Dit artikel is onderdeel van de AI Woordenlijst op De Wereld van AI. Daar vind je een overzicht van alle belangrijke AI-begrippen.
Preprocessing is de fase waarin ruwe data wordt voorbereid voordat een AI-model ermee gaat leren. In deze stap wordt data opgeschoond, gestructureerd en geschikt gemaakt voor training. Goede preprocessing is cruciaal, omdat modellen alleen zo goed zijn als de data die ze krijgen.
Wat gebeurt er bij preprocessing
Tijdens preprocessing worden verschillende bewerkingen uitgevoerd om de kwaliteit en bruikbaarheid van de data te verbeteren.
Veelvoorkomende stappen zijn:
- Verwijderen of corrigeren van fouten en ontbrekende waarden
- Omzetten van data naar een uniforme vorm
- Schalen of normaliseren van numerieke waarden
- Coderen van categorieën naar getallen
- Opschonen van tekst, zoals hoofdletters, leestekens en stopwoorden
Het doel is om ruis te verminderen en relevante informatie beter zichtbaar te maken voor het model.
Waarom preprocessing belangrijk is
Zonder goede preprocessing kan een model verkeerde patronen leren of instabiel gedrag vertonen. Slechte of scheve inputdata leidt direct tot onnauwkeurige voorspellingen.
Preprocessing zorgt voor:
- Sneller en stabieler leren
- Betere prestaties van het model
- Minder bias door rommelige of inconsistente data
- Betere vergelijkbaarheid tussen datapunten
Preprocessing bij verschillende AI-toepassingen
De exacte stappen verschillen per type data:
- Bij tekst draait preprocessing om tokenisatie, normalisatie en het verwijderen van irrelevante woorden
- Bij beelden gaat het vaak om schalen, bijsnijden en normaliseren van pixels
- Bij numerieke data ligt de focus op schaling, normalisatie en het omgaan met ontbrekende waarden
Relatie met AI en ethiek
Beslissingen in preprocessing hebben directe invloed op eerlijkheid en betrouwbaarheid. Het verwijderen of aanpassen van data kan onbedoeld bepaalde groepen benadelen. Daarom is transparantie over preprocessing-stappen belangrijk binnen AI & ethiek.
Verder leren
Wil je begrijpen hoe preprocessing past binnen het volledige AI-leerproces en hoe je deze keuzes bewust maakt, dan is de gratis AI basiscursus een logische volgende stap.
DE WERELD VAN AI 