Internationaal vergelijkend onderzoek over onderwijs: wat is het waard?

Op elk moment loopt in Vlaamse scholen wel een internationaal vergelijkend onderzoek. Van PISA tot minder bekende broertjes als ICILS, van voorstudie tot testmoment. Koen Aesaert, promotor van PIRLS 2021 en ICILS 2023, over het belang ervan: “Hoe een land of regio in de meetschalen of rankings beweegt, zegt meer dan zijn positie op zich.”

Waar ligt de waarde van internationaal vergelijkend onderzoek?

Koen Aesaert: “Internationaal vergelijkend onderzoek is een essentieel puzzelstuk in externe kwaliteitszorg in onderwijs. Daarnaast hebben we in Vlaanderen ook de peilingen – met focus op de eindtermen – en de inspectie. Die laatste neemt vooral onderwijsbeleid en -processen onder de loep. Vanaf het schooljaar 2023-2024 komen daar de centrale toetsen bij.”

“Toetsen als PISA en PIRLS overstijgen het curriculum omdat elk onderwijssysteem moet kunnen deelnemen. Ze creëren een spiegel: hoe goed kunnen leerlingen kennis toepassen in vergelijking met leeftijdsgenoten in andere landen op een bepaald facet van onderwijs? De ranglijsten zijn een (van de vele) interessante kwaliteitsindicatoren van een onderwijssysteem, niet van individuele scholen.”

“Eigenlijk zeggen de resultaten die je als land of regio over de jaren heen haalt nóg meer dan je plek in de ranking zelf op een bepaald moment. Tussen 2006 en 2016 was Vlaanderen de sterkste daler op leesvaardigheid volgens PIRLS. De peilingstoetsen Nederlands en PISA-rankings bevestigen die neerwaartse trend. 3 duidelijke alarmbellen kort na elkaar.”

“Waaróm we precies wegzakken, vertellen PISA of PIRLS niet. Ze houden wel een vinger aan de pols door leeruitkomsten te combineren met achtergrondvragenlijsten bij leerlingen, leraren en ouders. Aan onderwijsexperten en beleid om dat uit te dokteren en de juiste kuur met duurzaam effect uit te schrijven. In het besef: een snelwerkende wonderpil bestaat niet, want daarvoor is onderwijs te complex. Gelukkig zetten we vandaag hard in op leesvaardigheid, met het Leesoffensief en actieplannen rond leesbegrip en -motivatie.”

De resultaten hebben grote consequenties voor het beleid, maar niet voor de deelnemende scholen?

Koen Aesaert: “Scholen worden uitgeloot en nemen vrijwillig deel. Ze moeten hun resultaten niet verantwoorden. Voor het beleid hangt er inderdaad meer aan vast. Logisch ook: het investeert honderdduizenden euro’s in zo’n onderzoek. Dan kan je je ogen niet sluiten voor de uitkomsten. En ook al doen de ranglijsten zeker geen claims over je hele onderwijskwaliteit, toch is niemand graag de slechtste leerling van de klas.”

“Wat voor ons vreemd voelt: in sommige landen halen de resultaten nauwelijks de media. Daar ervaart het beleid wellicht minder druk om met de cijfers aan de slag te gaan. Vlaanderen doet er wel iets mee. Andere landen gaan soms nog verder.”

“Duitsland gooide zijn onderwijs overhoop na een PISA-schok in 2000. Dat doorprikte het beeld van een performant onderwijssysteem. Een nieuw curriculum, extra centen voor onderwijs en andere interventies keerden daar de zwakke resultaten wel. Al ging het land bij de laatste meting opnieuw op alle domeinen achteruit. Ze wijzen daarvoor o.a. naar het nijpende lerarentekort.”

Leesvaardigheid moet beter, vinden leraren. Dus voelt een internationale toets niet als een last
Koen Aesaert

Welke feedback krijgen de scholen die deelnemen?

Koen Aesaert: “De onderzoekers sturen altijd een rapport. Vlaanderen is een van de weinige onderwijssystemen die dat systematisch doet. Zo stimuleren we evidence informed werken en danken we directeurs voor hun deelname. In de feedback op PIRLS staat het aantal leerlingen van de school dat een bepaalde lat haalt: zoveel procent beheerst het minimumniveau voor lezen.”

“Vaak voegen onderzoekers daar ook een gecorrigeerde vergelijking met andere Vlaamse scholen aan toe. Heeft je school hoger of lager gescoord dan je mag verwachten met jouw leerlingenpopulatie? We corrigeren dan bijvoorbeeld op SES-kenmerken.”

“Heel fijnmazig is de schoolfeedback niet. Het blijft een korte, eenmalige toets. Die kan wel een alarmbel zijn: de resultaten zijn ontgoochelend, dus moeten we ingrijpen. Of een bevestiging van het harde werk en prima keuzes op school. Zo krijg je een extra sleutel om aan je schoolbeleid te werken. We vragen uitdrukkelijk om je rapportcijfer niet in te zetten als verkooppraatje of reclame. Liever geen bericht op de schoolwebsite dat pronkt met sterke scores op PIRLS. Gelukkig gebeurt dat nauwelijks.”

Hoe moeilijk is het om scholen te overtuigen tot deelname?

Koen Aesaert: “Dat schommelt sterk. Voor PIRLS 2021 haalden we zelfs tijdens corona een hoge responsgraad. Een pluim voor de scholen en mijn onderzoeksteam. Leesvaardigheid is in veel scholen top of mind na een reeks matige resultaten in vorige peilingen. Dat moet beter, vinden leraren. Daarom voelt de test niet als een last, maar werken scholen zich uit de naad om alles goed te organiseren.”

“Soms werkt het ook omgekeerd. Door deel te nemen aan bv. ICILS stimuleert een directeur het team om aandacht te vestigen op digitale vaardigheden en computationeel denken. Een vertrekpunt voor een secundaire school om er samen beleid rond te maken.”

“De voorbije weken stuurden we uitnodigingen voor ICILS. We deden niet mee aan de eerste 2 edities in 2013 en 2018. Maar door het afstandsonderwijs, het actieplan Digisprong en de nieuwe eindtermen lijkt de tijd rijp. Zitten scholen daarop te wachten? Hechten ze voldoende belang aan digitale skills? Of staan er te veel andere thema’s hoger op de agenda? Dat weten we binnenkort als de antwoorden binnensijpelen.”

“Dat evidence informed werken luider weerklank vindt in onderwijs, speelt zeker in onze kaart. Scholen stellen zich steeds meer open voor data. Ze richten datateams op en analyseren de rapporten met schoolfeedback. Ze willen weten waar ze staan en uitzoeken hoe ze kunnen bijsturen.”

Vraagt het veel organisatie om deel te nemen als school?

Koen Aesaert: “Meestal duidt de directeur een coördinator aan. Die bereidt de toets voor door o.a. vragenlijsten te verspreiden en begeleidt mee de toetsafname. Leerlingen werken daar gemiddeld 2 tot 4 uur aan. Scholen wimpelen een aanvraag bijna nooit af om organisatorische redenen.”

“Timing is soms wel een struikelblok. Dan zitten leerlingen net op stage of neemt de school al deel aan een ander internationaal onderzoek. Zeker in het secundair gebeurt dat wel eens. De vijver is niet groot, er zijn ongeveer 1000 scholen en voor elk onderzoek hebben we er al snel 150 nodig.”

Er loopt veel meer onderzoek dan de bekende namen PISA en PIRLS?

Koen Aesaert: “Eigenlijk loopt er in ons onderwijs voortdurend internationaal vergelijkend onderzoek naar leeruitkomsten. ICCS meet de kennis, attitudes en vaardigheden van leerlingen rond burgerschap, TIMSS checkt het niveau van wiskunde en wetenschappen in basisonderwijs. Nieuwkomer ICILS mikt op digitale en computationele vaardigheden in het secundair onderwijs.”

“Daarnaast participeert Vlaanderen aan kwalitatieve onderzoeksprojecten en reviews waarbij een facet van onderwijssystemen doorgelicht en vergeleken worden. Recent rond de financiering van leerplichtonderwijs en het professionaliseringsbeleid.”

“Internationale organisaties gaan nooit over 1 nacht ijs. De kwaliteit en validiteit van de toetsen moeten top zijn. Elk onderzoek start met een voorstudie. In 25 tot 30 scholen meten we de kwaliteit van de toets. Die data keren terug voor noodzakelijke aanpassingen, o.a. om te vermijden dat landen een voordeel hebben bij bepaalde vragen. 1 jaar later volgt dan de echte toetsafname. Daarna rapporteren onderzoekers hun bevindingen in vrij te raadplegen basisrapporten en ligt de weg open voor secundaire studies waarin resultaten gekruist worden.”

Als een land verschillende edities na elkaar in de top zit, verdient het onze aandacht
Koen Aesaert

Waar zit de achilleshiel van internationale vergelijkende studies?

Koen Aesaert: “Mensen houden van grote conclusies. Media spelen daarop gretig in: ‘Vlaams onderwijs zit in de grijze middenmoot. Of ‘Vlaanderen daalt het sterkst’. De roep om snelle oplossingen is dan groot. Maar 1 onderzoek met focus taal, wiskunde of ICT vangt nooit de totale kwaliteit van ons onderwijs.”

“Bovendien zit er in de onderzoeksrapporten zoveel meer dan de breed opgepikte cijfers: hoe gemotiveerd zijn leerlingen en welke onderwijspraktijken zetten leraren in? En vooral: PIRLS en PISA zijn zeer rijke bronnen voor onderwijsongelijkheid. Ze verzamelen parameters zoals opleidingsniveau en beroep van de ouders. Maar ze lichten ook resilience of weerstand uit: hoeveel leerlingen met laagste SES slagen er toch in om hoge resultaten te halen?”

“Nog een teer punt: je kan de deelnemende leerlingen per land niet altijd perfect met elkaar vergelijken. In sommige landen doen meer leerlingen mee die een jaartje ouder zijn. In andere is het aandeel kinderen uit het buitengewoon onderwijs groter. Singapore telt bijvoorbeeld ook migranten, maar die komen uit de betere milieus. Als je dat niet weet, kijk je met grote ogen naar die statistieken: hoe loodst het land leerlingen met diverse achtergrond zo succesvol door onderwijs? En ook al proberen de internationale organisaties achter de toetsen dat recht te trekken, toch moet je daarmee rekening houden als je de resultaten en rankings interpreteert.”

Ranglijsten katapulteren de toppers naar de status van ‘gidsland’. Maar is dat altijd terecht én kunnen we er veel van leren?

Koen Aesaert: “We moeten niet met z’n allen onvoorbereid een vliegtuigticket erheen boeken. Dat overkwam Finland. De hele wereld keek binnen en nam – soms een beetje lukraak – ideeën mee naar huis. Mijn advies: als een land verschillende edities na elkaar in de top zit of duidelijk stijgt, verdient het onze aandacht. De doorgedreven digitalisering in Estland, geeft die het onderwijs de wind in de zeilen? Interessant om uit te zoeken. Je kan immers altijd iets leren, maar je moet landen en onderwijssystemen goed kennen om hun interventies correct te interpreteren en te vertalen naar je eigen context. En nét dat is nooit simpel.”

“Finland werkte zich in 40 jaar naar top via een grote onderwijshervorming gestut op pijlers als een hoogopgeleid en kritisch korps, opwaardering van de job, een evenwicht tussen centraal en decentraal beleid, vroege en intensieve leerlingenondersteuning en kleinere klassen. Dat subtiele samenspel lanceerde het land op de PISA-lijsten. Je kan niet zomaar 1 element kopiëren en hopen op een aardverschuiving.”

“Sommige Aziatische landen werken erg top-down. Scholen krijgen minder vrijheid en de hele samenleving gaat prat op meetbare prestaties. Een recept om beter te scoren op PISA? Misschien wel. Maar die smalle weg willen we in Vlaanderen niet inslaan. Bij ons liever geen vernauwd curriculum of teaching to the test. De OESO wil dat ook niet. Ze voegt in 2022 het optionele domein creatief denken aan de toets toe. Een pleidooi voor een brede blik op onderwijs of een keuze om te wegen op curricula? Feit is: onderwijs staat niet stil, internationaal vergelijkend onderzoek ook niet.”

Bart De Wilde