Opvolging met blijvende focus op kwaliteit Wft-examens

Anton Béguin is sinds begin van het jaar benoemd als collegelid. Hij vervangt Cor Sluijter, omdat zijn termijn na 10 jaar verstreken was. Met elkaar bespreken ze de kwaliteit van de Wft-examens.

Cor is zijn hele werkzame leven actief geweest in de wereld van toetsen en examens. Hij heeft 36 jaar bij Cito gewerkt; eerst vooral in onderzoeksfuncties, later in managementfuncties. Cor heeft zich altijd gestort op nieuwe dingen die een uitdaging betekenen. De uitdaging bij zijn toetreding tot het College in 2015 lag in het daadwerkelijk verbeteren van de kwaliteit van financieel adviseurs door middel van examinering.

Als Collegelid was Cor verantwoordelijk voor de kwaliteit van de Wft-examens. Kwaliteit van een examen betekent onder meer dat het examen meet wat een adviseur moet weten en kunnen en betekent ook dat de uitslag zo nauwkeurig is dat er zo min mogelijk geschikte kandidaten zakken en zo min mogelijk ongeschikte kandidaten slagen.
Binnen het CDFD is Anton als opvolger van Cor, nu de voorzitter van de Commissie Examenontwikkeling en Kwaliteitsborging (CEK). De CEK monitort met behulp van de commissieleden, waaronder een aantal examenspecialisten, de kwaliteit van de examens. Het stafbureau verzamelt daarvoor gegevens en kan zo statistische checks uitoefenen, die door de CEK-leden worden bevraagd en beoordeeld. Dit zijn gegevens per examenvraag, maar ook voor ieder examen als geheel.

Anton is mathematisch psycholoog en heeft zich net als Cor zijn hele carrière beziggehouden met toetsen en examens. Hij heeft 20 jaar bij Cito gewerkt, waar hij onder meer directeur centrale toetsen en wetenschappelijk directeur was. Sinds vier jaar werkt hij als directeur onderwijsinnovatie bij International Baccalaureate. Volgens Anton spelen toetsen een belangrijke rol bij het vaststellen of iemand vaardigheden voldoende beheerst en hij vindt het belangrijk dat het toetsen ook goed gebeurt. In zijn rol bij het College wil hij daar zijn expertise voor gebruiken. Anton heeft daarbij de ambitie om nieuwe technologische ontwikkelingen bij de Wft-examens toe te passen, als die de kwaliteit van het examen verbeteren en het proces vereenvoudigen. Speciale aandacht heeft het om de inhoud van de toetsen nog meer aan te laten sluiten bij de adviespraktijk. Cor heeft in zijn zittingsperiode aan deze aspecten ook aandacht gegeven en verbeteringen doorgevoerd die binnen de stand van de techniek haalbaar waren.

Kwaliteit Wft-examens

Anton geeft aan dat er verschillen zijn tussen de examens zoals deze bijvoorbeeld in het voortgezet onderwijs worden afgenomen en de Wft-examens. De vragen van de eerste examens worden slechts eenmaal gebruikt, nadat ze eventueel eerst zijn uitgeprobeerd bij een kleine groep leerlingen in een proeftoets. Bij toetsen zoals de Wft-examens zijn er veel meer vragen per examen beschikbaar, die daardoor kunnen worden hergebruikt. ‘Daarmee heb je bij de Wft-examens mogelijkheden tot kwaliteitszorg die je niet hebt bij centrale examens in het voortgezet onderwijs’, aldus Anton.

Cor vult aan dat deze kwaliteitszorg onder andere bestaat uit het volgen van de psychometrische gegevens van de examenvragen, waardoor de examenuitslagen zo betrouwbaar mogelijk zijn.

‘Een belangrijk onderwerp vanuit het oogpunt van toetstechniek is ook dat de opgave zo realistisch mogelijk is, dat het herkenbaar is voor de kandidaat’, geeft Anton aan. ‘Daartoe’, aldus Cor, ‘werkt het stafbureau van het CDFD voor ieder examen met een groep opgavenontwikkelaars met veel kennis en ervaring van de adviespraktijk in het betreffende vakgebied. Zij ontwikkelen de vragen en de casussen waar ieder examen uit bestaat op basis van strikte richtlijnen. Die zorgen er bijvoorbeeld voor dat de inhoud van ieder examen vergelijkbaar is en ook representatief voor wat er minimaal gevraagd wordt in de adviespraktijk. De vragen worden dan door andere experts tot in detail gecheckt. Door deze manier van werken komt het zeer weinig voor dat een opgave of casus in de praktijk niet blijkt te voldoen. Laten analyses van de data zien dat er toch iets mis is met een opgave of casus, dan wordt deze direct uit de opgavenbank verwijderd en eventueel herzien’.

In de periode dat Cor Collegelid was is, er door een onafhankelijke instelling, het RCEC (Research Center voor Examinering en Certificering), onderzoek gedaan naar de kwaliteit van de Wft-examens. Cor is er trots op dat met dit onderzoek werd bevestigd dat de toegepaste systematiek bij de Wft-examens aan alle kwaliteitseisen voldeed.

‘Eigenlijk’, aldus Cor, ‘is er de afgelopen tien jaar volgens de Plan, Do, Check, Act-methode gewerkt als het gaat over de kwaliteitscyclus van de examens. Continu is gekeken naar eventuele verbeterpunten en de manier waarop die gerealiseerd konden worden zonder dat dit tot extra kosten zou leiden’. Cor draagt de zorg voor de kwaliteit van de examens dan ook met een gerust hart over aan Anton.

Technologische ontwikkelingen

In de periode dat Cor Collegelid was, is er ook gekeken naar de technologische ontwikkelingen die konden bijdragen aan de verbeteringen van de afnames van de examens. Zoals bijvoorbeeld remote proctoring, ingegeven door de periode waarin vanwege Covid exameninstellingen tijdelijk gesloten waren. Met remote proctoring konden de examens dan buiten een examenlocatie worden gedaan, waarmee ook reistijd kan worden bespaard als de kandidaat het examen thuis kan maken. Helaas bleken de ontwikkelingen nog niet zover dat vraagstukken zoals privacy, gebruiksvriendelijkheid, kosten en de beveiliging van de examenbank volledig konden worden afgedekt. Dat was de reden om deze optie nog niet aan te bieden.

Toekomst

Er ligt volgens Anton een uitdaging om de Wft-examens nóg realistischer te maken, mogelijk door toepassing van bijvoorbeeld AI. Anton: ‘Tegelijkertijd zit daar ook een spanningsveld. Bijvoorbeeld als een kandidaat zo een realistische toets maakt en daar heel veel tijd mee kwijt is. Dan denk ik niet dat ik dan vrienden gemaakt heb. Zo’n relevant en herkenbaar examen zou nog steeds met beperkte afnametijd gemaakt moeten kunnen worden en moet ook niet te duur zijn.’