Gespreksleidraad inrichting high stake bij Programmatisch Toetsen
Groepje 3: taken en rollen
Judith Revet, Jantina Huizenga, Maartje de Groot
Waarom een gespreksleidraad?
Overzicht gespreksonderwerpen
High stake beslissing inrichten
Samenstelling besliscommissie
Beoordelingsstandaard
Herkansing: remediëring
Portfolio (toetsinstrument)
Beslisprocedure: werkproces
High stake beslissing inrichten
Overwegingen: geven de datapunten in het portfolio voldoende informatie om een gefundeerd oordeel te geven? Sommige opleidingen vinden het prettig om de student toch nog even het woord te geven. Als dit het verschil gaat maken, zijn de datapunten dan wel goed ingericht? Of komen sommige studenten misschien beter uit de verf als je ook door kunt vragen?
High stake beslissing inrichten
Overwegingen: in principe is er al een beoordeling gegeven door één of meerdere (praktijk)experts. De besliscommissie neemt besluit op basis van de gegeven feedback maar zouden er redenen zijn om toch het onderliggende product/performance te bekijken? Bijvoorbeeld als de feedback niet toereikend is.
High stake beslissing inrichten
Overwegingen: Je kunt als opleiding vaste beslismomenten hanteren. Dat is qua planning duidelijk voor studenten en voor de onderwijslogistiek eenvoudiger. Je kunt ook flexibel zijn zodat studenten zelf kunnen bepalen wanneer zij voldoende bewijs hebben om leeruitkomsten aan te tonen.
Samenstelling besliscommissie
Overwegingen: Je neemt een beslissing waar veel gewicht aan wordt toegekend (een groot aantal studiepunten). Daarvoor heb je idealiter meerdere deskundige, onafhankelijke assessoren nodig die samen een (vaste) besliscommissie vormen.
Uit praktische overwegingen wordt soms gekozen voor twee assessoren. Je kunt ook overwegen de beoordelaarsexpertise alleen te vergroten in specifieke situaties.
Samenstelling besliscommissie
Overwegingen: een mentor/coach kan veel vertellen over het functioneren van de student. Hoewel deze persoon de student het beste kent, zijn er argumenten om de coach geen rol te geven in de finale beoordeling omdat hier kritische distantie voor nodig is en de betrekking met de student in het begeleidingsproces verandert.�Je kunt ook overwegen de coach alleen een advies te laten geven, of een andere coach die ook goed zicht heeft op de student te laten beoordelen of advies te laten geven. Een andere overweging is om alleen als er meer informatie nodig is over de student de coach te raadplegen.
Samenstelling besliscommissie
Overwegingen: bij veel opleidingen wordt er samengewerkt met bedrijven voor opdrachten. Laat je iemand van buiten mee beslissen? Die kent de verwachtingen in het werkveld goed, aan de andere kant verwacht je die kennis binnen de opleiding ook en kent men binnen de opleiding weer beter de eisen. Een extern lid draagt bij aan een veelzijdig perspectief op de student. In de regelgeving zijn vaak nog wel obstakels (externe die geen examinator mag zijn).
Beoordelingsstandaard
Overwegingen: wanneer je beoordelingsaspecten direct afleidt van de ruggengraat (competenties, bekwaamheden, kernkwaliteiten, rollen enz.) focus je met de beoordeling op het ontwikkelen van gedrag in het licht van langere ontwikkelingslijnen.
Beoordelingsstandaard
Overwegingen: wanneer je verschillende fasen/niveaus in je curriculum onderscheidt, wordt vaak per fase een beoordelingsmodel voor een high stake beslissing gemaakt. Bijvoorbeeld in een bacheloropleiding.
Of volstaat één standaardmodel waarbij leeruitkomsten/ beroepstaken bepalend zijn voor het prestatieniveau. Dan gaat het bijvoorbeeld om de complexiteit van de taak, de mate van zelfstandige uitvoering en verantwoordelijkheid, kenmerken van de context (tijdsdruk, concurrerende taken en andere factoren in de context). En ook de diepgang van de (theoretische) verantwoording
Beoordelingsstandaard
Overwegingen: wanneer je als opleiding de standaard bepaalt, stel je zelf de prestatiecriteria vast. Is het vertrekpunt van de studenten ongeveer hetzelfde, dan ga je meestal uit van een absolute standaard. Bij sommige leertrajecten, bijvoorbeeld bij een hogeschoolbrede minor kunnen van studenten, op basis van hun beginsituatie, andere prestaties verwacht worden en kunnen verschillende standaarden gehanteerd worden.
In het kader van eigenaarschap en zelfsturing kan je ook samen met de student een individuele standaard bepalen en hierbij passende prestatiecriteria formuleren.
Beoordelingsschaal
Welke beoordelingsschaal wil en kan je hanteren?
Overwegingen: cijfers zijn soms voor vervolgopleidingen vereist en studenten (en docenten! en de hele maatschappij!) zijn gewend aan cijfers. Bij programmatisch toetsen lijkt een kwalitatieve beoordeling beter te passen. Check de mogelijkheden in de OER, ook wat de gevolgen zijn voor predicaatberekening.
�Beslisprocedure: kalibratie
Hoe vindt normvinding plaats?
Overwegingen: de ‘kritische score’ kan vooraf enigszins worden bepaald maar krijgt pas inhoud en betekenis wanneer beoordelaars op basis van casuïstiek hierover met elkaar in gesprek gaan. Kalibratiesessies zijn voorwaardelijk voor een gezamenlijke interpretatie van de beoordelingsstandaard, hoe criteria en beslisregels te hanteren voor een eenduidige aanpak bij beoordeling. Kalibreren en beoordelen kunnen gelijktijdig plaatsvinden.
Herkansing: remediëring
Idealiter slaagt 100% van de studenten bij het high stake moment. Immers, studenten weten door coaching en veel feedback hoe zij er voor staan en gaan pas ‘op’ voor de high stake beslissing als zij er klaar voor zijn. Echter, het nog steeds voorkomen dat de beslsicommissie vindt dat de student de leeruitkomsten niet heeft behaald. Hoe ziet dan een remediëringstraject voor de student eruit?
Overwegingen: Welk nieuw of aanvullend bewijs is nodig? Kan de student ook iets aantonen in een andere context? Hoeveel tijd heeft een student hiervoor nodig? Welke ondersteuning heeft hij hierbij nodig? Kan de student het hele onderwijsprogramma (of een deel daarvan opnieuw volgen?
Herkansing: remediëring
Overwegingen: studenten laten tussentijds zien in hoeverre zij de leeruitkomsten beheersen (voortgangsmomenten/medium stake momenten). Wanneer een student tussentijds de feedback krijgt dat hij de leeruitkomst nog niet genoeg beheerst, spreekt hij (volgens het concept van PT) met de mentor/coach af welke activiteiten hij gaat ondernemen om zich de kennis en vaardigheden eigen te maken waardoor hij de leeruitkomst kan aantonen. Studenten zijn dit echter vaak niet gewend (vanuit hun oude ‘toetscultuur’) en vragen om een ‘herkansing’. Hoe gaan jullie daarmee om?
Portfolio (toetsinstrument)
Bij programmatisch toetsen wordt de high stake beslissing veelal genomen op basis van een portfolio/beslisdossier. Belangrijk is om te zorgen voor een goede inrichting/kapstok van het portfolio waarbij
Portfolio (toetsinstrument)
Portfolio (toetsinstrument)
Overwegingen: Afhankelijk van de visie op leren én de gekozen applicatie t.b.v. een digitaal portfolio is de student wel of niet de eigenaar van het portfolio. Dit heeft o.a. consequenties voor het beslismoment: levert de student het portfolio in of verleent de student toegang tot het portfolio. �M.a.w. hoe krijgt de besliscommissie toegang tot het (digitale) portfolio?
Beslisprocedure: werkproces 1/2
Hoe ziet het werkproces (stappen + tijdpad) eruit?
Aanleveren van portfolio
Tot een oordeel komen
Beslisprocedure: werkproces 2/2
Oordeel onderbouwen/vaststellen
Bij onvoldoende resultaat? Zie dia Herkansing high stake moment