1 of 12

EdTech testbeds

Hoe worden innovatieve EdTech-oplossingen getest en geëvalueerd?

2 of 12

Waarom testbeds?

Beperkte middelen

Gebrek aan tijd, geld en digitale vaardigheden.

Adaptie nieuwe technologie

Wordt als een uitdaging ervaren (structureel) gebruik te maken van oplossing.

Hoge faalkans

Nieuwe technologieën stranden nogal eens in de organisatie.

Hoge toetredingsregels

Complexe wet- en regelgeving en risicoaversie.

Meerwaarde van technologie

Verscheidenheid aan bewijs nodig voordat het gebruikt mag worden.

Genereren bewijsmateriaal

EdTech levert niet (goed) genoeg bewijs van wat werkt in praktijk.

3 of 12

Typen testbeds

01

Co-design: EdTech-leveranciers, onderzoekers, docenten en studenten werken samen om onderwijsbehoeften en mogelijkheden te identificeren en samen een combinatie van technologie en pedagogie te ontwikkelen.

02

Test & learn: EdTech-leveranciers werken samen met onderwijsinstellingen om (zo snel mogelijk) hun producten te testen in een onderwijssetting, om op basis daarvan verbeteringen door te voeren.

03

Evidence hub: een ruimte voor onderwijsinstellingen en medewerkers van onderwijsinstellingen om samen te werken met EdTech-leveranciers en onderzoekers om bewijs te genereren over de impact van de innovatie en evidence-based advies te geven om de adoptie en schaalvergroting van de betreffende technologie/applicatie te begeleiden.

04

EdTech-netwerk: een netwerk van onderwijsinstellingen, onderzoekers en leveranciers die hun ervaringen en inzichten delen. Naast netwerken kan dit ook opleiding en professionele ontwikkeling omvatten.

“een omgeving om te testen en experimenteren met EdTech in de echte wereld”.

4 of 12

Swedish EdTest (Zweden)

EDUlabs (Estland)

European Schoolnet (EU)

EDUCATE 2.0 (VK)

Testbed Helsinki (Finland)

Initiatieven onderzocht

Test & Learn

EdTech Network

Test & Learn

Evidence Hub

Co-design

Test & Learn

Evidence Hub

Evidence Hub

EdTech Network

Co-design

Test & Learn

5 of 12

EdTest - Zweden

Test and Learn & Network

    • Het initiatief is een nationale community en platform waarmee ze een netwerkfunctie hebben. EdTech-leveranciers kunnen zich aanmelden, instellingen bieden zich aan als gegadigde.
    • Innovatieve oplossingen worden op een gestandaardiseerde manier getest en van feedback voorzien. Bij volledig doorlopen van traject krijgen partijen een certificaat.

Wat doet de organisatie?

    • De organisatie pakt alle facilitatie op, zoals standaardcontracten et cetera en levert ook testgidsen en bijbehorende methodiek. Elke testgids is toegespitst op een bepaald thema, zoals vaardigheden of vakinhoudelijk.
    • Er wordt gedurende zes weken getest met de nieuwe technologie tijdens daadwerkelijke lessen.

Resultaten

    • Docenten verbeteren hun vaardigheden sterk. Verzamelen van challenges was lastig. Ze willen zich ook meer op evidence-based richten.

6 of 12

EDUlabs - Estland

Test and Learn & Evidence Hub

    • Met dit testbed zet men in op het verbeteren of verfijnen van een product of dienst. Dit wordt gedaan in een (gecontroleerde) omgeving. Doel is om schaalbaarheid te verwezenlijken.
    • Ze zetten in op evidence-based uitrollen van innovatieve technologie. Dit is een integraal onderdeel van hun testproces en onderzoekers zijn hierbij betrokken.

Wat doet de organisatie?

    • De innovatieve technologie wordt in diverse stappen onderzocht, gebaseerd op een ‘living lab-methode’. Dit start met een onderzoek in een gecontroleerde setting voordat deze daarna wordt opgeschaald om te testen met een bredere doelgroep.
    • Het trainingsprogramma van docenten zelf duurt 6-12 maanden die bestaat uit het toepassen en verwerken van de technologie in o.a. lesplannen, leermaterialen en tests, in een gecontroleerde omgeving. Daarna pas in echte lesomgeving.

Resultaten

    • Zijn veel tastbare technologieën getest (robots etc.). Door succes willen ze zich nu ook richten op het maken van een algemeen model voor docenttraining, educatief onderzoek en innovatie binnen Estland.

7 of 12

European Schoolnet - EU

Test and Learn, Co-Design & Evidence Hub

    • Binnen het ‘Future Classroom Lab’ is één van de onderdelen het testen en evalueren. Dit wordt gedaan middels klassikale pilots in een virtuele of echte omgeving.
    • Er wordt vanuit de behoefte van o.a. docenten te ontwikkelen d.m.v. scenario-schetsing. Op basis daarvan wordt gericht op ontwikkelen, testen en verfijnen van innovatie.
    • Bewijsvoering is een belangrijk onderdeel van dit testbed, waarvoor ook handleidingen zijn gemaakt. Bijvoorbeeld gericht op het type evaluatie, zoals: peer-review, surveys etc.

Wat doet de organisatie?

    • Is een non-profit organisatie, bestaande uit een netwerk van 34 nationale onderwijsministeries in Europa.
    • Dit testbed bestaat uit een fysieke ontmoetingsplaats in de vorm van een lab waarin een validatiedienst gefaciliteerd wordt. Verder wordt er ook allerlei materiaal aangeboden om gestructureerd test- en evaluatietrajecten te ontwikkelen.

Resultaten

    • Het format van een ‘learning lab’ is inmiddels in vele landen actief. Stimuleert docenten gebruik te maken van innovaties, gevarieerd lesprogramma, studenten zijn actiever en motivatie verhogend.

8 of 12

EDUCATE 2.0 - Engeland

EdTech Network & Evidence Hub

    • Ze hebben een wereldwijde community, organiseren awards en willen hun huidige netwerk ook vergroten door te richten op het bredere onderwijsveld zoals ouders, investeerders etc.
    • EDUCATE zet zich vooral in voor het (door)ontwikkelen van evidence-informed technologie middels het versterken van de EdTech sector door workshops, programma’s, betrekken van onderzoekers en kennisdeling.

Wat doet de organisatie?

    • Het doel van EDUCATE is om de effectiviteit van EdTech te bevorderen door de onderzoeksresultaten, praktische toepassingen en bevindingen toegankelijk te maken voor alle partijen.
    • Academische onderzoekers dragen kennis bij over onderwijstechnologie en verbindt bedrijven met de sector. EdTech-ontwerpers volgen een trainingsprogramma. Docenten en studenten betrokken bij auditing.

Resultaten

    • Onderzoek is niet alleen gericht op ‘wat er werkt’, maar ook op het hoe, wanneer en waarom. Hiermee verlagen ze het risico op eventuele oplossingen die het zogenaamde ‘probleem’ niet daadwerkelijk wegnemen.
    • Door positieve resultaten wil men EDUCATE wereldwijd aanbieden. EdTest Sweden heeft bijvoorbeeld aan een samenwerking aangekondigd.

9 of 12

Testbed Helsinki - Finland

Test and Learn, Co-Design

    • Er is een werkmodel ontwikkeld om testactiviteiten te vereenvoudigen. Bedrijven kunnen een testvoorstel indienen waarna, bij goedkeuring, Testbed Helsinki de partijen bijeen brengt.
    • Vanuit dit testbed zet men zich sterk in voor het co-creëren middels fysieke en virtuele ruimtes waar stakeholders kunnen samenkomen, ook gericht op het ontwikkelen van nieuwe oplossingen.

Wat doet de organisatie?

    • Dit Finse testbed is door de lokale (stads)overheid opgezet en heeft naast EdTech nog meer thema’s waar ze zich op richten. Het zijn zowel virtuele als fysieke plekken. Het netwerk omvat zowel bedrijven, ambtenaren, eindgebruikers, universiteiten en onderzoeks-instituten.
    • Richten zich op organiseren van innovatie-challenges en het snelle uitvoeren van tests. Verder hebben ze een (werk)model die testactiviteiten vereenvoudigd.
    • Bedrijven dienen een duidelijke doelomschrijving voor testen in en maken meerwaarde van deze tests duidelijk. Vanuit de organisatie wordt dan vervolgens gematcht en bijvoorbeeld locaties en voorzieningen georganiseerd. Gemiddeld duurt dit 3-6 maanden.

Resultaten

    • Docenten verbeteren hun vaardigheden sterk. Verzamelen van challenges was lastig. Ze willen zich ook meer op evidence-based richten.

10 of 12

Co-design

Bij alle geanalyseerde testbeds wordt het samenbrengen van deze behoeften als fundament genoemd voor potentieel succes van EdTech.

Fase: initieer-, start- of onderzoeksfase

Toepassen bij: het bedenken of ontwikkelen van nieuwe oplossingen of functionaliteiten

Voorbeeld: Testbed Helsinki

Test and Learn

Het test and learn type richt zich enerzijds op het snel (en kort) kunnen testen van een product of dienst om op basis daarvan optimalisaties door te voeren, anderzijds om input op te halen bij (potentiële) gebruikers rondom het gebruik van deze technologie.

Fase: optimalisatie van product of dienst, proefperiode product

Toepassen bij: het ophalen van feedback bij potentiële gebruikers of testen van een bestaande oplossing in een onderwijssetting

Voorbeeld: Swedish EDtest

Evidence Hub

Gericht op het onderzoeken naar de meerwaarde van technologie. Dit heeft veelal een academische insteek waarbij het onderzoek wordt verricht in een gecontroleerde setting. Hier is de rol van (potentiële) eindgebruikers minder prominent omdat zij zich voornamelijk bezighouden met de toepassing van effectieve technologie.

Fase: (door)ontwikkeling van product of dienst, ter verantwoording van (publieke) gelden

Toepassen bij: het verzamelen van bewijslast rondom effectiviteit, verantwoorden van beleid binnen onderwijs(instellingen), sales- en marketingdoeleinden

Voorbeeld: Testbed Helsinki

EdTech Netwerk

Het netwerk kan worden gezien als en digitaal of fysiek platform waar partijen samengebracht worden. De meerwaarde van dergelijke platforms zit hem voornamelijk in het centraliseren van informatie, potentiële eindgebruikers en leveranciers om zodoende de vindbaarheid te verhogen.

Fase: initiëren van samenwerking, marktverkenning, informatieverzameling

Toepassen bij: bundelen van informatie en stakeholders, het werven van samenwerkingspartners, vinden van (geschikte) oplossingen

Voorbeeld: EdTech Impact

Waarvoor dienen de modellen?

11 of 12

Conclusies

Beheerde database

Met geanonimiseerde informatie kan helpen om een dergelijk traject laagdrempelig en efficiënt te doen.

Centrale plek

Beleggen van testbeds kan zowel op nationaal- als instellingsniveau, bijvoorbeeld binnen TLC’s.

Vanuit de behoefte

Bewezen meerwaarde van gebruik technologie met elkaar delen. Hiervoor een netwerk opzetten.

Kennisdelen

Dit is het fundament, werken vanuit de behoefte. Dit moet bij alle innovatie-ontwikkeling de basis zijn.

12 of 12

Vragen?