andreswart.com

Informatieve website over

Kennisproductiviteit | talent ontwikkeling | haarfijne analyse | verbinden van kwaliteiten | dwarskijken | didactiek

5db8a85760f29836e38fe442e5e10c22.txt



Leren

Leren leren is waarmee ik je help ontdekken hoe dat voor jou werkt.

Voor bedrijven ontwerp ik maatwerk opleidingen gericht op verandering en innovatie.

Onderzoek

Mijn huidig onderzoek richt zich op het meten van opleidingseffecten. Daarbij maak ik gerbuik van de kennisproductiviteit taxonomie.



Paper 1: “Kennisproductiviteit beoordeel(d)(t)”

A.A. (André Swart)

Onderzoek PM15

September 2016

OVU23276

aswart@rocvantwente.nl


Inhoud

Paper 1: “Kennisproductiviteit beoordeel(d)(t)”. 0

1 Leeswijzer. 2

2 Context 2

2.1 Waarom een project?. 3

2.2 Wat is het context probleem?. 3

3 Probleemverkenning. 4

4 Onderzoeksdoel 6

5 Analyse van praktijkprobleem aan de hand van onderwijsconcepten en literatuur. 7

5.1 Initieel literatuuronderzoek. 7

5.2 Aandachtspunten voor ROC4NL vanuit het perspectief van de literatuur. 12

6 Analyse van praktijkprobleem aan de hand van data uit eigen praktijk. 12

6.1 Data verzameling. 12

6.2 Uitwerking van data / analyse. 13

6.3 Analyse van praktijkprobleem met data uit mijn onderwijspraktijk. 14

7 Verkenning van mogelijke oplossingen. 15

7.1 Ontwerp randvoorwaarden van de interventie. 16

7.2 Ontwerpregels op basis van literatuur kies ik als volgt: 16

7.3 Mechanismen, theoretisch werkzame principes. 16

7.4 Grof ontwerp voor interventie. 17

8 Onderzoeken van de interventie. 19

8.1 Onderzoeksvraag. 19

8.2 Meten van de effecten. 19

9 Planning. 20

10 Bijlagen. 20

11 Referenties en bronnen References. 21

12 Bronnen. 22

1 Leeswijzer

Kennisproductiviteit beoordeel(d)(t). De titel zegt alles wat dit onderzoeksverslag betreft. Kennisproductiviteit beoordeelt de student in de vorderingen van het leren. Kennisproductiviteit wordt beoordeeld door dit onderzoek als mogelijk geschikt meetinstrument in de beroepspraktijkvorming.

2 Context

Vier bestuurscolleges van samenwerkende ROC’s [1] hebben gezamenlijk een idee opgepakt om een herontwerp te maken van de opleiding verkoopspecialist. Dit idee resulteerde in twee bestuurlijke opdrachten ten eerste “ontwerp een innovatieve opleiding” en ten tweede “zet zo breed mogelijk educatieve technologische middelen in”. De bestuurders hebben een stuurgroep en een ontwikkelgroep in het leven geroepen. In deze stuurgroep en ontwikkelgroep hebben deelnemers zitting met verschillende (onderwijs)expertise. Er is getracht vanuit ieder ROC een evenredig aantal afgevaardigden zitting te laten nemen in de groepen. Ik ben deelnemer in de ontwikkelgroep ingedeeld in de werkgroep onderwijs met als specifieke rol “onderwijsmanager”.

Het project richt zich op de MBO vakopleiding “verkoopspecialist” als beroepsbegeleidende leerweg, BBL (crebo 25155). Voor het ROC van Twente heeft het college van Commercie en Ondernemen een belangrijk aantal studenten die deze leerroute volgen (schooljaar 2015-2016: circa 100 studenten). Het project heet ROC4NL (www.roc4.nl).

2.1 Waarom een project?

Voor de bestuurscolleges van de vier ROC’s lag de vraag voor in welke mate het beroep van verkoopspecialist verandert onder invloed van de veranderingen in de detailhandelsbranche. De overweging daarbij vanuit een macro perspectief gezien is dat er in de media veel aandacht is voor de detailhandel. In de media is veelvuldig melding gemaakt van faillissementen van winkelketens en leegstand van winkelstraten. Daartegenover staan publicaties over de detailhandel van groeicijfers van online consumentenbestedingen en succesvolle superstores op bedrijventerreinen.

Vanuit een meso perspectief is er de druk om “modern” onderwijs te bieden in het kader van de landelijke invoering van de nieuwe kwalificatiedossiers (Bussemaker, 2014). De wens om aan te sluiten bij de belevingswereld van de student van vandaag heeft zich vertaald in de opdracht van de samenwerkende ROC’ s om educatieve technologie in de klas toe te passen.

Op micro niveau, student en opleidingsperspectief, is de vraag relevant welke ingrediënten er nodig zijn om een innovatieve opleiding te maken. Volstaat het om maximaal gebruik te maken van educatieve technologie in het onderwijs of is daar meer nodig? Om dit inzichtelijk te krijgen is op 26-11-2014 een landelijke conferentie gehouden met genodigden uit de detailhandel en het onderwijs. Bovenstaande vragen zijn onderwerp van gesprek geweest voor filiaalmanagers, praktijkopleiders, docenten, IT specialisten, studenten en alumni. De belangrijkste signalen en aandachtspunten die de ontwikkelgroep uit de mini-conferentie destilleerde zijn achtereenvolgens:

  • Effectiviteit van opleiden
  • Aansluiting theorie en praktijk
  • Begeleiding van student
  • Educatieve technologie

In de ontwikkelgroep van ROC4NL zijn deze thema’s uitgediept en is het idee ontstaan om deze thema’s te combineren met de oorspronkelijke bestuurlijke opdracht om te komen tot een innovatieve onderwijsroute.

2.2 Wat is het context probleem?

Eén wederkerende klacht van zowel studenten, alumni als vertegenwoordigers uit het bedrijfsleven is de beleving dat opleidingsonderdelen niet aansluiten bij de werkelijkheid in de praktijk. Studenten verwoorden het als volgt: “wat ik op school leer daar heb ik hier op het werk niks aan!”. Docenten zien aan de uitwerkingen van praktijkopdrachten dat de voorgestelde situaties in schoolopdrachten niet in de werkpraktijk voorkomen. De praktijkopleiders merken op dat noodzakelijke branchekennis ontbreekt in het opleidingscurriculum. De ROC4NL ontwikkelgroep heeft dit probleem onderkent en geïdentificeerd als de afstand in een driehoek tussen het vastgestelde KD[2], opleidingsmaterialen van onderwijsuitgevers en de werkelijkheid in de praktijk. De oplossing die hier voor de hand ligt is om van de generieke opleiding een maatwerkopleiding te maken.

Met een maatwerkopleiding als uitgangspunt voor de individuele student is het organisatorisch al een enorme uitdaging om de individuele opleidingen te maken en uit te voeren, waarbij al die maatwerktrajecten wel moeten voldoen aan het vastgestelde KD. Vooropgesteld dat dit ontwerp en uitvoeren van een nieuwe opleiding dan nog lukt dan zit de uitdaging in het beoordelen van de studenten.

Bij een maatwerk traject past heel slecht een generiek formatieve onderzoek- en feedback systematiek zoals we die in het MBO onderwijs graag toepassen. Dit zou namelijk vereisen dat we voor iedere student afzonderlijk oefentoetsen en overhoringen zouden moeten vaststellen en uitvoeren. Naast het vele extra werk dat dit geeft is er de moeilijkheid dat er verschillen zijn in tempo en onderwerpen van studenten en dat daardoor de voortgang onoverzichtelijk wordt. De uitdaging zit dus in het vinden en toepassen van een nieuw beoordelingsinstrument of systeem. Deze beoordelingssystematiek moet betrouwbaar en valide zijn dus subjectief, een uitkomst geeft die vergelijking tussen studenten mogelijk maakt en een voorspelbaarheid geeft voor het behalen van de examens. (NB. De summatieve toetsing, het examen, blijft in het ROC4NL opleidingsmodel voor alle studenten dezelfde omdat de opleiding leidt tot erkend verkoopspecialist en alle kandidaten aan dezelfde standaard moeten voldoen.) Er is dus in het ROC4NL project een nieuwe opleidingssituatie en daarin past een nieuw beoordelingsinstrument. Een belangrijke innovatieve bijdrage aan het ROC4NL project kan zijn om een nieuw instrument te ontwikkelen die de performance van de individuele student in kaart brengt.

De koppeling van dit actieonderzoek in het kader van Professioneel Meesterschap aan het ROC4NL project is dus het experiment met een nieuwe vorm van formatief meten en beoordelen in de beroepspraktijkvorming.

3 Probleemverkenning

Voor de probleemverkenning voor dit onderzoek maak ik gebruik van de CARS logica. Dit is een methode ontwikkeld door Swales (1990) en toegelicht voor concrete toepassing voor ontwerpgericht onderzoek door Aken en Andriessen (2011) waarmee zo helder mogelijk de onderzoeksopzet wordt neergezet.

A: Centrale thema is het meten en beoordelen van prestaties en voortgang in de beroepspraktijkvorming.

Van belang is te weten wat de prestaties zijn van een student. In de eerste plaats voor de student zelf, want na een (studie)inspanning zou een beloning moeten volgen om de motivatie op peil te houden. Tevens is het voor een student van groot belang om de studieactiviteit in kwaliteit en/of kwantiteit bij te kunnen sturen naar aanleiding van een tussentijdse meeting. Tenslotte is een formatief meetmoment voor de student van belang als leermoment. Anderzijds is het voor docenten, praktijkopleiders en teamanagers van belang te weten hoe effectief het onderwijsprogramma is met de daarbij gemaakt keuzes.

In het onderwijs zijn toetsingen onder te verdelen in twee categorieën: summatieve toetsen en formatieve toetsen. De summatieve toetsing wordt gebruikt om de leerprestaties van een student te beoordelen, de formatieve toets wordt ingezet om de voortgang en het leren van een student te bevorderen.

Waarom summatief en formatief toetsen? De reden voor summatieve toetsing is om een eindoordeel te kunnen geven over de studieprestaties om vervolgens bijvoorbeeld een diploma toe te kennen. De formatieve toetsing is volgens Schilkamp (2014) toetsen om adequaat leerprogressie en misconcepties van studenten in kaart kunnen brengen en dus noodzakelijk om het beoogde doel te verwezenlijken namelijk het leren van studenten.

B: Waar bestaat nog een lacune?

In het MBO onderwijs is een belangrijk deel van de opleiding de beroepspraktijkvorming. Dit werkplekleren beslaat circa 75 % van de effectieve opleidingstijd en duurt nominaal 1,5 tot 2 jaar. Het formatief meten en beoordelen bestaat hierbij uit het inventariseren van alle prestatie-indicatoren uit het KD bij de aanvang en gedurende de BPV[3] periode.

De meting houdt daarbij helaas geen rekening met de specifiek context die het vakmanschap karakteriseert. Tevens is het een instrument waarin de praktijkopleider de prestatie-indicatoren niet altijd herkent. Tenslotte geeft de uitkomst van de meting een cijfermatig oordeel waarbij volgens docenten nogal eens een vertekent beeld ontstaat in vergelijking met prestaties van collega studenten. Er is dus een meetinstrument echter de tevredenheid hierover geeft bij de stakeholders een wisselend beeld.

C: Dit onderzoek draagt bij aan het repertoire van formatief meten en beoordelen in de BPV.

Het gekozen generieke veldprobleem van formatief toetsen wordt door middel van dit onderzoek verrijkt met een ontwerp, ontwikkeling en evaluatie van een nieuw instrument. Het doel daarbij is een instrument te bieden welke:

  • goed hanteerbaar is,
  • inzicht biedt in voortgang,
  • vergelijk tussen studenten mogelijk maakt,
  • ontwikkeling stimuleert,
  • een goede indicatie is voor toekomstig performance op school en op het werk.
  • Herkenbare en acceptabele resultaten geeft voor het onderwijs en het bedrijfsleven.

Idealiter wordt gedurende de opleiding een student getoetst op voortgang en prestaties waarbij deze toetsing een goede voorspeller is van toekomstige prestaties. Aan het einde van de opleiding wordt de student geëxamineerd en dit oordeel ligt in lijn met de verkregen resultaten uit de formatieve toetsing.

De praktijk van meten en beoordelen is dat de school eist dat er in de nul, voortgang en eindmeting groei zit. Want wanneer die groei er niet is mag de kandidaat niet op voor het praktijkexamen. Daardoor krijgen de nul en voortgangsmeting een summatief karakter, het is immers voorwaardelijk. Deze ambigue aanpak wordt herkent in de literatuur. Het onderzoek van Schildkamp (2014) trekt de voorzichtige conclusie dat voornamelijk summatief getoetst wordt in het MBO en dat formatief toetsen nog in de kinderschoenen staat. De vraag is dus of de huidige systematiek van studievoortgangsmeting en beoordeling voldoende is?

Om een brug te slaan tussen de ideale wereld en de weerbarstige praktijk neemt dit onderzoek een theoretische oplossing onder de loep waarbij zal worden onderzocht wat de bruikbaarheid is van deze principeoplossing. De meetmethode combineert enerzijds kennis, vaardigheid en gedrag met anderzijds de context, handelingen en kwaliteit van het werk.

Samengevat is de kern van dit onderzoekexperiment het meten van de opleidingsinspanning en het opleidingseffect van de beroepspraktijkvorming in een erkende niveau 3 beroepsopleiding.


4 Onderzoeksdoel

Dit onderzoek heeft als doel tot een verbetering te komen van formatief toetsen van de beroepspraktijkvorming in het MBO. Om dit te bewerkstelligen gaan we een veldexperiment uitvoeren waarbij met een nieuwe instrument de prestaties en voortgang wordt gemeten bij studenten in een MBO opleiding. De verwachting is dat door context gebonden te meten de student zich bewust wordt van de taakeisen en die het beroep stelt.

Onderzocht gaat worden of het nieuwe instrument als formatieve toetsing bijdraagt tot:

A Gebruik: aanvullend instrument voor formatief toetsen

B Effect: leren en/of een andere aanpak in het werk

C Betekenis: voorspelling van toekomstige prestaties

D Bevindingen: herkenbaarheid en relevant voor stakeholders

Het onderzoek tracht een uitspraak te doen of de nieuwe meetsystematiek een toename of afname van betrouwbaarheid en validiteit ten opzichte van de huidige meetsystematiek geeft.

Het experiment wordt toegepast bij een opleiding met het karakter van een individuele maatwerkopleiding. De meting die ingezet gaat worden heeft het karakter van een competentie meting.

5 Analyse van praktijkprobleem aan de hand van onderwijsconcepten en literatuur

5.1 Initieel literatuuronderzoek

Voor een eerste verkenning van de literatuur staan voor mij enkele vragen centraal. Welke leertheorieën lijken voor dit onderzoek relevant? Zijn er effectmetingen (of effectiviteitsmetingen) van opleiden? Aan welke voorwaarden moet een effectmeting voldoen? Voor de leertheorieën en -concepten kijk ik in dit deel van het onderzoek naar werkplekleren, transfer, corporate curriculum, evaluatie en taxonomie.

Werkplekleren (Billet, Streumer, Nelen et.al.)

Billett heeft een model ontwikkeld (2001) waarmee leerresultaten en werkresultaten los van elkaar te onderscheiden zijn waarbij het één niet automatisch leidt tot het ander. Dat wil zeggen dat werken niet automatisch leidt tot leren. Dit heeft te maken met de inspanningen van het individu en de mogelijkheden die de context biedt. Het inzicht dat het werk en het leren weliswaar met elkaar verbonden is maar dat het wel twee verschillende zaken betreft is de moeite waard om mee te nemen in een meetsystematiek voor ROC4NL. Namelijk wanneer twee studenten hetzelfde werk uitvoeren zullen ze dus niet hetzelfde leren. Het is voor een generiek niveau als startend beroepsbeoefenaar van belang om een minimum niveau te halen om bijvoorbeeld een diploma te kunne toekennen. Omdat het model van Billet enerzijds onvoldoende aangrijpingspunten biedt voor interventies en anderzijds moeilijk te operationaliseren is, laten we het model voor wat het is. Het inzicht welke Billet ons meegeeft is wel degelijk van groot belang omdat we individuele verschillen in het performance van werken en leren in kaart proberen te brengen.

Werkplekleren heeft volgens de definitie van Streumer (2010) een vijftal kenmerken. Deze benadrukken allen een ander aspect van werkplekleren. Van belang is de context waarbinnen het leren plaatsvind, dat leren op verschillende niveaus plaatsheeft, dat de mate van zelfsturing een rol speelt , dat leren in verschillende vormen voorkomt en dat de nadruk ligt op ontwikkeling en het vermogen om te leren. Als opbrengst van werkplekleren beschrijft Streumer dat werkplekleren unieke effecten heeft (p36-37) welke in een onderwijssetting niet of nauwelijks te realiseren zijn. Deze effecten zijn te reduceren tot twee aspecten te weten knowing how en knowing that. Competenties en handelingsrepertoire als inhoud voor knowing how, en kennis die nodig is om bekwaam gedrag te kunnen etaleren is als inhoud voor knowing that. Het onderscheid tussen iets kunnen en iets ook daadwerkelijk doen speelt als rode draad in de vraagstelling bij het project ROC4NL. De GAP tussen theorie en praktijk is naar mijn eigen inzicht niet zo groot, de kunst is alleen wel om de studenten dat ook bij te brengen. Bewust omgaan met iets kunnen en iets doen zal mogelijk in de te ontwikkelen meetsystematiek iets bijdragen aan de gewenste leeropbrengst.

Volgens de review studie van Nelen, Poortman, Nieuwenhuis, & Kirschner (2010) zijn investeringen in opleidingen voor de beroepsbevolking van groot belang voor het concurrentievermogen. Investering in opleidingen leidt tot “human capital”. Het rapport maakt onderscheidt in rendement voor werknemers en de werkgever. Zoals figuur 1 laat zien is de opbrengst voor medewerkers aanzienlijk in verscheidenheid aan aspecten. Het is in het kader van het project ROC4NL interessant te meten hoe groot die effecten zijn. De aspecten uit figuur 1 zullen worden meegenomen in de te ontwikkelen meetsystematiek.

Figuur 1: opleidingsrendementen van werkplekleren

Noot: het rapport van Nelen maakt onderscheidt in werkplekleren met de termen initieel en post initieel leren. Het verschil hiertussen is dat met Initieel leren bedoeld wordt het werkplekleren met als doel het vak te leren. Met post initieel leren wordt bedoeld de nascholingen en trainingen van beroepsbeoefenaren in het kader van een leven lang leren. Dit laatste aspect wordt hier buiten beschouwing gelaten omdat dit onderzoek zich toespits op een BBL opleiding en dit in de terminologie van Nelen dus initieel leren betreft.

Omdat de ROC4NL de opdracht heeft een erkende (CREBO) opleiding te bieden is het perspectief om slechts te kijken naar resultaten in het werk te beperkt. Het is de vraag wat we willen meten? Kijken vanuit het begrip transfer geeft dit de mogelijkheid om zowel aan de kant van het opleiden als aan de kant van het werk te gaan onderzoeken wat het prestatieniveau van de student is.

Corporate curriculum (Kessels, Lakerveld, Stam)

Een leerplan voor organisaties, dat is de eenvoudige definitie van het corporate curriculum volgens Joseph Kessels (1998). Het toevoegen van kennis aan producten en diensten om daardoor meerwaarde te creëren staat centraal in deze gedachtegang. Het idee dat niet alleen het top management of een enkele expert deze kennis kan toevoegen maar juist iedereen binnen de organisatie is het leidende idee van kennisproductiviteit. Het vitale belang wordt door Kessels door de jaren heen vanuit verschillende bronnen benadrukt. Omdat het ontwikkelen van het leerplan voor een organisatie zo belangrijk is, lijkt het onverstandig om dit aan het toeval over te laten.

Wat betekenen deze woorden nu in de detailhandelspraktijk? Is er verschil in het corporate curriculum van bijvoorbeeld de Jumbo en de Aldi? Ter illustratie volgt een vergelijking in de detailhandelsbranche.

De Jumbo kent de zeven zekerheden voor klanten, één daarvan is service met een glimlach. Bij deze zekerheid horen maar liefst vier gedragsregels die medewerkers van Jumbo moeten hanteren om hieraan in de praktijk uitvoering te geven. Die medewerkers doen dat niet vanzelf, ze moeten er op gewezen worden dat deze regel bestaat. Tevens moet de medewerker instructie krijgen hoe een dergelijk service in de praktijk er uit ziet. Bij de Aldi daarentegen heersen andere mores. Een Aldi medewerker is een allround medewerker, dit blijkt bijvoorbeeld uit het feit dat je zowel kassa als winkelwerkzaamheden uitvoert. De Aldi kent geen gedragsregels voor specifieke situaties voor klantencontact. Beide voorbeelden zijn illustratief over hoe specifiek het verschil kan zijn van werkzaamheden in één en hetzelfde beroep. Moeten de Aldi medewerker en de Jumbo medewerker hetzelfde leren? Het verschil in wat de medewerkers moeten leren zit hem in het leerplan van de organisatie.

Voor ROC4NL is deze zienswijze van groot belang omdat we juist oog willen hebben voor onderdelen uit het corporate curriculum. Door de specifieke leeraspecten op te nemen in het opleidingscurriculum zal de student veel minder de ervaring hebben dat het aangeleerde niet relevant is voor de praktijk. Het opleidingscurriculum komt zo dichter bij de beroepspraktijk te staan.

Transfer (Robinson & Robinson, Simons, Snoek, Lakerveld)

Het gedachtengoed van Robinson en Robinson (1989) beschrijft dat er een belangrijk verschil is tussen trainen als activiteit en trainen met een doel. Het denken over trainen en opleiden is in hun optiek lange tijd een focus gekend waarbij de training of opleiding als doel is gezien en daarmee aan eigen voorwaarden moet voldoen. In het omdenken dat Robinson en Robinson hebben teweeggebracht gaan zij uit van trainen met focus op veranderen of resultaat. Het leren wordt hierbij consequent in de context van werken beschouwd waarmee deze optiek voor de ROC4NL opleiding een relevante insteek is. Het leren met een doel wordt door Robinson en Robinson door middel van een stappenplan omgezet in een curriculum ontwerp. Als conclusie c.q. aandachtspunt voor het curriculum ontwerp komen de auteurs tot de drie belangrijke elementen: focus op de verandering (of het resultaat) welke bereikt moet worden. Betrek het management, meet en evalueer. Voor dit onderzoek is het jammer dat er geen concreet handvat gegeven wordt welke evaluatie methode kan worden gebruikt. Voor het curriculum ontwerp in het project ROC4NL is aan deze voorwaarde van Robinson en Robinson voldaan. Tevens wordt aan de suggestie om te meten en evalueren tegemoet gekomen in het ROC4NL project.

Transfer is belangrijk, zo belangrijk zelfs, dat volgens Simons’ inaugurele rede (1990) transfer het kernproces is van het leren. Marco Snoek staat stil in zijn artikel (2013) over de opleiding Professioneel Meesterschap bij het begrip transfer waarin hij de relatie legt tussen de kennis-, en vaardigheidsopbouw bij het individu en de effecten daarvan op de werkplek. Snoek stelt dat van een effectieve transfer kan worden gesproken wanneer deelnemers van de leergang het geleerde daadwerkelijk in de praktijk brengen. Voor dit onderzoek zijn deze uitgangspunten relevant omdat in het geval van ROC4NL al een opleiding bestaat voor verkoopspecialist en de opdracht is om deze te innoveren. Vanuit de landelijke conferentie weten we dat de relatie tussen het leren en de werkplek voor de stakeholders als belangrijk uitgangspunt wordt gezien en daarmee kan het voor het ROC4NL project een doel zijn om een zo groot mogelijke transfer tot stand te brengen. De vraag blijft: hoe meet je dat dan?

Van Lakerveld (2005) spreekt van een transferprobleem en benoemt het transfergericht opleiden als gedeeltelijke oplossing van het transferprobleem. Van Lakerveld pleit voor een andere kijk op transfer problematiek namelijk die van de kennisproductiviteit. Deze kijk op transfer gaat er van uit dat leren een onderdeel is van het werk en dat werken en leren versmelten tot een integrale activiteit, waardoor het geleerde als vanzelfsprekend zal worden toegepast in de praktijk. Voor ROC4NL is dit een belangrijk gezichtspunt omdat hiermee opleidingsresultaat van werkplekleren en een individueel element krijgt. Voor een individuele beoordeling is het van belang dat er een mogelijkheid is om de resultaten in het werk toe te schrijven aan de inspanningen van een individu.

In het domein bedrijfsopleidingen bestaat een meting aan transfer van Veldhuis en Theunissen (2009). Deze onderzoekers komen tot een verrassend aspect welke grote invloed heeft op de transfer namelijk de aandacht van de leidinggevende voor de training. Dit wordt bevestigd door Stam in zijn onderzoek (2007) naar versterking van kennisproductiviteit en de participatie van (top)management (p190-191) waarin hij stelt dat een actieve bijdrage van het management een wezenlijke bijdrage aan kennisproductiviteitsprocessen geeft.

Evaluatie (Kirkpatrick, Phillips, Brinkerhoff & Gill,)

Een veelvuldig genoemd model voor het meten van trainingseffecten is het evaluatiemodel van Kirkpatrick (1967). Dit model kent vier niveaus van meten van opleidingsresultaten. De meting biedt inzicht in de tevredenheid van stakeholders, leerresultaten, effecten op de werkplek en resultaten in termen van kwaliteit van output van het werk. Het gebruik van het evaluatiemodel van Kirkpatrick is in de literatuur voornamelijk terug te vinden bij bedrijfsopleidingen en trainingen.

Figuur 2: evaluatie model voor trainingen van Kirkpatrick

Het evaluatiemodel van Phillips is gebaseerd op het denkwerk van Kirkpatrick waarbij de uitbreiding met name zit in het financieel maken van de inspanningen en opbrengsten van een opleidingsinterventie. Een schematische weergave van het model van Phillips is weergegeven in onderstaande figuur.

Figuur 3: evaluatie model van Phillips

Kritiek (Ruijters & Simons, 2012) op de modellen van Phillips en Kirkpatrick luidt voornamelijk dat de modellen wel spreken van hiërarchie maar dat er in de praktijk geen hiërarchische betekenis is van de niveaus. Met andere woorden er is geen voorwaardelijkheid van het goed vervullen van de lagere niveaus om goede resultaten te bereiken op hogere niveaus. Van Driel (Ruijters & Simons, 2012) bespreekt hierover dat de modellen meer taxonomieën zijn dan leereffect modellen. Het ontbreken van een individueel aspect in de evaluatiemodellen van Kirkpatrick en Phillips geeft dat de inzichten beperkt waarde hebben voor het ROC4NL project.

Een andere kijk het meten van opleidingsinspanning wordt gegeven door de methode van impact mapping van Brinkerhoff (Brinkerhoff, 2006; Kazbour, McGee, Mooney, Masica, & Brinkerhoff, 2013). Dit model geeft de effecten en afhankelijkheden van de leren op de werkplek gerelateerd aan de output van het werk.

Figuur 4: impact map van Brinkerhoff

De methode gaat uit van trainen in een bedrijfsopleiding waarbij de resultaten van het werk als performance indicator wordt meegenomen als trainingsresultaat. Wat bruikbaar is voor het ROC4NL project is het feit dat er een werkplekanalyse aan bod komt wat betekent dat er een individueel aspect in het evalueren van leren en werken versleuteld zit.

Taxonomie (Bloom, Schulman, Romiszowski)

De taxonomie van Bloom is ontwikkeld vanuit de noodzaak te beschikken over een zorgvuldig classificatie systeem met onderwijsdoelen. Het gebruik van een taxonomie biedt houvast bij het bepalen van onderwijsdoelen in een curriculum en bij het vaststellen te realiseren effecten (Bloom, 1971). De taxonomie van Bloom wordt gezien als een fundamenteel op onderdeel van de opleiding tot onderwijskundige (Ruijters & Simons, 2012). Voor het ROC4NL project zijn beide elementen van belang omdat enerzijds de opleiding als maatwerk wordt geherdefinieerd plus er is een wens om de prestaties van een student inzichtelijk te maken.

Een andere opvatting over een taxonomie is die van Schulman. Hij meent dat het leerproces van de lerende meer iets zegt over de behaalde resultaten dan beschrijvingen van de leerstof als inhoud en kennisbeschrijvingen (Ruijters & Simons, 2012). De taxonomie van Schulman gebruikt constructivistische termen om de performance van het individu in kaart te brengen. Voor het ROC4NL project een overweging om ook op deze manier naar opleidingsresultaten te kijken.

Een andere variant, of doorontwikkeling van de taxonomie van Bloom, is de taxonomie van Romiszowski (1981). Belangrijk van deze taxonomie is enerzijds dat het uitgangspunt voor deze taxonomie ook het curriculum ontwerp is, anderzijds maakt de taxonomie een onderscheid in kennis en vaardigheden. Onder kennis verstaat hij 'informatie opgeslagen in de hersenen'; kennis heb je of heb je niet. Onder vaardigheden verstaat hij 'acties die een persoon uitvoert om een bepaald doel te bereiken'. Vaardigheden ontwikkelen zich door ervaring en oefening. Je kunt dus in meer of mindere mate over een bepaalde vaardigheid beschikken. Omdat het ROC4NL project zich buigt over een opleiding op niveau 3 waarbij kennis en vaardigheden ook separaat worden benoemd in het KD lijkt deze benadering van opleiden en meten van opleidingseffecten van belang.

5.2 Aandachtspunten voor ROC4NL vanuit het perspectief van de literatuur

Vanuit de literatuurstudie komen volgende aandachtspunten naar voren die relevant genoeg lijken om mee te nemen in experiment:

1 Kijk op leren én werken om een compleet beeld te krijgen van de prestaties van studenten. Dit in tegenstelling tot alleen kijken naar het werk om de prestaties te beoordelen. (werkplekleren)

2 Neem bedrijfsspecifieke leerdoelstellingen op in het opleidingscurriculum om het gat tussen theorie en praktijk te overbruggen en de relevantie van de leerdoelen zo groot mogelijk te maken. (corporate curriculum)

3 Heb aandacht voor hoe het geleerde wordt toegepast in de praktijk om zo te zien of de juiste kennis wordt aangeleerd of dat de juiste vaardigheden aansluiten bij de aangeboden kennis. (transfer)

4 Maak een werkplekanalyse om zo de resultaatgerichtheid van het opleiden en leren in kaart te brengen. (evaluatie)

5 Het beschouwen van de opleiding in combinatie met het normeren van gewenste resultaten zal een handvat kunnen zijn om een directe relatie te leggen tussen een voortgangsmeting en de opleiding. (taxonomie)

6 Analyse van praktijkprobleem aan de hand van data uit eigen praktijk

6.1 Data verzameling

Het verzamelen van data ten behoeve van het empirisch onderzoek deel is een stappenplan met drie stappen. Ten eerste maak ik gebruik van de data van de landelijke conferentie van ROC4NL 28 nov 2014. Ten tweede is een bron van data de enquête resultaten van de BTG handelsdag van 31 maart 2016. Tenslotte maak ik gebruik van het interviewen van een focusgroep, najaar 2016. Deze chronologische logica van data verzamelen komt met het voortschrijdend inzicht tijdens dit onderzoek met de vraag waar nu precies het probleem zit

Om de data te interpreteren is het noodzakelijk om het juiste perspectief te kennen. De perspectieven die worden geboden van de stakeholders zijn die van studenten, praktijkopleiders, docenten en managers.

De data verkregen van de landelijke ROC4NL conferentie komt van al deze genoemde stakeholders. De data bronnen van de BTG handelsdag zijn docenten, praktijkopleiders en managers.

Data verkregen uit de interviews in de focusgroep is die van docenten en managers.

Opzet dataverzameling op de landelijke conferentie

De conferentie was opgezet met primair het doel om te inventariseren welke aspecten aan de opleiding van verkoopspecialist aan vernieuwing toe waren. In een serie van workshops zijn de stakeholders verdeeld over verschillende ruimtes en aan de hand van vragen is volgens het acht-velden-model van Kessels (Kessels, Smit, & Keursten, 1996) informatie verzameld. Op deze manier is een externe analyse uitgevoerd van de opleiding op de vier niveaus die dit model kent: doel/probleem; werksituatie; vaardigheden en leersituatie. De opbrengst hiervan heeft het ROC4NL project input gegeven en grondslagen voor het maken van keuzes.

Opzet van dataverzameling tijdens de BTG Handelsdag

De BTG handelsdag is een jaarlijks evenement georganiseerd door de bedrijfstakgroep handel. ROC4NL heeft ruimte gekregen gedurende twee workshoprondes om het opleidingsconcept toe te lichten. Van die gelegenheid is gebruik gemaakt door in combinatie met voorlichting ook data te verzamelen. Deze data collectie is gedaan met behulp van Kahoot, een educatieve App die als interactief element in de presentatie de feiten en meningen in kaart bracht over opleiden en meten en beoordelen. De opbrengst hiervan was dat ROC4NL een bevestiging kreeg van de gemaakte keuzes. Voor dit onderzoek was de meerwaarde dat preciezer de opleidingsinspanning en opleidingseffecten in kaart zouden moeten komen.

Opzet van dataverzameling door middel van diepte interview(s)

Als vervolg op de externe analyse eind 2014 en de Kahoot enquête begin 2016 was het noodzaak om de finesses op te sporen naar de mismatch in opleiden, meten en beoordelen in de huidige systematiek. De keuze voor een mondeling interview lijkt met dit doel in gedachten een logische keuze. Onderwerpen van het interview zijn bijvoorbeeld het (on)gemak van formatief toetsen, het bepalen van de studievoortgang, de betrouwbaarheid van het beoordelen en het vaststellen van geschiktheid voor deelname aan examens. Doel is om zoveel mogelijk informatie uit respondenten te ontlokken. De opbrengst hiervan is een duiding van problematieken welke allen afzonderlijk eigen principes en mechanismen kennen en waarvoor in het kader van dit onderzoek keuzes gemaakt konden worden voor het vaststellen van het onderzoeksdoel.

6.2 Uitwerking van data / analyse

De data analyse ie gedaan met behulp van het coderen van trefwoorden en deze te scoren naar frequentie. Na deze frequentiemeting is een selectie gemaakt van de meest voorkomende trefwoorden en deze zijn nader bekeken. Ne selectie van trefwoorden met de hoogste frequentie volgde een interpretatie-onderzoek naar de context in elk onderdeel waar het trefwoord is voorgekomen. Deze meer subjectieve aanpak is nodig om bij ieder trefwoord de positieve, negatieve en genuanceerde bedoelingen in metadatering te kunnen weergeven.

ROC4NL conferentie (26-11-2014)

Trefwoord

Frequentie

Interpretatie van context

Theorie <> praktijk

14

theorie en praktijk kent grote verschillen, de opleiding sluit niet altijd aan bij de beroepspraktijk

Sociale vaardigheden

9

Aandacht nodig in de opleiding voor sociale vaardigheden bij studenten

Klantvriendelijkheid

4

Aandacht voor in de opleiding voor klantvriendelijk optreden van de student in de praktijk

BTG Handelsdag (31-3-2016)

Trefwoord

Frequentie

Interpretatie van context

Veranderend beroep

61

Het beroep van verkoopspecialist in de detailhandel gaat de komende vijf jaar (aanzienlijk) veranderen

Nul en tussenmeting

41

Het oordeel vanuit de nul en tussenmeting in de BPV zegt iets over de prestaties van de student

Lesstof

36

De huidige studiemethoden (detailhandel) sluiten niet goed aan bij de beroepspraktijk.

zelfdiscipline

36

De student van vandaag heeft deels de discipline om zelfstandig te studeren.

Digitale vaardigheden

36

De (gemiddelde) ROC docent heeft niet voldoende digitale vaardigheden om Educatieve Technologie effectief in te zetten.

Diepte interviews (sept. 2016)

Trefwoord

Frequentie

Interpretatie van context

Meetprobleem

6

Het formatief meten en beoordelen in de beroepspraktijkvorming kent verschillende meetproblemen. Timing is niet altijd accuraat, aandacht van de praktijkopleider is niet voldoende, de terminologie wordt niet herkent, beoordelaars beheersen de methode niet.

Interpretatie

4

In de beoordeling van de werkprocessen zitten grote interpretatieverschillen. Wat voor de een beoordelaar goed is kan voor de ander onvoldoende zijn. Eén en ander kent te veel afhankelijkheden van personen, context en kwaliteitseisen van de organisatie.

Verschillend belang

3

Er kan gedurende de opleiding van de student een belangen verschil optreden tussen de praktijkbegeleider en het ROC. Dit kan zowel ten voordele als ten nadele van de student uitvallen. De student heeft het belang juist in de formatieve meting om te kunnen leren, daar wordt nogal eens aan voorbijgegaan.

6.3 Analyse van praktijkprobleem met data uit mijn onderwijspraktijk

Door de looptijd van het project is het mogelijk om de dataverzameling over langere periode te nemen. Dit heeft als voordeel dat er voortschrijdend inzicht ontstaat. Er is tijd om de verkregen gegevens te interpreteren, bediscussiëren en focus aan te brengen richting het vervolg. Het voortschrijdend inzicht verkregen op deze manier brengt dit onderzoek van het willen overbruggen van het gat tussen theorie en praktijk, via het verbeteren van transfer naar het verbeteren van meten en beoordelen in de beroepspraktijkvorming. De herkenbaarheid van de problematiek is groot en de variatie in redenen en oorzaken eveneens.

7 Verkenning van mogelijke oplossingen

Aanvullende literatuur, suggesties voor zoektocht.

Voor de op het individu toegesneden meet- en beoordeling systematiek geeft Bates (2004) als suggestie het model van Kraiger, Ford en Salas (1993). Dit model geeft de uitkomst van leren in drie componenten, een cognitieve- een skills- en een affectieve component. In de meetsystematiek van Kraiger et. al. zijn meerdere vormen van testen en meten noodzakelijk om al deze drie componenten goed in beeld te krijgen. Helaas is het instrument welke Kraiger gebruikt niet vindbaar en/of niet publiekelijk beschikbaar. Wat goed is om mee te nemen is de uitwerking van cognitie, skills en affectieve componenten geoperationaliseerd zijn, wellicht komen die ingrediënten nog van pas.

Een ander vertrekpunt voor de zoektocht naar geschikte meetinstrumenten is wellicht het onderzoek van Ledoux (2013) Echter de toegelichte meetinstrumenten hebben een beperkte relevantie ten aanzien van dit onderzoek. Het onderzoek van Ledoux gaat uit van het meten van sociale competenties, metacognitie en advanced skills voor toepassing in PO en VO voor kandidaten tot 18 jaar. Dit onderzoek richt zich specifiek op (beroeps)competenties in het MBO voor kandidaten vanaf 16/17 jaar. Het onderzoek van Ledoux geeft wel zeer interessante suggesties voor instrumentaria en laat daarbij zien wat de bruikbaarheid, betrouwbaarheid en validiteit is.

Om heel specifiek aan de vraag voor individuele beoordeling te voldoen kennen we in Nederland een meetmethode voor het waarderen van competenties in het werk het EVC[4] assessment. Deze meetmethode beschreven door Joosten-ten Brinke (2008) geeft een nauwkeurig beeld van de competenties van kandidaten als professional. Dit lijkt op het eerste gezicht een prima vertrekpunt. Er zijn echter enkele praktische bezwaren, voornamelijk tijd en geld. Een EVC traject kost veel tijd voor kandidaten en begeleiders en is daardoor ook kostbaar om in te zetten. Waar een EVC assessment helaas ook niets over zegt is progressie geboekt door opleiding of training. Om voortgang te meten met EVC zou er dus meermaals een EVC assessment uitgevoerd moeten worden gedurende de opleiding. Met de eerder genoemde nadelen is het direct toepassen van EVC geen optie. Wel zijn de uitgangspunten bruikbaar, zeker binnen het ROC4NL project omdat EVC zich bewezen heeft als meetmethode in het MBO.

7.1 Ontwerp randvoorwaarden van de interventie

A: Hoe zit nu mijn probleem in elkaar

Bij een nieuwe aanpak van opleiden, wat we in het project ROC4NL gaan doen, hoort een nieuwe aanpak van meten en beoordelen. Een belangrijk deel van het opleidingscurriculum wordt maatwerk, daarmee wordt inhoud gegeven voor context specifieke competenties. De hele opleiding wordt op specifieke didactische grondslagen opgebouwd te weten, werkplekleren (76%), samenwerkend leren (12%) en online leren (12%) (percentages zijn tijdverdeling). Een belangrijk deel van de theoretische vorming wordt gestopt in het werkplekleren. Daardoor neemt de complexiteit en het belang toe van betrouwbaar en valide meten.

Vanuit het opleidingscurriculum zal dus een herkenbaar aantal indicatoren moeten komen om daarmee de voortgangsmeting te voeden met data. De beoordeling moet eenvoudig te herleiden zijn naar criteria van het werk, herkenbaar en acceptabel voor alle partijen.

7.2 Ontwerpregels op basis van literatuur kies ik als volgt:

  1. Toetsen en beoordelen horen bij elkaar (Joosten-ten Brinke, 2011). Het nieuw te ontwikkelen meetinstrument zal een aan elkaar gerelateerde meting- en beoordelingselement in zich moeten hebben.
  2. De te ontwikkelen meetsystematiek zal moeten voldoen aan randvoorwaarden gevonden in de literatuur. (Joosten-ten Brinke, 2011), (Schildkamp et al., 2014), (Huizinga, 2009).
  3. Het meetinstrument voegt iets toe aan het bestaande instrumentarium voor formatief toetsen. Aan de ontwikkeling van het meetinstrument ligt een zevental interventies ten grondslag. Omdat opleiden, meten en beoordelen direct aan elkaar verbonden zijn kunnen de onderliggende werkzame principes als mechanismen niet los van elkaar worden gezien. Om deze reden worden alle mechanismen met de verwachtte effecten genoemd.

7.3 Mechanismen, theoretisch werkzame principes

CC > OC : kenmerkende onderdelen van corporate curriculum worden onderdeel van het opleidingscurriculum. Effect zal zijn dat het theoretische deel van de opleiding aan relevantie wint. Het waargenomen gat tussen theorie en praktijk zal deels overbrugd worden de transfer neemt daardoor toe. Voorwaarden daarvoor zijn dat de onderdelen uit het CC wel “passen” binnen het OC. De praktijkopleider de juiste relevante CC onderdelen weet te duiden. Opleidingsmaterialen en opleiders beschikbaar zijn voor de CC onderdelen.

OC > PC : De opleidingsonderdelen worden aanvullend gespecificeerd met te behalen resultaten op de werkplek door middel van performance criteria. Het effect zal zijn dat door de directe relatie van leren, werk en output de leerprocessen synchroniseren met de werkprocessen. De docent heeft dezelfde doelen als de praktijkopleider. Voorwaarde is dat de docent en de praktijkopleider elkaars “taal“ begrijpen en dat de performance criteria zo goed mogelijk SMART te formuleren zijn.

C > C+ : Aanvullend aan de competenties te meten als kennis , vaardigheid en gedrag worden de aspecten context, kwaliteit en handelingen in kaart gebracht. Het effect zal zijn dat de student uitgedaagd wordt om in een specifieke werkcontext ook daadwerkelijk zijn kunnen te demonstreren, naar de kwaliteitsmaatstaven van de beroepspraktijk. Voorwaarde is dat het meetinstrument hanteerbaar blijft en dat de aanvullende aspecten te operationaliseren zijn.

2 > 7 : De boordelingsschaal gaat van twee naar zeven punt schaal. Effect hiervan zal zijn dat er een betere nuance komt van de status quo van de voortgang. Voorwaarde is dat de gebruikers de 7 punt schaal systematiek doorgronden. Gebruik, registratie, rapportage geen obstakel wordt.

O > R : De beoordelingsschaal gaat van on-gerelateerde aanduiding naar relationele duiding. Onvoldoende en Voldoende worden vervangen door rubric met duidelijk begrippenkader. Het effect zal zijn dat de beoordeling nauwkeuriger en herkenbaarder wordt. Voorwaarde is dat praktijkopleiders de rubrics doorgronden , en dat de praktijkopleiders de beoordeling toepassen op de individuele performance criteria en niet op generieke competenties.

Verklaring van de gebruikte letters en lettercombinaties

CC : Corporate Curriculum

OC : Opleidingscurriculum

PC : Performance criteria

C : competenties (kennis, vaardigeden en attitude)

C+ : Competenties aangevuld met Context, handelingen en kwaliteit

O : Ongeduid oordeel (cijfer of letter)

R : Rubric

7.4 Grof ontwerp voor interventie.

Wat betekent dit voor mijn interventie.

Voor nu is het de keuze om binnen het ROC4NL project de meetsystematiek te introduceren op basis van kennisproductiviteit principes. Eerder is al de opleiding van ROC4NL vormgegeven met ingrediënten uit het corporate curriculum. Omdat het ontwerp van het meetinstrument sterk samenhangt met het ontwerp van de opleiding ligt dit samengaan voor de hand. Ook is dit logisch omdat de betrokken praktijkopleiders en docenten reeds gezamenlijk aan de nieuwe opleiding hebben gewerkt. De introductie van de nieuwe meetsystematiek kan als voortzetting van die samenwerking worden geïntroduceerd. De manier van inzet zal weinig verschillen met de nul- en voortgangsmeetsystematiek zoals men die gewend is om uit te voeren. Een oordeel over de randvoorwaarden voor effectief gebruik kan de praktijkopleider het beste geven.

Het is raadzaam om voorafgaand aan inzet in de praktijk het concept ontwerp te toetsen aan de randvoorwaarden gevonden in de literatuur. Deze “toets der kritiek” is een verantwoording voor de gemaakte keuzes maar ook een handvat om het ontwerp nog aan te passen. De criteria waaraan het ontwerp getoetst zal worden zijn gevonden in de literatuur als voorwaarden voor formatieve toetsing en staan genoemd in de bijlage “aandachtspunten”.

De beoogde effecten, hoe ziet dat eruit, wat valt er aan te meten

Figuur 5: voorbeeld van mogelijke competentiebeoordeling, een driepunt schaalverdeling

Bovenstaand figuur is natuurlijk één met een knipoog maar is zeker illustratief voor de manier waarop vandaag de dag competenties worden beoordeeld. De prestatie indicatoren beoordelingsmethode geeft een eenvoudige uitkomst: wel of niet behaald. Echter de beroepspraktijk kent meerdere nuanceringen op diverse aspecten. Het meten van de competentie zal op een innovatieve manier worden aangevlogen en de twee of drie puntschaalverdeling is aan herziening toe.

Hoe kan volgens een kennisproductiviteitsaanpak de meting en de beoordeling er uit zien? Ten eerste wordt de competentie definitie uitgebreid met een drietal aspecten te weten: context, kwaliteit en handelingen. Naast de oorspronkelijke drie componenten kennis, vaardigheid en attitude is de samenhang te zien in onderstaand figuur.

Figuur 6: de samenhang van 6 competentie aspecten

De 6 competentie aspecten zijn te operationaliseren met een groot aantal kenmerken. Zie de bijlage KPI operationaliseren voor mogelijke meetbare aspecten. Vanzelfsprekend is het in dit stadium van het onderzoek nog niet te zeggen of alle aspecten zullen worden meegenomen of dat wellicht nog aspecten zullen worden toegevoegd.

Een beter alternatief dan de wel / niet behaalde uitkomst is een schaalverdeling. In de literatuur lijkt de zeven punt schaalverdeling met duidelijke rubric van Khan & Ramachandran, (2012) goed toepasbaar voor het beoordelen van taak en functie prestaties. Een idee over hoe dit er uit ziet is weergegeven in figuur 7.

Figuur 7: Zeven punt schaalverdeling voor het beoordelen van beroepsprestaties.

8 Onderzoeken van de interventie

Onderzoek naar de effecten van de interventie zal gebeuren in de pilot van het project ROC4NL. In het najaar van 2016 zullen medewerkers van een winkelketen in het midden van het land een start maken met de hernieuwde opleiding verkoopspecialist. Onderdeel van de vernieuwing is het formatief meten en beoordelen op basis van kennisproductiviteitsmechanismen.

8.1 Onderzoeksvraag

Geeft een kennisproductiviteitmeting ingezet in de beroepspraktijkvorming een objectief beeld van de performance van een student? En voldoet een dergelijke meting (serie van metingen ) aan voorwaarden voor formatief toetsen?

8.2 Meten van de effecten

De vier hoofdaspecten (zie p7) zullen worden als volgt geoperationaliseerd:

Gebruik

1. frequentie van meten,

2. gemak van registreren,

3. tijd voor uitvoering,

4. interpretatie van vragen en gegevens.

Getal : tussen 1…x

Schaal : makkelijk<> moeilijk

Schaal: weinig <> veel en/of tijdsduur

Schaal: eenduidig <> multi interpretabel

Effect

1. Simuleert ontwikkeling?

2. Leren en/of reflectie?

3. Aanleiding tot dialoog?

4. Verandering van aanpak?

Schaal : goede stim. <> geen stim.

Schaal : wel <> niet

Schaal : veel dialoog <> geen dialoog

Schaal: grote verandering <> geen verandering

Betekenis

1. Voortgang van studie

2. Status quo als professional

3. Benchmark ten opzichte van andere studenten

4. Voorspelling voor toekomstige performance (werk en school)

Schaal: goed beeld <> geen beeld

Schaal: goede duiding <> slechte duiding

Schaal : goede benchmark <> geen benchmark

Schaal : goede indicatie <> slechte indicatie

Bevindingen

1. Objectief <> subjectief

2. Gebruiksgemak

3. Relevantie

4. Kernachtig

5. Herkenbaar

6. Etc…

Schaal : objectief <> subjectief

Schaal : groot gemak <> veel moeite

Schaal : niet relevant < > zeer relevant

Schaal : niet kernachtig <> zeer kernachtig

Schaal : niet herkenbaar <> zeer herkenbaar

9 Planning

Paper 2: Ontwerp meetinstrument (Paper 2), afgerond Oktober 2016

Paper 3: Ontwerp onderzoek aan metingen en meetinstrument, afgerond November 2016

Paper 4: Metingen met nieuw meetinstrument November 2016, April 2017 (semester periode van de opleiding van ROC4NL)

Paper 4: Interviews en rapportages April 2017 – Mei 2017

Paper 5: Oplevering beantwoorden onderzoeksvragen Juni 2017

10 Bijlagen

  1. Evaluaties van de landelijke conferentie ROC4NL
  2. Samenvatting en overzicht van de BTG handelsdag
  3. Leidraad diepte interview
  4. KPI operationaliseren
  5. Aandachtspunten voorwaarden voor formatief toetsen en beoordelen


11 Referenties en bronnen References

Aken, J. E., & Andriessen, D. (2011). Handboek ontwerpgericht wetenschappelijk onderzoek: Wetenschap met effect Boom Lemma uitgevers.

Bates, R. (2004). A critical analysis of evaluation practice: The kirkpatrick model and the principle of beneficence. Evaluation and Program Planning, 27(3), 341-347.

Bauer, C., Alaerts, L., Van Dessel, J., & Wouters, R. (2011). Aqueduct. acquiring key competences through heritage education.

Billett, S. (2001). Learning in the workplace: Strategies for effective practice. ERIC.

Bloom, B. S. (1971). Handbook on formative and summative evaluation of student learning.

Brinkerhoff, R. O. (2006). Telling training's story: Evaluation made simple, credible, and effective Berrett-Koehler San Francisco, CA.

Bussemaker, J. (2014).
Ruim baan voor vakmanschap: Een toekomstgericht mbo Retrieved from https://www.rijksoverheid.nl/onderwerpen/middelbaar-beroepsonderwijs/documenten/kamerstukken/2014/06/02/kamerbrief-over-een-toekomstgericht-middelbaar-beroepsonderwijs

Huisman, J. (2001). Leren van competenties in het beroepsonderwijs. Programmeren, Begeleiden En Beoordelen,

Huizinga, T. (2009). Op weg naar een instrument voor het meten van docentcompetenties voor het ontwikkelen van curricula.

Joosten-ten Brinke, D. (2008). Assessment of prior learning

Joosten-ten Brinke, D. (2011). Eigentijds toetsen en beoordelen. Lectorale Rede, Fontys,

Kazbour, R. R., McGee, H. M., Mooney, T., Masica, L., & Brinkerhoff, R. O. (2013). Evaluating the impact of a Performance‐Based methodology on transfer of training. Performance Improvement Quarterly, 26(1), 5-33.

Kessels, J. (1998). Kennisproductiviteit en het corporate curriculum. Opleiders in Organisaties.Capita Selecta.Studenteneditie (1989-1997).Kluwer Bedrijfsinformatie, , 625-641.

Kessels, J., & Keursten, P. (2011). Opleiden en leren in een kenniseconomie. Handboek human resource development (pp. 27-44) Springer.

Kessels, J., Smit, C., & Keursten, P. (1996). Het acht velden instrument: Analyse-kader voor opleidingseffecten. Utrecht: The Learning Company,

Khan, K., & Ramachandran, S. (2012). Conceptual framework for performance assessment: Competency, competence and performance in the context of assessments in healthcare–deciphering the terminology. Medical Teacher, 34(11), 920-928.

Kirkpatrick, D. L. (1967). Evaluation of training.

Lakerveld, J. v. (2005). Het corporate curriculum. Onderzoek Naar De Werk-Leeromstandigheden in Instellingen Voor Zorg En Welzijn.Academisch Proefschrift, Enschede: Universiteit Twente,

Ledoux, G., Meijer, J., Van der Veen, I., Breetvelt, I., Ten Dam, G., & Volman, M. (2013). Meetinstrumenten voor sociale competenties, metacognitie en advanced skills. Een Inventarisatie.Amsterdam: Kohnstamm Instituut,

Mouritsen, J., Bukh, P. N., Flagstad, K., Thorbjørnsen, S., Johansen, M. R., Kotis, S., . . . Krag, L. (2003). Intellectual capital statements-the new guideline.

Nelen, A., Poortman, C., Nieuwenhuis, L., & Kirschner, P. (2010). Het rendement van combinaties van leren een werken, een review studie uitgevoerd op verzoek van de PROO-NWO.

Onstenk, J. (1997). Lerend leren werken Eburon Delft.

Robinson, D. G., & Robinson, J. (1989). Training for impact. Training & Development Journal, 43(8), 34-43.

Romiszowski, A. (1981). Designing intructional systems: Decision making in course planning and curriculum design.

Ruijters, Maria Catharina Paulina Christina, & Simons, P. R. J. (2012). De canon van het leren: 50 concepten en hun grondleggers Kluwer.

Schildkamp, K., Heitink, M., Kleij, F. M., Hoogland, I., Dijkstra, A., Kippers, W., & Veldkamp, B. (2014). Voorwaarden voor effectieve formatieve toetsing: Een praktische review.

Stam, C. D. (2007). Knowledge productivity: Designing and testing a method to diagnose knowledge productivity and plan for enhancement University of Twente.

Streumer, J. (2010). De kracht van werkplekleren. Den Haag.Boom Lemma Uitgevers,

Swales, J. (1990). Genre analysis: English in academic and research settings Cambridge University Press.

Veldhuis, G., & Theunissen, N. (2009). Evaluatie van transfer of training.

12 Bronnen

Figuur 1: review studie ”Het rendement van leren en werken” (Nelen et. al. 2010)

Figuur 2: bron http://www.inez-tc.nl/training/evalueren-4-niveaus-van-kirkpatrick

Figuur 3: https://www.eventplanner.be/nieuws/6543_tip-hoe-bereken-je-nu-de-roi-van-je-event-in-de-praktijk.html

Figuur 4: http://www.advantageway.com/sneak-peek/

Figuur 5: http://www.recruitingroundtable.nl/2013/07/31/voorspellend-selecteren-geschikt-ongeschikt/

Figuur 6 : Bauer, C., Alaerts, L., Van Dessel, J., & Wouters, R. (2011). Aqueduct. acquiring key competences through heritage education.

Figuur 7: Khan, K., & Ramachandran, S. (2012). Conceptual framework for performance assessment: Competency, competence and performance in the context of assessments in healthcare–deciphering the terminology.


[1] ROC van Amsterdam, ROC West Brabant, Noorderpoort en ROC van Twente

[2] KD: kwalificatiedossier

[3] Beroepspraktijkvorming

[4] Erkennen van Verworven Competenties

This is the main content area

Cras justo odio, dapibus ac facilisis in, egestas eget quam. Fusce dapibus, tellus ac cursus commodo, tortor mauris condimentum nibh, ut fermentum massa justo sit amet risus.

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Pellentesque at odio lobortis, ultricies ipsum sed, laoreet erat. Vivamus sagittis justo eget pulvinar tristique. Cras consectetur a neque eu facilisis. Suspendisse mattis ornare porta. Etiam eget imperdiet metus. Donec auctor elit vel tristique ultricies. Mauris sed iaculis quam, eu tristique nulla.

Nulla vestibulum orci venenatis, porttitor purus at, consequat metus. Curabitur ipsum purus, venenatis a imperdiet eu, elementum id nisi. Sed aliquam, magna a dictum accumsan, neque libero blandit nunc, eu vestibulum ipsum lorem eget felis. Cras sagittis et lacus at convallis. Etiam congue accumsan posuere.


Cras justo odio, dapibus ac facilisis in, egestas eget quam. Fusce dapibus, tellus ac cursus commodo, tortor mauris condimentum nibh, ut fermentum massa justo sit amet risus.