Workshop: Trendwatching
Mogelijke onderwerpen in een trendwatching workshop 

  • Generatie Einstein en hun rol in toekomstige organisaties
  • Concurrentie slagkracht structureel vergroten
  • Innovatie trajecten kwalitatief beter
  • Onderzoek - onderzoek als methode om veranderingen tot stand te brengen

Trendwatching is een hulpmiddel om de toekomst van uw organisatie en haar omgeving te leren begrijpen. Middels een eenvoudig stappenplan leert u zelf een trendwatching organisatie te creëren en daarmee krijgt u meer grip op uw omgeving. De workshop bestaat uit twee bijeenkomsten van een half dagdeel.

Figuur 1 Poort naar de weg van de waarheid en het leven met allegorische figuren. Vrouwelijke personificatie van het Verstand met brandende olielamp neemt geblinddoekte Hoop met kaars bij de arm. Op de poort zitten kleine engelen met schilden met attributen die verwijzen naar deugden. Ongelovigen knielen en maken wanhopige gebaren naast de poort. Prentmaker: Peter Dannoot. Plaats vervaardiging: Antwerpen. Datering: 1650. Bron: Rijksmuseum

Kennisproductiviteit:

MERKBAAR, meetbaar, maakbaar

Evaluatie en conclusies van het meten en beoordelen op basis van kennisproductiviteit




Inhoudsopgave

1 Presentatie en analyse van de resultaten. 3

1.1 Hypothese en veronderstellingen. 3

1.2 Onderzoek deelvraag 1. 5

1.3 Onderzoek deelvraag 2. 7

1.4 Onderzoek deelvraag 3. 9

1.5 Onderzoek deelvraag 4. 12

1.6 Onderzoek deelvraag 5. 15

1.7 Onderzoek deelvraag 6. 22

1.8 Onderzoek deelvraag 7. 24

1.10 Analyse van betrouwbaarheid en validiteit van het onderzoek. 26

1.10.1 Betrouwbaarheid van het onderzoek. 26

1.10.2 Validiteit van het onderzoek. 28

1.10.3 Authenticiteit van de respons. 29

2 Samenvatting, discussie en conclusies. 32

2.1 Samenvatting van onderzoek deelvragen. 32

2.2 Conclusies over de KPM-interventie. 35

2.2.1 Terugblik en conclusies. 35

2.2.2 Onderzoek en conclusies. 37

2.3 Evaluatie over validiteit, betrouwbaarheid en authenticiteit. 38

2.4 Discussie over ontwerp en de ontwerpregels. 38

2.4.1 Welke ontwerpregels blijken effectief 39

2.5 Zijn de beoogde effecten behaald?. 39

3 Suggesties voor herontwerp. 41

3.1 Aanpassingen van de KPM-interventie. 41

3.2 Suggesties voor herziening van uitgangspunten. 41

4 Terugblik. 42

4.1 Paper 1, de zoeker. 42

4.2 Paper 2, het instrument. 42

4.3 Paper 3, de vooruitgang. 42

4.4 Paper 4, het ontwerp en de uitvoering. 43

4.5 Paper 5, poort naar de weg van de waarheid. 43

5 Tabellen en figuren. 44

6 Referenties. 45

7 Bijlagen. 46


1 Presentatie en analyse van de resultaten

1.1 Hypothese en veronderstellingen

Een van de uitgangspunten van dit onderzoek is dat kennisproductiviteit is te meten. Daaropvolgend staat de volgende veronderstelling centraal in dit onderzoek:

Als ik het meten en beoordelen baseer op kennisproductiviteit en studentprestaties kan uitdrukken in termen van feedback[1] en feed-forward[2], dan verwacht ik dat de student en praktijkopleider in staat zullen zijn de leervraag te articuleren.

De veronderstelling dat kennisproductiviteit te meten is en de effecten zichtbaar gemaakt kunnen worden, zijn met behulp van deelonderzoekvragen specifiek onderzocht. De deelonderzoeksvragen zijn als volgt geformuleerd:

1. Kunnen de praktijkopleider en student zelfstandig leervragen of leerroute articuleren?

2. Geeft de interventie voldoende informatie aan de praktijkopleider om concrete feedback te geven aan de student?

3. Geeft de interventie voldoende informatie aan de praktijkopleider om concrete food-forward te geven aan de student?

4. Geeft de KPM-interventie als meting een valide waardering voor de student?

5. Is de KPM-interventie als meting en een betrouwbare meting?

6. Geeft de uitkomst van de meting aanleiding tot concrete dialoog over het werk en de prestaties in het werk?

7. Hebben de student, praktijkopleider en docent een gelijk beeld over de leerdoelen naar aanleiding van de meetresultaten?

Belangrijke (neven)effecten die door het meten van kennisproductiviteit hopelijk ook zichtbaar worden zijn:

1. De beoordeling geeft een herkenbare waardering voor de student in vergelijking met anderen/voorgangers.

2. De beoordeling geeft aanleiding tot een concrete dialoog over het werk en de prestaties in het werk.

3. Gebruik van het instrument duidt de ontwikkelingsrichting van de student.

Iedere deelvraag is met verschillende instrumenten onderzocht en geanalyseerd. Het onderzoeksdesign staat in onderstaande tabel 1.

Onderdeel

Interventie

Uitkomst

Antwoord op deelvraag

Schuurman bedrijfsgroep

KPM-interventie

KPM-beoordeling > patroonanalyse

4

KPM-formulier tekst > kwalitatieve analyse

1/2/3/7

KPM / CGI observatie > kwalitatieve analyse

6

KPM-beoordeling > Cronbach alpha

4

Evaluatie

Kwalitatieve analyse

4/6/7

Focusgroep

KPM-interventie

KPM-beoordeling > patroonanalyse

5

KPM-beoordeling > Cronbach alpha

5

Evaluatie

Kwalitatieve analyse

5

Onderzoek

Synthese

Betrouwbaarheid > kwalitatieve analyse

Validiteit > kwalitatieve analyse

Authenticiteit > kwalitatieve analyse

Tabel 1 Onderzoeksdesign


1.2 Onderzoek deelvraag 1

Kunnen de praktijkopleider en student met een KPM-interventie zelfstandig leervragen of een leerroute articuleren?

Context waarin gegevens zijn verzameld

Om deze vraag te kunnen beantwoorden was het doel gegevens te verzamelen uit de opmerkingen en aantekeningen t.a.v. de leerdoelen. Deze aantekeningen zijn door de praktijkopleider en docent genoteerd op de KPM-formulieren (n=6). De gegevens zijn onttrokken aan de data verzameling tijdens de KPM-interventie in de praktijk (Schuurman).

In onderstaande zijn de opmerkingen en aantekeningen verzameld tijdens het CGI. De kandidaat kan hier ook leervragen laten noteren en de praktijkopleider of docent kan hier leerroutes of leerdoelen noteren. Zoals de tabel laat zien is er echter geen data (zie tabel 2).

#

Suggestie voor de leerdoelen voor de student (= leerarticulatie)

Onttrokken aan de leerarticulatie van de KPM-interventie bij Schuurman

(leeg)

Tabel 2 data onderzoek deelvraag 1; alle gegevens van het invulveld “leerdoelen”

Verwerking van de gegevens

Het blijkt dat het veld leerarticulatie nergens is ingevuld op de KPM-formulieren. Zowel de praktijkopleider als de docent hebben dit invulveld niet gebruikt. Echter uit bijlage B blijkt dat het veld feed-forward wel relevante suggesties bevat ter verbetering van de prognose en de planning. Omdat deze data relevant is voor deze onderzoekdeelvraag worden deze gegevens hieronder gepresenteerd en verder geanalyseerd.

Opmerking aan kandidaat 1:

  1. denk eens in verschillende scenario’s
  2. Afstemming personele bezetting, optimaliseer de mix!
  3. help eens een ander filiaal met jouw inzicht, waar loop je tegenaan? Zijn dit dezelfde probelmeen als in Zwolle

De opmerking aan kandidaat 2:

  1. opnieuw de uren plannen en dan pas productiviteit bekijken
  2. meer gegevens opvragen en onderzoeken
  3. effectievere personele planning afgestemd op de omzet maken
  4. afhankelijkheid van uren en planning in relatie met productiviteit beter bekijken

De opmerking aan kandidaat 3:

  1. meer constateringen uit de cijferbeoordelingen trekken
  2. welke kengetallen zijn nog meer relevant? Vaste productiviteit is niet reeel, hoe kun je schakelen tussen flexibele omzet en personele inzet?
  3. meer sturen op uren, is de prognose makkelijk te realiseren, zijn er meerdere factoren om rekening mee te houden of om op te sturen?
  4. Inspelen op wijzigingen en veranderingen
  5. Neem ruimte om in te spelen op veranderingen en maak de vertaalslag naar concrete uren in het team.
  6. op welke manier kun je in de cijfers de verwachte afwijkingen weergegeven?
  7. context verbreden, welke omgevingsvariabelen hebben invloed?, oefen eens met meerdere jaren.

Analyse van het resultaat

Numerieke analyse

De docent en de praktijkopleider beoordelen drie kandidaten en hebben acht beoordelingscriteria ter beschikking. In totaal zijn er 14 concrete aanbevelingen voor verbetering gegeven. Kandidaat 1 krijgt drie concrete suggesties ter verbetering van het beroepsproduct, kandidaat 2 krijgt vier suggesties, kandidaat 3 krijgt zeven suggesties. Dit betekent dus dat er (2 x 3 x 8 =) 48 maal de gelegenheid is om suggesties voor verbetering te geven. Procentueel gezien is dus in 29% van de gevallen concreet aanbevelingen gegeven, 14 maal van de 48 mogelijkheden.

Inhoudelijke analyse:

Kandidaat 1

Ten aanzien van de oorspronkelijke leerwerk opdracht is opmerking 2 te duiden als leerdoel. Beide andere opmerkingen dagen de kandidaat uit om verder te kijken, deze opmerkingen zouden als basis kunne dienen voor een mogelijk leerdoel. Het geringe aantal verbetersuggesties kan duiden op een goed uitgewerkte opdracht.

Kandidaat 2

De vier opmerkingen slaan direct op de oorspronkelijke opdracht. Het geeft aan dat de leerwerk opdracht niet goed is uitgevoerd. De beoordelaars geven zeer concrete verbeterdoelstellingen, deze verbeterdoelstellingen zijn aan te merken als leerdoelen.

Kandidaat 3

Het aantal van zeven opmerkingen aan het adres van kandidaat 3 suggereert dat deze kandidaat een onvolledig uitgewerkte opdracht heeft ingeleverd. De te maken verbeteringen zijn divers van aard. Er is in de opmerking 1 en 2 een directe relatie te maken met de verwerkte input. De opmerkingen 3, 4 en 7 verwijzen direct naar de context die te weinig lijkt te zijn meegenomen. Opmerkingen 5 en 6 zijn verwijzingen naar de leerwerk opdracht, dit geeft aan dat oorspronkelijke leerdoelen nog behaald moet worden. Al deze opmerkingen zijn te duiden als leerdoelen voor deze kandidaat.

Antwoord op de onderzoeksvraag

Te zien is dat de KPM-interventie bij geen kandidaat direct leidt tot concrete leerdoelen. Aantekeningen in feed-forward gegevens leiden (in)direct wel tot suggesties voor leerdoelen. De feed-forward data die de KPM-interventie genereert, suggereert dat vervolgstappen voldoende inzichtelijk kunnen worden gemaakt door leerdoelen of een leerroute te articuleren.

Belangrijke beperking in dit onderzoek is dat de interventie is ingezet bij een eindbeoordeling en niet bij een tussentijdse beoordeling. Door deze beperkte inzet is er weinig noodzaak om advies te geven voor vervolgstappen; het einde is immers al bereikt. Een andere belangrijke beperking is het aantal onderzoekdeelnemers (n=3). Door deze beperking is er beperkt zicht op hoe het instrument werkt voor een volledige klas.

1.3 Onderzoek deelvraag 2

Geeft de interventie aan de praktijkopleider voldoende informatie om concrete feedback te geven aan de student?

Context waarin gegevens zijn verzameld

Om deze vraag te kunnen beantwoorden zijn gegevens verzameld uit de opmerkingen en aantekeningen van het KPM-formulier (n=6). Van de KPM-formulieren is het veld feedback door de praktijkopleider en docent ingevuld tijdens het CGI. Daarnaast zijn gegevens van het evaluatieformulier (n=5) gebruikt om een waardeoordeel van de respondenten mee te nemen. Van de evaluatieformulieren zijn de aspecten relevantie en herkenbaarheid meegenomen (zie bijlage C). De gegevens zijn onttrokken van de data verzameld tijdens de KPM-interventie in de praktijk (Schuurman).

Verwerking van de gegevens

Om de onderzoekdeelvraag te kunnen beantwoorden is het nodig om te bekijken wat de hoeveelheid gegevens is en in welke mate de feedback concreet is. De numerieke analyse van het veld feedback op de KPM-formulieren geeft aan of er voldoende gegevens zijn. De mate van concreetheid wordt gedestilleerd uit de gegevens over relevantie en herkenbaarheid. Deze informatie komt uit de evaluatie formulieren. (bijlage C).

Feedback aan kandidaat 1

  1. Alle informatie correct verwerkt en getoond
  2. informatie correct en overzichtelijk weergegeven
  3. diverse factoren, minimale bezetting, verandering, opruiming, Zwolle filiaal
  4. duidelijk, overzichtelijk, onderbouwd en doordacht
  5. duidelijk en overzichtelijk
  6. complexe situatie overzichtelijk gehouden
  7. doelstelling bijgesteld op eigen initiatief, rustige maand te hoge inschatting, introductie bandbreedte 35% flex personeel
  8. Info verzameld en ganalyseerd, volledige uitwerking en rapportage plus verantwoording.
  9. Variaties en foutmarges getoond
  10. In de leergroep de anderen bevragen / stimuleren
  11. zelfstandig in complexe taak

Feedback aan kandidaat 2

  1. omzet gedetailleerd uitgewerkt
  2. omzet goed onderbouwd
  3. meerdere factoren onderzocht voor het creeren van meer omzet en meer bezoekers
  4. begrote omzet per week getoond
  5. standaard
  6. effect inzichtelijk krijgen van omzet wijzigingen
  7. omzet plus inschatting van omzet voor volgeng jaar getoond
  8. prognose goed gemaakt
  9. Bij prognose goed context in de gaten gehouden
  10. prognose prima
  11. Er is begrip over nut en noodzaak van cijfers

Feedback aan kandidaat 3

  1. Bekijk de situatie goed met de werkelijkeheid
  2. Constatering dat de productiviteit wellicht te laag is
  3. cijfers goed in kaart gebracht
  4. rekening gehouden met sluiting van schoenenzaken in Enschede,
  5. klantenkaarten
  6. rekening gehouden met voorgaande jaren en hier het gemiddelde van genomen
  7. duidelijke grafieken
  8. Inzichtelijk wat inzet en productivitet van het personeeel , welk effect heeft op de omzet
  9. Alle gevraagde kennis getoond
  10. aangeboden input is verwerkt
  11. berekeningen, schattingen, gegevens verzameld en rapprotage gemaakt
  12. Verantwoording van cijfermatig handelen, prognose plus getallen bekeken
  13. prognose n urenplan kan zelfstadig worden gemaakt, de complexiteit van consequenties doorzien is nog de vraag

Analyse van het resultaat

Numerieke analyse, hoeveelheid opmerkingen en aantekeningen.

Het aantal formele feedbackmogelijkheden voor de docent en de praktijkopleider is 2 x 3 x 8 = 48 maal, twee beoordeelaars, drie studenten en acht beoordelingscriteria. Van deze gelegenheid is 35 maal gebruik gemaakt. Dat is dus in 73% van de gevallen. Kandidaat 1 heeft elf keer feedback gekregen, kandidaat 2 heeft elf keer feedback gekregen en kandidaat 3 dertien keer.

Inhoudelijke analyse, kwaliteit van de feedback

Inhoudelijke waarneming is dat de feedback een groot aantal keer op elkaar lijkt. Voorbeeld hiervan is: informatie correct en overzichtelijk weergegeven en Info verzameld en geanalyseerd, volledige uitwerking en rapportage plus verantwoording. En als ander voorbeeld aangeboden input is verwerkt en cijfers goed in kaart gebracht. Dit zijn naar interpretatie van de onderzoeker voorbeelden van vergelijkbare informatie.

Ook valt op dat sommige feedback op te vatten is als compliment, bijvoorbeeld prognose goed gemaakt en prognose prima. Tenslotte is het zo dat er geen vragen zijn gesteld als feedback.

De mate van concreetheid van de feedback wordt aangetoond door de aspecten relevantie en herkenbaarheid. De evaluatie geeft aan dat de respondenten het in belangrijke mate eens zijn met de herkenbaarheid. Het oordeel op dit onderdeel van de studenten is een score van acht (1x) en negen (2x). De evaluatie geeft aan dat de studenten het ook relevant vinden, de score op dit onderdeel is een acht (2x) en een tien (1x).

Antwoord op de onderzoekdeelvraag

In dit onderzoek is in ruime mate feedback waargenomen met inzet van de KPM-interventie. De KPM-interventie is dus een goed houvast voor een beoordelaar om feedback te geven. Bovendien wordt deze feedback wordt door de studenten als herkenbaar en relevant beoordeeld.

Beperking bij dit antwoord. De beoordelingen over relevantie en herkenbaarheid bevat de onderzoeksgegevens van slechts drie respondenten.

1.4 Onderzoek deelvraag 3

Geeft de interventie aan de praktijkopleider voldoende informatie om concrete feed-forward te geven aan de student?

Context waarin gegevens zijn verzameld

Om deze vraag te kunnen beantwoorden zijn gegevens verzameld uit de opmerkingen en aantekeningen van het KPM-formulier (n=6). Van de KPM-formulieren is het veld feed-forward door de praktijkopleider en docent ingevuld tijdens het CGI. Daarnaast zijn gegevens van het evaluatieformulier (n=5) gebruikt om een waardeoordeel van de respondenten mee te nemen. Van de evaluatieformulieren zijn de aspecten relevantie en herkenbaarheid meegenomen (zie bijlage C). De gegevens zijn onttrokken van de data verzameld tijdens de KPM-interventie in de praktijk (Schuurman).

Verwerking van de gegevens

Om de onderzoekdeelvraag te kunnen beantwoorden is het nodig om te bekijken wat de hoeveelheid gegevens is en in welke mate de feed-forward concreet is. De numerieke analyse van het veld feedback op de KPM-formulieren geeft aan of er voldoende gegevens zijn. De mate van concreetheid wordt gedestilleerd uit de gegevens over relevantie en herkenbaarheid. Deze informatie komt uit de evaluatie formulieren. (bijlage C).

Feed-forward aan kandidaat 1

  1. Effect op omzet en uren, blijf dit continue volgen
  2. Afstemming personele bezetting, optimaliseer de mix!
  3. help eens een ander filiaal met jouw inzicht, waar loop je tegenaan? Zijn dit dezelfde probelmeen als in Zwolle
  4. Denk eens in verschillende scenario's
  5. scenario-planning toepassen

Feed-forward aan kandidaat 2

  1. correcte uren inzet op basis van begrote omzet, rekening houden met ombouw filiaal
  2. meer gegevens opvragen en onderzoeken
  3. afstemming met personele bezetting
  4. effectievere personele planning afgestemd op de omzet maken
  5. effecten aangegeven en inzichtelijk maken
  6. afhankelijkheid van uren en planning in relatie met productiviteit beter bekijken
  7. Uren opnieuw plannen en dan pas de productivitet bekijken
  8. Bij urenplan de context niet meegenomen van het eigen filiaal, meer realistische kijk op uren is nodig.
  9. uren opnieuw plannen vanuit reeele gegevens
  10. Gebruik van cijfers in de praktijk

Feed-forward aan kandidaat 3

  1. schakel om in omzet en personele uren
  2. Meer constateringen uit cijferbeoordeling trekken
  3. meer sturen op uren, is de prognose makkelijk te realiseren, zijn er meerdere factoren om rekening mee te houden of om op te sturen?
  4. ruimte, vrijheid, te hebben om in te kunnen spelen op veranderingen
  5. Inspelen op wijzigingen en veranderingen
  6. welke kengetallen zijn nog meer relevant? Vaste productiviteit is niet reeel, hoe kun je schakelen tussen flexibele omzet en personele inzet?
  7. context verbreden, welke omgevingsvariabelen hebben invloed?, oefen eens met meerdere jaren.
  8. Is je conclusie gebasseerd op de cijfers en analyse of ergens anders op?
  9. op welke manier kun je in de cijfers de verwachte afwijkingen weergegeven?
  10. Neem ruimte om in te spelen op veranderingen en maak de vertaalslag naar concrete uren in het team.
  11. Benieuwd naar de urendetailplanning en de problemen die daarbij ontstaan vanuit deze gegevens.

Analyse van het resultaat

Numerieke analyse, hoeveelheid aan data.

De aantekeningen laten zien dat het veld feed-forward regelmatig is ingevuld op de KPM-formulieren. Numeriek is het aantal formele feed-forward mogelijkheden voor de docent en de praktijkopleider 2 x 3 x 8 = 48 maal, twee beoordeelaars, drie studenten en acht beoordelingscriteria. Van deze gelegenheid is 26 maal gebruik gemaakt, dit is dus in 54% van de gevallen. Kandidaat 1 kreeg vijf maal feed-forward terugkoppeling, kandidaat 2 tien maal en kandidaat 3 elf maal.

Inhoudelijke analyse, de kwaliteit van de opmerkingen.

Kandidaat 1

Inhoudelijke is 1 maal vergelijkbare feed-forward gegeven: Denk eens in verschillende scenario's en scenario-planning toepassen. Een tweetal opmerkingen, 1 en 2, zijn te herleiden naar de oorspronkelijke leerwerk opdracht. Dit zou kunnen duiden op een tekortkoming in de uitwerking. De overige drie opmerkingen hebben een contextueel karakter die verder gaat dan de oorspronkelijke leerwerk opdracht. Tevens krijgt deze kandidaat twee vragen als feed-forward, het lijkt erop dat deze vragen zijn gesteld om de kandidaat aan te sporen dieper na te denken over de essentie van het probleem.

Kandidaat 2

Inhoudelijke is 2 maal vergelijkbare feed-forward gegeven:

  1. afstemming met personele bezetting en effectievere personele planning afgestemd op de omzet maken;
  2. afhankelijkheid van uren en planning in relatie met productiviteit beter bekijken en Uren opnieuw plannen en dan pas de productivitet bekijken.

Alle tien opmerkingen zijn direct te herleiden naar de leerwerk opdracht. De opmerkingen geven allen aan dat het correct toepassen van de theorie nog niet is gelukt. De variatie aan suggesties om dit alsnog te doen is beperkt in omschrijvingen en woordgebruik.

Kandidaat 3

Inhoudelijke is 1 maal vergelijkbare feed-forward gegeven:

  1. ruimte, vrijheid, te hebben om in te kunnen spelen op veranderingen en Inspelen op wijzigingen en veranderingen

Alle elf opmerkingen zijn te herleiden naar de oorspronkelijke leerwerk opdracht. De opmerkingen 1, 6 en 7 geven aan dat het correct toepassen van de theorie nog niet is gelukt. De opmerkingen 2, 3, 6, 8 en 9 duiden er op dat niet is begrepen waar het over gaat . De variatie aan suggesties voor verbeteringen is divers in omschrijvingen en woordgebruik. Er zijn 6 vraagstellingen in de feed-forward opmerkingen. Dit is deels bedoeld om de kandidaat tot nadenken te stemmen, het lijkt er ook op dat de beoordelaars niet snappen wat de student bedoeld.

Algemeen geldt dat in een enkel geval lijkt de feed-forward meer op verpakte feedback dan op concrete feed-forward. Juist datgene wat de studenten niet laten zien, wordt benoemd. Als voorbeeld: meer gegevens opvragen en onderzoeken en schakel om in omzet en personele uren. Wat er vervolgens moet gebeuren om dat te bereiken hangt dan af van de assertiviteit en inventiviteit van de student.

De mate van concreetheid van de feed-forward wordt aangetoond door de aspecten relevantie en herkenbaarheid. De evaluatie geeft aan dat de respondenten het in belangrijke mate eens zijn met de herkenbaarheid. Het oordeel op dit onderdeel van de studenten is een score van acht (1x) en negen (2x). De evaluatie geeft aan dat de studenten het ook relevant vinden, de score op dit onderdeel is een acht (2x) en een tien (1x).

Antwoord op de onderzoeksvraag

Deze onderzoeksvraag laat zich het beste beantwoorden door de uiteindelijke KPM-scores mee te nemen in de analyse.

Kandidaat #

KPM score

Aantal feed-forward opmerkingen

Aantal feedback opmerkingen

1

4

5

11

2

2

10

11

3

3

11

13

Tabel 3, score overzicht met aantallen feedback en feed-forward

De KPM-score 4 betekent dat de betreffende kandidaat nummer 1 als “meester” wordt beoordeeld met betrekking tot de leerwerk opdracht. Dit is van belang omdat hier het aantal feed-forward opmerkingen beduidend lager is dan bij de andere twee kandidaten. Dit is logisch omdat de feed-forward opmerkingen bedoeld zijn om aan te geven wat de kandidaat nog zou moeten leren om de taak zich eigen te maken. Wanneer een hoge beoordeling gegeven wordt betekent dit dat de kandidaat in deze leerwerk opdracht niet veel meer te leren heeft volgens de beoordelaars.

In dit onderzoek is in ruime mate feed-forward waargenomen met inzet van de KPM-interventie. Er is een afhankelijkheid van de hoeveelheid feed-forward en de kwaliteit van het geleverde werk. Het geven van feed-forward is namelijk niet relevant op het moment dat de kwaliteit van het geleverde werk hoog wordt bevonden. De KPM-interventie is dus een goed houvast voor een beoordelaar om feed-forward te geven. Bovendien wordt deze feed-forward door de studenten als herkenbaar en relevant beoordeeld zoals het evaluatieonderzoek aantoont door de aspecten relevantie en herkenbaarheid.

Als nuance op de concreetheid van de feedback is op te merken dat aangezien het aantal respondenten slechts drie is, er vraagtekens geplaatst kunnen worden bij de betrouwbaarheid van het antwoord op deze deelvraag.


1.5 Onderzoek deelvraag 4

Geeft de KPM-interventie als meting een valide waardering voor de student?

Toelichting

Met een valide waardering voor de student worden de volgende onderdelen onderzocht. Meten we met de KPM-interventie bij de student wel wat we denken en bedoelen te meten? Geeft de KPM-interventie dan een passende waardering (= KMP-score) voor de student? Deze onderzoek deelvraag is bedoeld om antwoord te geven op de vraag of de KPM-interventie deugdelijk van opzet is.

Op welke manier wordt deze vraag beantwoord?

Om antwoord te geven op de onderzoek deelvraag wordt de interne en externe consistentie vastgesteld. Deze maat moet dan de waardering van de student rechtvaardigen. Met andere woorden: verdient de student het cijfer dat is toebedeeld of verdient de student meer (of juist minder). De vraag die daarbij hoort is of de beoordeling acceptabel en herkenbaar is voor alle partijen? Zo ja, dan is de waardering voor de student een passende waardering, de meting is dan valide. De onderzoeker gaat er dan van uit dat wat beoogd is ook gemeten is.

Met een interne en externe analyse wordt getracht duidelijk te maken wat de deugdelijkheid van de opzet van de KPM-interventie is.

Welke gegevens zijn verzameld

De gegevens zijn verzameld tijdens het uitvoeren van de KPM-interventie bij Schuurman. Het betreft drie studenten die door twee examinatoren worden beoordeeld. Berekeningen gaan uit van zes beoordelingen, n=6. De beoordelingen van het KPM-formulier worden geanalyseerd voor de mate van de interne consistentie. De open vragen van het evaluatieformulier worden geanalyseerd voor de mate van externe consistentie.

In tabel 7 staan de beoordelingen van de drie kandidaten. Per kandidaat zijn er twee beoordelingen gegeven, telkens één door de praktijkopleider en één door de docent. In onderstaand overzicht is de uiteindelijke KPM-score van de praktijkopleider en de docent hetzelfde. De beoordeling per competentie is enigszins verschillend zoals is te zien.

Tabel 4 onderzoek deelvraag 4; KPM-beoordelingen

Noot 1: De KPM beoordeling bestaat uit een cijfer, minimaal een 1 en maximaal een 5. De cijfers corresponderen met de volgende waardering: 1: Beginner, 2: Gevorderd, 3: Competent, 4: Meester, 5: Expert.

Noot 2: Verklaring van de gebruikte letters: k = kandidaat; p1 = praktijkopleider 1; d1 = docent 1

Verwerking van de gegevens

De interne consistentie is te bepalen door het berekenen van de Cronbach alpha van de beoordelingsuitkomsten. De 'interne consistentie' wordt omschreven als de mate waarin afzonderlijke items van een toets met elkaar samenhangen. Deze coëfficiënt (Cronbach’s alfa) is een schatting van de betrouwbaarheid. (Peet & Everaert, 2007). Omdat het KPM-instrument is opgebouwd uit schaalvragen lijkt dit de aangewezen methode (Aken & Andriessen, 2011. p146).

De termen in deze berekening zijn de competentie componenten die worden gemeten tijdens een KPM-interventie. Deze items zijn: kennis, vaardigheid, attitude, context en kwaliteit, aangevuld met de items output, taakperceptie en supervisie. De Cronbach’s alpha is berekend door gebruik te maken van alle beoordelingen (n=6) op alle KPM criteria (k=8) en is α ≈ 0,82. (zie ook de berekeningen in bijlage D)

Vuistregel:

0 ≤ alpha < 0,60 : onbetrouwbare schaal.

0,60 ≤ alpha < 0,80 : redelijk betrouwbare schaal.

0,80 ≤ alpha ≤ 1 : betrouwbare schaal.

Bron: http://mco.edu.fmg.uva.nl/is/hints/hint_items.htm


Tabel 5 Cronbach Alpha interpretatie vuistregel


Noot: Een kwantitatieve analyse bij drie deelnemers en zes beoordelingen (n=6) is wellicht niet zinvol. Bij vraag 5 in hoofdstuk 2.1 wordt hier nader op ingegaan

De externe consistentie is vastgesteld door de beoordelingen van de KPM-interventie te laten onderschrijven. De mate waarin de belanghebbenden dit doen is dan een maat voor de validiteit van de KPM-interventie (Smit & Verdonschot, 2010). Gebruik is gemaakt van alle open vragen van het evaluatieformulier voor praktijkopleider en docent. De studenten hebben hun mening gegeven met het beantwoorden van enkele specifieke schaalvragen.


Het evaluatieformulier voor de praktijkopleider en de docent kent open vragen die uitnodigen tot het geven van een uitgebreid antwoord. Deze meningen zijn genoteerd in open vragen. In onderstaand figuur zijn de open vragen en de antwoorden daarop te vinden.

Vraag

Respons

Onttrokken aan evaluatieformulier t.b.v. praktijkopleider en docent

Biedt het KPM scoreoverzicht inzicht in studievoortgang?

P: Ja, inzicht in niveau en verhouding theorie / praktijk

D: Ja, de beoordeling geeft m.i. weer hoeveel aandacht er is besteedt aan de opdracht en hoeveel de student er van doorgrond, er ontstaat een goed beeld van wat de studenten beheersen en ook wat ze nog niet beheersen

Maakt dit resultaat een vergelijking tussen studenten mogelijk?

P: Ja waarbij studenten elkaar vervolgens kunnen ondersteunen

D: Ja, heel duidelijk is het verschil tussen de goed presterende student en de matig presterende student, dit komt ook tot uitdrukking in het oordeel. De middelmatige student heeft een beroepsproduct dat zit precies tussen voorgaande twee in en het beoordelingsformulier geeft dat goed weer.

Geeft bovenstaand resultaat een goede indicatie voor toekomstig performance op school en / of op het werk?

P: Ja inzage in feiten

D: Wellicht, waarbij ik hoop van niet, dat zou betekenen dat de matig presterende student van nu dit niveau vasthoud, ik heb wel hogere verwachtingen van deze student, omgekeerd de goed presterende student van nu, zal ook in de praktijk wel goed presteren.

Zijn de resultaten van de individuele studenten herkenbaar en acceptabel ?

P: Ja, verschillen in studenten zijn duidelijk te zien en de meting geeft goed weer waar ze ten opzichte van elkaar staan.

D: Ja, de herkenbaarheid is groot en voor mij als docent zijn ze meer dan acceptabel, mooi is ook dat de p.o.l. en ondergetekende eigenlijk dezelfde waardering geven.

Tabel 6 onderzoek deelvraag 4; respons op open vragen uit evaluatie

In onderstaand overzicht is de score te zien op de schaalvragen. De vraag aan de studenten is in welke mate ze het eens zijn met de gegeven stelling.

Schaalvragen met mogelijk antwoord

1: heel weinig …………………………………………..10: heel veel/groot/hoog

Onttrokken aan evaluatieformulier

P

D

K1

K2

K3

Wat zegt deze meting over de voortgang van de studie?

8

7

6

8

7

Wat is de waarde van deze meting als benchmark? (vergelijken studenten onderling)

8

9

9

7

Welke voorspelling geeft deze meting voor toekomstige prestaties (werk en school)?

8

7

7

8

8

Geef een mening over de relevantie van de KPM meting

8

10

8

10

8

Geef een mening over de herkenbaarheid van de KPM meting

8

9

9

9

8

Tabel 7 onderzoek deelvraag 4; schaalvragen met betrekking op beoordelingen met de KPM-interventie

(Noot: Kandidaat 1 geeft geen antwoord op de benchmark vraag. Dat is in dit geval logisch omdat deze kandidaat geen cijfers wist, noch kon weten, van de overige kandidaten. Op dat moment was voor deze kandidaat deze vraag niet relevant.)

Analyse van het resultaat

De praktijkopleider en de docent zijn eensluidend in hun oordeel over de prestaties van de kandidaten. Het patroon van de beoordelingen laat zien dat de docent en de praktijkopleider het op circa 1/3 van de scores het exact eens zijn over de toe te kennen waardering. Bij 2/3 van de beoordelingen ontlopen de toegekende cijfers elkaar nergens meer dan 1 punt.

De respons op de open vragen in het evaluatieformulier laat zien dat de meningen van praktijkopleider en docent overeenkomen op de onderdelen inzicht in studievoortgang, vergelijk van studenten onderling en resultaat op waardering van individuele student. Er is een nuance te lezen bij de vraag of deze meting een goede voorspelling biedt voor de toekomstige prestaties.

De studenten beoordelen de KPM-interventie als meting in hoge mate relevant gezien de cijfers 8-10-8.

De respondenten herkennen allen de prestaties in de uitkomst van de KPM-meting, hetgeen blijkt uit de cijfers 8-9-9-9-8. De onderlinge prestatie ten opzichte van collega’s wordt in hoge mate onderschreven door toekenning van de cijfers 8-9-9-7.

De tabel 8 laat zien dat kandidaat nummer 1 een zes geeft voor het inzicht in verloop van de studie. Bij navraag blijkt dat deze kandidaat dit cijfer geeft vanwege de geringe impact van het keuzedeel voor de rest van de studie.

Analyse van de aspecten: herkenbaarheid, relevantie en inzicht in studievoortgang laat zien dat de respondenten allen tevreden zijn over de uitkomst van de KPM-interventie. Daarbij zijn de respondenten in ruime mate tevreden over het KPM-proces, de feedback en feed-forward informatie alsmede over de inhoudelijke dialoog en het uiteindelijke oordeel. Daarmee zijn de uitkomsten van de KPM-interventie door stakeholders onderschreven en is de conclusie dat de KPM-interventie extern consistent is.

Antwoord op de deelvraag

De onderzoekdata suggereren een belangrijke mate van interne en externe consistentie. De KPM-interventie als meetinstrument geeft een valide meting zoals ingezet in dit onderzoek. De waardering voor de student is dus passend bij de geleverde prestatie. Vanwege de eerder genoemde beperkingen van dit onderzoek is voor een steviger gefundeerde validiteitsbevestiging nader onderzoek nodig met een groter aantal studenten.

1.6 Onderzoek deelvraag 5

Is de KPM-interventie als meting een betrouwbare meting?

Toelichting

Met een betrouwbare meting wordt onderzocht of er iets te zeggen is over de deugdelijkheid van de uitvoering van de KPM-interventie. Dit wordt op twee aspecten onderzocht te weten de interne en de externe betrouwbaarheid. Met interne betrouwbaarheid wordt gedoeld op een mogelijke vertekening van de onderzoeksresultaten door de invloed van een individuele onderzoeker. Met de externe betrouwbaarheid wordt bedoeld de herhaalbaarheid (repliceerbaarheid) en herkenbaarheid van de KPM-interventie.

Om deze onderzoek deelvraag te beantwoorden is gebruikt gemaakt van vier instrumenten. Voor de interne betrouwbaarheid is gekeken naar de interbeoordelaars-betrouwbaarheid. Hiermee wordt een antwoord gegeven op het voorkomen van de willekeurige meetfouten. Daarbij is een analyse uitgevoerd op de relatie tussen meet-termen en de schaalwaarden door middel van een Cronbach’s alpha berekening. Dit geeft weer in hoeverre de te meten termen zich tot elkaar verhouden.

Voor de externe betrouwbaarheid is gekeken naar de herhaalbaarheid door de inzet van meerdere focusroepen. Tenslotte hebben de deelnemers in de evaluatie een aantal open vragen beantwoord, waarmee de mate van overeenstemming over de inhoud en de methode zal worden geanalyseerd.

Context waarin gegevens zijn verzameld

Om de betrouwbaarheid van de KPM-interventie als meting vast te stellen is een focusgroep onderzoek uitgevoerd. De respondenten in de focusgroepen zijn praktijkopleiders en docenten gelieerd aan het ROC van Twente. Er is op een drietal momenten met verschillende focusgroepen gewerkt.

Tijdens een focusgroep sessie werden een drietal films vertoond waarin studenten een proeve van bekwaamheid afleggen. Er participeerden vijftien focusgroep deelnemers (n=15), het aantal beoordelingen is 38. De respondenten is gevraagd om een oordeel te geven met behulp van het KPM-formulier.

Noot: Rekenkundig zouden vijftien respondenten door drie situaties te beoordelen 45 beoordelingen opleveren. Het aantal beoordelingen is slechts 38. De reden hiervoor is dat de eerste focusgroep sessie niet geheel volgens plan verliep en tijdens de tweede focusgroep werd één deelnemer weggeroepen door een leidinggevende.

et

Verwerking van de gegevens

In onderstaande tabel zijn alle beoordelingen weergeven van de focusgroep deelnemers.

Tabel 8 onderzoek deelvraag 5; KPM resultaten focusgroepen

Noot: De KPM-beoordeling, of KPM-score, bestaat uit een cijfer, minimaal een 1 en maximaal een 5. De cijfers corresponderen met de volgende waardering: 1: Beginner, 2: Gevorderd, 3: Competent, 4: Meester, 5: Expert.

Na het focusgroep onderzoek is de deelnemers een evaluatieformulier voorgelegd. De beide open vragen met alle respons van de deelnemers[3] (n=13) staat in onderstaande tabellen 10 en 11.

Open vragen met respons

Onttrokken aan evaluatieformulier focusgroep

Geeft de KPM meting een duidelijk beeld van de leerroute die de student afgelegd heeft of nog moet afleggen?

(graag toelichten)

Ja, deze meting geeft weer waar de student momenteel staat

dat denk ik wel me beoordelen op zelfstandigheidnineau

ja, duidelijk inzicht van competenties die nodig zijn voor de uit te voerende taken

Ja, alleen blijf ik het een momentopname vinden. Maar dit geeft naar mijn perceptie wel een beter beeld van hoe de praktijk en kennis te verbinden.

Gemiddeld, soms zijn de criteria nog te complex

ja, maar voor mij is dit de eerste keer .je moet goed lezen en begrijpen.

Ja, duidelijk

De 5 beoordelingsniveau ,s beginnen tot expert is een verbetering, omdat het een goed handvat bied voor de beoordeling. Ik zou een zelf een beoordelingscriteria in zo weinig mogelijk delen op knippen.

ja, er word duidelijk aangegeven in wat voor een fase de student zich bevind of moet bereiken.

Je snapt gegevens beter

Ja dit is handig voor als ik ooit filiaalmanager wordt

Nee; geeft een deel van die route weer.

ja omdat er met gradaties van skills wordt gewerkt

Ja, het wordt goed inzichtelijk waar nog verbeterpunten liggen voor de student en waarin hij/zij al competent is.

Betekenisvol zeker voor de student, hij weet waar hij staat, ik verwacht dat de student hele gerichte feedback krijgt.

Effectief en betekenisvol door de heldere indeling in categorieën en de directe relatie aan een select stuk theorie.

Tabel 9 onderzoek deelvraag 5; open vragen focusgroepen (1)

Open vragen met respons

Onttrokken aan evaluatieformulier focusgroep

Geef je mening over de kwaliteit van de dialoog naar aanleiding van de KPM meting en beoordeling (indien van toepassing)

was ruimte voor inspraak en meningen te delen

veel beter omdat er specifieker en gerichter is gekeken naar de kwaliteiten van de leerling

Deze meting lijkt mij produktiever. Je kunt beter de verschillende aspecten beoordelen en daardoor opleiding nog meer laten aansluiten op de desbetreffende praktijk. Verder vind ik de beoordeling beter toepasbaar binnen de getoetste vaardigheden.

Misschien te weinig tastbaar

de kwaliteit gaat omhoog.

Nvt

Nvt

Ik vind dat de kwaliteit beter is geworden dan voorheen, het is veel overzichtelijker.

Goed; duidelijke verbinding tussen meting en te bahelen resultaat / doelstelling.

niet van toepassing; is niet aan bod gekomen

Effectief zeker, gebruiksvriendelijk ook wel, maar heb wel enig uitleg nodig.

De gebruiksvriendelijkheid is bij een eerste keer minder, maar zal waarschijnlijk bij vaker toepassen uiteindelijk ook gebruiksvriendelijker zijn dan huidige, bredere beoordelingsinstrumenten.

Tabel 10 onderzoek deelvraag 5; open vragen focusgroepen (2)

Het evaluatieformulier bevat eveneens schaalvragen. De respons van de focusgroep-deelnemers staat in tabel 11.

Schaalvragen met mogelijk antwoord

1: heel weinig . . . . .. .. . . ……………... . . . . . . .10: heel veel/groot/hoog

Onttrokken aan evaluatieformulier focusgroep

gem

Totale respons focusgroep deelnemers

Wat zegt deze meting over de voortgang van de studie?

7.5

8 8 7 7 7 8 6 9 7 7 7 9 8

Wat is de waarde van deze meting als benchmark? (vergelijken studenten onderling)

7.3

9 8 7 5 6 6 8 7 8 8 6 9 8

Welke voorspelling geeft deze meting voor toekomstige prestaties (werk en school)?

7.2

8 8 7 6 7 7 6 9 6 8 7 8 7

Is een KPM meting subjectief of objectief?

6.6

8 7 7 7 8 3 6 7 8 3 6 9 7

Geef een mening over de relevantie van de KPM meting

7.8

8 8 7 7 7 8 8 8 8 7 7 10 8

Geef een mening over de herkenbaarheid van de KPM meting

7.7

9 7 7 7 8 8 8 9 7 7 6 9 8

Tabel 11 onderzoek deelvraag 5; schaalvragen focusgroepen

Analyse van het resultaat

Uitgangspunt is om de praktijkopleiders en docenten drie verschillende situaties te laten beoordelen. Wanneer per situatie de beoordelaars allemaal dezelfde, of een groot aantal zelfde beoordelingen, geven, dan is er sprake van een grote mate van betrouwbaarheid.

A: Interne betrouwbaarheid; interbeoordelaars-betrouwbaarheid.

Voor de situatie in film 1 zijn een groot aantal eenzelfde beoordelingen zijn gegeven. De beoordelingen variëren van een KPM-score 1 (9 stuks) tot KPM-score 2 (6 stuks). De respondenten zijn het er met elkaar over eens dat in deze situatie de kandidaat een beginner of maximaal een gevorderde is. De standaard deviatie van de beoordelingen is 0,51 . Dit wil zeggen dat in relatie tot het gemiddelde (KPM = 1,4) scoort de kandidaat minimaal een 0,89 tot maximaal een 1,91.

Deze eensgezindheid in beoordelingen geldt in mindere mate voor film 2. De beoordelingen variëren hier van een KPM-score 2 tot een KPM-score 4. Gevorderde, competent en meester is dus het oordeel. De standaard deviatie is hier 0,88. Gerekend vanuit het gemiddelde van 3.40 betekent dit minimaal een 2.52 en maximaal een 4,82.

De eensgezindheid in beoordelingen voor film 3 houdt het midden van voorgaande twee situaties. De score varieert van competent en meester tot expert. De standaard deviatie van de beoordelingen is 0,6 op een gemiddelde van 4,23.

Een belangrijke waarneming is dat alle respondenten de performance in film 2 als “hoger” beoordelen dan de performance in film 1. Tevens geldt dat alle respondenten de performance in film 3 “hoger” beoordelen dan de performance in film 1. Tenslotte geldt voor 7 (van de 10) respondenten dat de performance in film 3 “hoger” wordt beoordeeld dan de performance in film 2, 3 (van de 10) respondenten beoordelen de performance in film 3 hetzelfde als in film 3. Dit wil dus zeggen dat ze de onderlinge prestaties van de studenten vrijwel op dezelfde manier rangschikken.

Er zijn geen unaniem zelfde beoordeling gegeven op de drie uitvoeringen waarmee de KPM interventie als meting geen 100% betrouwbare meting genoemd kan worden. Er is ruimte voor interpretatie zo blijkt uit de uitkomsten van deze meting. Deze ruimte voor interpretatie is ook aangegeven door de respondenten in de evaluatie.


B: Interne betrouwbaarheid; Cronbach Alpha berekening

Om te bepalen of de schaalvragen ook onderling consistent zijn is per film de Cronbach alpha berekening uitgevoerd over alle beoordelingen per film. Bijlage H laat in detail deze berekeningen zien. In onderstaande tabel 13 staan de uitkomsten van deze berekening.

Tabel 12 Cronbach aplha uitkomsten van drie situaties

Een beschouwing van de beoordelingen op de unieke termen in de KPM-interventie laat zien dat er zeer consistent gewaardeerd wordt over de verschillende KPM-criteria per student. Een focusgroep deelnemer geeft bijvoorbeeld nooit bij één KPM-onderdeel een vijf en bij een ander KPM-onderdeel een één. (zie ook bijlage F)

C: Externe betrouwbaarheid; herhaalbaarheid van de KPM-interventie. Tabel 13 laat zien wat de gemiddelde KPM-score is, als waardering voor de prestatie van de studenten getoond in de respectievelijke filmfragmenten.

Tabel 13 herhaalbaarheid van de KPM-interventie

Film 1 scoort gemiddeld bij de focusgroepen respectievelijk 1,8; 1,0 en 1,4. Dat levert een KPM-score op van respectievelijk 2; 1 en 1. Film 2 scoort gemiddeld bij de focusgroepen respectievelijk 3,5 en 2,8; dit levert KPM-scores op van tweemaal 3. Film 3 scoort bij de focusgroepen gemiddeld 4,0; 4,0 en 4,4. Dit levert als KPM-score driemaal een 4 op.

Het gemiddelde van de scores laat zien dat er een patroon zit in de rangschikking van de performance van de studenten. Het patroon dat te constateren is, is dat er een vergelijkbare opklimmende rangschikking als beoordeling wordt gegeven.

D: Externe betrouwbaarheid; herkenbaarheid van de uitkomsten

Op de open vraagstellingen van de afgelegde leerroute en de nog af te leggen leerroute van de student zijn 14 respondenten positief over de KPM-interventie als methode om dit aspect inzichtelijk te maken. Eén respondent twijfelt hieraan en één respondent is negatief over dit punt.

Dertien respondenten geven met een oordeel: 7 tot 9 aan de KPM-meting van tamelijk objectief tot zeer objectief te vinden. Twee respondenten geven met een oordeel: 6 aan een zekere mate van objectiviteit te onderkennen in de KPM-meting. Twee van de zeventien respondenten geven met een oordeel: 3 aan dat de KPM-meting een belangrijke mate van subjectiviteit in zich heeft.

Een aantal andere nuances ten aanzien van de KPM-interventie als meting is ook naar voren gekomen.

- Een respondent benoemt de studievoortgang te weinig tastbaar.

- Een tweetal respondenten geven aan de methode gecompliceerd te vinden, daardoor is er geen 100% vertrouwen in deze methode.

- De KPM-meting heeft niet altijd herkenbare terminologie, volgens enkele respondenten.

Antwoord op de onderzoeksvraag.

De interne betrouwbaarheid is geanalyseerd met de interbeoordelaars-betrouwbaarheid en de Cronbach alpha berekening. De patroonanalyse van de KPM-beoordelingen geeft aan dat de beoordelaars het overwegend eens zijn over de toe te kennen oordelen. De Cronbach alpha berekening geeft het beeld van een consistent geheel.

Gelet op deze is vooralsnog te concluderen dat er een goede samenhang is tussen de scores en de beoordelingen van de separate termen in de competenties. Daarmee lijkt de KPM-interventie als meting intern betrouwbaar te zijn.

Externe berouwbaarheid herhaalbaarheid van de KPM-interventie en herkenbaarheid van de uitkomsten.

De herhaalbaarheid ondersteund het beeld van de rangschikking van de studenten in beoordeling toch is er ruimte voor interpretaties als het gaat om absolute beoordelingen. Dit is met name ten zien bij film 2 waar de variatie van oordelen het grootst is. Dit beeld wordt ondersteund door de analyse van de open vragen, de herkenbaarheid van uitkomsten. De deelnemers zijn het er in ruime mate over eens dat de waardering herkenbaar is en objectief lijkt. Een bepaalde mate van subjectiviteit is ook onderdeel van de beoordelingen.

De onderzoekdata suggereren dat de KPM-interventie als meting een redelijk betrouwbare meting is.

Ten aanzien van de foutmarge van deze meetsystematiek is dit onderzoek te beperkt om een conclusie te kunnen trekken. Dat er een willekeurige fout is van 0,5 tot 0,8 in de uiteindelijke waardering, is aangetoond met de interbeoordelaars-betrouwbaarheid.

1.7 Onderzoek deelvraag 6

Geeft de uitkomst van de meting aanleiding tot concrete dialoog over het werk en de prestaties in het werk?

Toelichting

Met deze onderzoek deelvraag wordt gecontroleerd of er een directe relatie is tussen de theorie lessen en de opbrengst van de leerwerk opdracht. Indirect geeft dit dan aan of kennisproductiviteit meetbaar is. De check bestaat er uit dat de beoordelaars iets waarderen van wat de studenten laten zien. De vraag is dan praten de beoordelaars en studenten over hetzelfde? Is er begrip en herkenning over het waarde-oordeel en is er een gemeenschappelijk beeld over tekortkomingen? Door deze controlevragen in de onderzoeksgroep geeft deze check een indirect antwoord op de hypothese.

Context van de gegevensverzameling

Bij de KPM-interventie bij Schuurman is de onderzoeker tijdens het CGI gaan observeren hoe de dialoog zich ontspint tussen praktijkopleider en student. De kwaliteit van de dialoog is in kaart gebracht door de hoeveelheid wisselingen in woordvoering, de lengte van woordvoering plus het aantal vragen per woordvoering bij te houden. Inhoudelijk is het aantal concrete handvatten en suggesties geturfd en ook is de relatie met de prestaties ten aanzien van het beroepsproduct genoteerd.

Daarnaast zijn gegevens meegenomen van de evaluatievragenformulier ter verificatie van de wat de deelnemers als waarde van de dialoog hebben ervaren.

Verwerking van de gegevens

Uit de observatie-aantekeningen (bijlage E) blijkt dat bij de aanvang van het eerste oordeel de praktijkopleider begint met complimenten over het geleverde werk en met vragen over de totstandkoming van het werk. Na een korte inhoudelijke toelichting door de kandidaat volgen aanwijzingen over alternatieve uitwerkingen en aanvullingen op de uitwerking. Dit patroon herhaalt zich bij de andere twee kandidaten, waarbij bij kandidaat nummer een weinig tot geen aanvullingen gegeven worden. Bij navraag bleek dat de praktijkopleider geen aanvullingen had vanwege de volledigheid van het werk van deze kandidaat.

Het aantal wisselingen in gespreksvoering was bij kandidaat 1, éénentwintig maal, bij kandidaat 2 tweeëndertig maal en bij kandidaat 3 zesentwintig maal. Ook de hoeveelheid vragen was redelijk consistent per gesprek. In gesprek met kandidaat 1 werden er totaal twaalf vragen gesteld. In gesprek met kandidaat 2 werden negentien vragen gesteld en in gesprek met kandidaat 3 werden er vierentwintig vragen gesteld. De vraagstelling per gesprek was afwisselend met bijna een 50/50 verhouding, dus zowel de praktijkopleider als de kandidaat stelde vragen. Bij het laatste gesprek lag deze verhouding iets anders. Hier had de kandidaat ruim meer vraagstellingen dan de praktijkopleider.


Vanuit de evaluatieformulieren is de analyse te maken die antwoord geeft op de vraag in welke mate de respondenten het eens zijn over de concreetheid van de dialoog over het werk. Tabel 15 laat de relevante respons zien.

Schaalvragen met mogelijk antwoord

1: heel weinig …………………………………….. 10: heel veel/groot/hoog

Onttrokken aan evaluatieformulier

P

D

K1

K2

K3

Geeft de KPM meting aanleiding tot dialoog?

8

10

7

8

7

Stimuleert een KPM meting de ontwikkeling van een student?

9

9

8

10

7

Welke voorspelling geeft deze meting voor toekomstige prestaties (werk en school)?

8

7

7

8

8

Zet de KPM meting aan tot leren en/of reflectie?

8

9

9

10

8

Geeft de KPM meting aanleiding tot verandering van aanpak?

8

7

8

4

6

Tabel 14 onderzoek deelvraag 6; schaalvragen

Analyse van het resultaat

Uit observatie blijkt dat er sprake was van een zekere balans in de gesprekken. Dit geldt zowel voor de lengte van de woordvoering als voor het aantal vragen over en weer alsmede over de inhoud van het examenstuk.

Uit het tabel 15 is daarnaast af te lezen dat zowel de praktijkopleider als de kandidaten de ontwikkelgerichtheid als de aanzet tot leren hoog waarderen. De waardering voor de dialoog naar aanleiding van de KPM-interventie wordt gewaardeerd met cijfers: 8 - 10 - 7 - 8 - 7.

Wat opvalt is de score 10 voor de aanzet tot reflectie en leren, waarbij dezelfde kandidaat een 4 geeft voor de aanzet tot verandering van aanpak. Deze score 4 laat zich eenvoudig verklaren door het feit dat het betreffende examenstuk door zowel de praktijkkopleider als de docent hoog is beoordeeld. De kandidaat heeft geen reden tot veranderen van aanpak; het gaat immers al goed. Wat dus doorklinkt in de vraag is de suggestie dat na iedere beoordeling er een andere aanpak nodig is, hetgeen dus niet waar hoeft te zijn. De constatering is dan ook dat deze evaluatievraag niet goed doordacht genoeg geformuleerd is.

De evaluatie geeft aan dat er een hoge mate van overeenstemming is over het feit dat de KPM-interventie aanzet tot leren en/of reflectie en de student stimuleert tot ontwikkeling. De evaluatievragen geven dit aan met waarderingen van respectievelijk 9, 9, 8, 10, 7 en 8, 9, 9, 10 en 8 Het feit dat er tijdens het examen inhoudelijk alleen over beroepsproducten in het werk is gesproken geeft aan dat bovenstaande uitspraken dus ook herkenbaar over het werk gaan.

Verder komt uit de evaluatie dat de KPM-interventie een belangrijke aanleiding is tot verandering van aanpak en een goede voorspelling geeft voor toekomstige prestaties in werk en op school. De cijfers hiervoor gegeven zijn respectievelijk: 8, 7, 8, 4, 6 en 8, 7, 7, 8, 8.

Antwoord op de onderzoekvraag

Een tweetal waarnemingen geven concrete inhoud voor het beantwoorden van de onderzoeksvraag.

1 score uit evaluatie.

2 observatie van de gesprekken.

De onderzoeksgegevens laten zien dat de KPM-interventie een goede aanleiding biedt tot concrete dialoog over het werk en de prestaties in het werk. Het lijkt er dus op dat de KPM-interventie een stimulerend effect heeft op leren, reflectie en ontwikkeling en een stimulerend effect heeft op prestaties in het werk.

1.8 Onderzoek deelvraag 7

Hebben de student, praktijkopleider en docent een gelijk beeld over de leerdoelen naar aanleiding van de meetresultaten?

Context van de gegevensverzameling

De KPM-formulieren en de evaluatieformulieren gebruikt bij Schuurman dienen als basis voor het beantwoorden van deze onderzoek deelvraag. De specifieke vraag over de leerdoelen is gesteld in het evaluatieformulier als een open vraag. Daarnaast geven de schaalvragen aan in hoeverre er overeenstemming is tussen studenten, docent(en) en praktijkopleider(s) over de uitkomsten van de KPM-meting.

Tabel 16 geeft de antwoorden weer van alle kandidaten (k1,k2,k3), de praktijkopleider (P) en de docent (D) op de open vragen bij de casus Schuurman bedrijfsgroep. Vervolgens geven deze respondenten hun mening op de schaalvragen weergegeven in tabel 16.

Verwerking van de gegevens

Open vraag met respons

Onttrokken aan het evaluatieformulier

Geeft de KPM meting een duidelijk beeld van de leerroute die de student afgelegd heeft of nog moet afleggen? (graag toelichten)

Ja, deze meting geeft weer waar de student momenteel staat

P

Je er ontstaat een goed beeld van wat de studenten beheersen en ook wat ze nog niet beheersen

D

Ja, snapt gegevens beter

K1

(leeg)

K2

Ja dit is handig voor als ik ooit filiaalmanager wordt

K3

Tabel 15 onderzoek deelvraag 7; open vragen evaluatie interventie Schuurman

Schaalvragen met mogelijk antwoord

1: subjectief …………………..…………………… 10: objectief

1: heel weinig …………………………………10: heel veel/groot/hoog

Onttrokken aan evaluatieformulier

P

D

K1

K2

K3

Is een KPM meting objectief of subjectief?

8

9

8

9

8

Geef een mening over de relevantie van de KPM-meting

8

10

8

10

8

Geef een mening over de herkenbaarheid van de KPM-meting

8

9

9

9

8

Tabel 16 onderzoek deelvraag 7; schaalvragen interventie Schuurman

Analyse van het resultaat

In tabel 17 geven vier van de vijf respondenten aan het eens te zijn met de stelling dat de KPM-meting een duidelijk beeld geeft van de leerroute. Eén kandidaat heeft geen antwoord gegeven op de stelling. De toelichting van de respondenten laat zien dat er een zekere bevestiging is van de stelling. Dat de feedback wordt begrepen, wordt bevestigd door de toelichting: snapt gegevens beter. Van groot belang is de opmerking van de praktijkopleider, namelijk na het beoordelen van drie kandidaten ziet deze respondent wat de kandidaten wel en niet begrepen hebben. Daarnaast ziet deze respondent ook de onderlinge verschillen in performance van de kandidaten en deze respondent weet dit te duiden. Dit perspectief blijkt enerzijds uit de opmerking in tabel 16, maar natuurlijk ook uit de variatie in de beoordelingen (tabel 7).

Het feit dat de drie kandidaten de KPM-beoordeling als objectief ervaren, tabel 17, geeft aan dat ze verwachten hetzelfde resultaat te halen wanneer een ander persoon de beoordeling zou doen ze verwachten. De combinatie met de grote mate van herkenbaarheid en relevantie geeft aan dat de deelnemers zich inhoudelijk herkennen in het CGI-gesprek.

Tijdens het CGI bleek uit observatie dat er vrij snel overeenstemming was bij de drie kandidaten en de praktijkopleider over de kwaliteit van het geleverde werk. De overeenstemming betrof dan de uiteindelijke kwaliteit, de geconstateerde manco’s en ook de mogelijke verbeteringen aan het examenstuk. Suggesties voor de te volgen leerroute zijn voor het belangrijkste deel formeel vastgelegd in de feed-forward aantekeningen van de praktijkopleider en de docent (zie ook deelonderzoekvraag 1).

Tevens is uit observatie naar voren dat er niet alleen op schrift, maar ook in mondeling overleg sprake is van een eenduidig standpunt over de ontwikkelrichting en behoefte van de student.

Noot: belangrijk nadeel voor deze onderzoeksvraag in de Schuurmancontext was het moment in de opleiding. Voor deze studenten was het moment in de opleiding, en dus de meting, een eindgesprek en geen tussenmeting. Omdat het een definitieve oplevering van een eindproduct betrof, was er weinig noodzaak tot het formuleren van toekomstige leerroutes en/of leerdoelen. Een uitzondering herop was de situatie met de slechts scorende kandidaat. Omdat het eindproduct van deze kandidaat niet het gewenste eindniveau van de opdrachtgever haalde, is het aantal handvatten in deze situatie voor dit onderzoek relevant gebleken. Uit de evaluatie van deze kandidaat blijkt dat er snel overeenstemming is bereikt over de aanvullingen die gedaan moeten worden. De kandidaat had meerdere vragen betreffende input, kennis en vaardigheden welke tijdens het CGI naar tevredenheid van de kandidaat als ook naar tevredenheid van de praktijkopleider zijn beantwoord.

Antwoord op de onderzoeksvraag

Het blijkt dat er overeenstemming is over de tekortkomingen en verbeterpunten van het examenstuk van alle drie kandidaten. Daarmee wordt voor een belangrijk deel ook de indirect de vraag beantwoord of er een gelijk beeld is ontstaan. De KPM-interventie brengt naar voren wat er correct is uitgevoerd en wat er nog aangevuld kan worden.

Echter omdat deze overeenstemming niet is geëxpliciteerd in leerdoelen (zie onderzoek deelvraag 1) is het niet mogelijk deze vraag te beantwoorden. Wel kan worden gezegd dat de KPM-interventie verheldering biedt in bereikte leerresultaten.


1.10 Analyse van betrouwbaarheid en validiteit van het onderzoek

Om iets te kunnen zeggen over de betrouwbaarheid en de validiteit van dit onderzoek zijn de volgende drie perspectieven meegenomen.

  1. Een maat van betrouwbaar onderzoek is het goed bewust opereren rondom de zes dilemma’s van Stam (2007).

  1. Ten aanzien van de validiteit van dit onderzoek is gekozen voor een analyse naar de vier niveaus van validiteit: descriptief, theoretisch, indicatief en causaal van de effectladder (Aken & Andriessen, 2011).

  1. Tenslotte is geanalyseerd in welke mate de respons authentiek is door te bepalen of er onderstroom en bovenstroom effecten (Lingsma & Brabander, 2014) te verwachten zijn. Een grote mate van verschillen in belang zou suggereren dat er sprake kan zijn van onderstroom effecten. (bijvoorbeeld sociaal wenselijk antwoorden en ja zeggen, maar nee doen).

(Noot: Dit onderstroom, bovenstroom perspectief is geleend uit de organisatiekunde. Partijen als Kessels & Smit en Twijnstra organisatie adviseurs spreken over bovenstroom effecten als effecten die formeel georganiseerd duidelijk en meetbaar zijn. Onderstroom effecten worden gekenmerkt door krachten en bewegingen die cultuur bepaald zijn en niet makkelijk geëxpliciteerd kunnen worden.)

1.10.1 Betrouwbaarheid van het onderzoek

Een maatstaf voor betrouwbaar ontwerponderzoek is het bewust opereren rond de zes dilemma’s van Stam (2007). De zes dilemma’s en adressering hiervan is als volgt.

Dilemma 1: Objectieve houding ten aanzien van het ontwerp, overtuigd zijn van de ontwikkelde oplossing.

De manier waarop dit dilemma geadresseerd is: objectiviteit ten aanzien van het ontwerp blijkt uit de voorgestelde veranderingen en aanpassingen aan de KPM-interventie. De auteur is vast overtuigd van het werkende principe van kennisproductiviteit, maar het vehikel om kennisproductiviteit te meten, het eigen ontwerp, kan zeker verbeterd worden. Daarmee is een objectieve houding zo goed als mogelijk gedemonstreerd.

Dilemma 2: Relatie tot de onderzoek casus, afstandelijk als onderzoeker <> betrokken als veranderaar.

De manier waarop dit dilemma geadresseerd is: de door te voeren verandering is ten dele van belang in de casus geweest, omdat de verandering niet duurzaam geïmplementeerd hoefde te worden. De medewerking van Schuurman was een voorwaarde en deze is verkregen door de accountmanager, niet de onderzoeker, dus de relatie was opgebouwd via een derde persoon. De onderzoeker was slechts docent van het keuzedeel, de relatie tot de klant was een afstandelijke relatie.

Dilemma 3: Tijd voor onderzoek in de kennisstroom versus tijd voor implementatie in de praktijkstroom.

De manier waarop dit dilemma geadresseerd is: er is ruim de tijd genomen voor de kennisstroom in het vooronderzoek deel, doordat dit onderzoek al in het ROC4NL project is gestart in 2013. De praktijkstroom heeft voldoende tijd gekregen vanwege de extra tijd die is verkregen door verlenging van de studie. Door de verkregen extra tijd en aandacht is er een goede balans in de theoriestroom en de praktijkstroom.

Dilemma 4: voordeel voor onderzoeker versus voordeel voor casus probleemeigenaar.

De manier waarop dit dilemma geadresseerd is: er is in deze casus een soort win-win situatie bereikt. De probleemeigenaar Schuurman kreeg door dit experiment een maatwerk examenopdracht en de kans om mee te kijken met een nieuwe beoordelingssystematiek voor medewerkers. De onderzoeker kreeg ruimte voor onderzoek, maar hoefde het probleem van beoordelen niet op te lossen, omdat terugval op de oude systematiek mogelijk zou zijn. Het extra werk dat de onderzoeker moest uitvoeren was de maatwerk examenopdracht construeren.

Dilemma 5: kennisstroom is rationeel en solitair proces versus praktijkstroom met kenmerken van een politiek proces en groepsdynamiek.

De manier waarop dit dilemma geadresseerd is: de kennisstroom is door initiële inbedding in het ROC4NL project een gezamenlijke inspanning geweest. Door dit kennisproces breed te trekken met peers en begeleiders is de mate van solitair werken beperkt gebleven. De praktijkstroom kende weinig tot geen politieke dynamiek vanwege het vrijblijvende karakter van de keuzedelen en de examinering hiervan.

Dilemma 6: tegenstelling tussen participeren en observeren.

De manier waarop dit dilemma geadresseerd is: voorbereiding, voorbereiding en nog eens voorbereiding. De drie rollen docent, onderzoeker en observator tijdens het CGI vroegen om een gedegen voorbereiding, anders zou een rol ondersneeuwen. Dit dilemma is goed gevoeld tijdens het eerste CGI-gesprek bij Schuurman. Het moeten participeren en observeren tijdens één gesprek is simultaan niet uitvoerbaar, alleen sequentieel. Om het eerste gesprek op gang te brengen, deed de onderzoeker de aftrap van het gesprek. Omdat je als onderzoeker dan participeert, moet je heel bewust weer uit de participerende rol stappen om te kunnen observeren. Doordat bij het eerste gesprek de leiding als participant is genomen, moesten achteraf de notities voor het observeren ingevuld worden. Door bij het tweede en derde gesprek de praktijkopleider te vragen de leiding te nemen, is de rol als onderzoeker vanaf moment de start observerend. Het is dan makkelijker om zo nu en dan in te stappen als participant. Door het maken van aparte observatielijsten vooraf is rolverdeling tijdens de gesprekken tot stand gekomen en die voorbereiding heeft goed uitgepakt.

Conclusie ten aanzien van de betrouwbaarheid van het onderzoek

Uit bovenstaande analyse blijkt dat het dilemma rollen en rolverdeling van de onderzoeker versus participant in de praktijk ook heeft gezorgd voor een tijdelijke spagaat. Toch heeft dit dilemma geen onoverkomelijke problematiek opgeleverd, mede omdat het tijdig is gesignaleerd. De overige dillema’s zijn vooraf goed doordacht en weloverwogen geadresseerd. De conclusie is dan ook dat dit onderzoek voldoende betrouwbaar is naar de maatstaven van Stam (2007).

1.10.2 Validiteit van het onderzoek

Ten aanzien van de validiteit van dit onderzoek is gekozen voor een analyse naar de vier niveaus van validiteit: descriptief, theoretisch, indicatief en causaal van de effectladder van Van Aken en Andriessen (2011, p165 e.v.).

De tabel 18 hieronder laat zien welke validiteit gegeven wordt aan de interventie door deze manier van valideren.

niveau

Validiteit beschrijving

Kwalificatieniveau voor effectiviteit

1

Descriptief

Interventie heeft potentieel

2

Theoretisch

Interventie is theoretisch goed onderbouwd

3

Indicatief

Interventie is doeltreffend

4

Causaal

Interventie is werkzaam

Tabel 17 Niveau van bewijskracht in praktijk gestuurd effectonderzoek

Alle opmerkingen van alle respondenten van Schuurman bedrijfsgroep en die van de focusgroepen zijn meegenomen voor deze analyse. De bijlage L geeft het totaal van alle op- en aanmerkingen tijdens het gehele onderzoek. Het totale aantal aan opmerkingen, aanmerkingen, notities en antwoorden op open vragen is 45 stuks. Aan de hand van deze respons wordt inhoudelijk bekeken aan welk niveau van validiteit dit onderzoek voldoet.

Niveau 1 descriptief valide.

Voor dit niveau wordt de score op begrijpelijk en duidelijkheid gemeten. Het aantal opmerkingen dat te scoren is als duidelijk, is 13 maal positief op dit criterium. Het aantal opmerkingen dat te scoren is als begrijpelijk is 6 maal matig positief. Als toelichting op de matige score geven respondenten bijvoorbeeld aan dat om de KPM-interventie te begrijpen en/of doorgronden assistentie is gewenst. Niet relevante respons voor deze vraag: 26.

Niveau 2 theoretisch valide.

Voor dit niveau wordt gescoord of de KPM-interventie een voldoende theoretisch onderbouwde methode is. Het aantal scores op dit criterium voor theoretische onderbouwing is 16 maal, positief tot zeer positief. De score voor opmerkingen die niet relevant zijn voor deze vraag is 29 maal.

Niveau 3, indicatief valide,

Voor dit niveau wordt gescoord of de KPM-interventie de doelstellingen behaalt. De score op verbetering tot sterke verbetering is 17 maal. Dit is een de score op verbetering van methode ten opzichte van de huidige ESS- methode. Aantal opmerkingen niet relevant voor deze vraag: 28 maal

Niveau 4, causaal valide, zijn andere effecten uitgesloten?

Dit niveau kan niet worden bepaald door de begrenzing van dit onderzoek van één casus.

Figuur 2 Validiteit KPM onderzoek naar Andriessen en van Aken

Conclusie ten aanzien van de validiteit van dit onderzoek.

Te constateren valt dat de relevante respons positief tot zeer positief is. Tevens is te zien dat bij de verdeling van de respons naar de niveaus van validiteit: descriptief, theoretisch, indicatief en causaal de verdeling redelijk constant is over de eerste drie niveaus. De data suggereren dat dit onderzoek descriptief, theoretische en indicatief valide is naar de maatstaf van Van Aken en Andriessen (2011). De beperkingen van dit onderzoek staan niet toe om iets te zeggen over de causale validiteit, omdat dit onderzoek slechts één onderzoeksgeval betreft.

1.10.3 Authenticiteit van de respons

Welk doel streven belanghebbenden na met het aangaan van een KPM-interventie? Welke belangen hebben respectievelijk de student, de praktijkopleider en de docent? Het is te verwachten dat een student gewoon het diploma wil halen en dus een zo hoog mogelijke score nastreeft. Het lijkt logisch te veronderstellen dat de praktijkopleider er naar streeft dat een student zo goed mogelijk het werk uitvoert. De docent daarentegen kan het belangrijk vinden om gewenste kennis en vaardigheden, aangeleerd tijdens de lessen, te waarderen.

Om een indruk te krijgen van de authenticiteit van respons zijn er vragen in de evaluatie opgenomen die een onderstroom versus bovenstroom analyse mogelijk maken.

Context van de gegevensverzameling

De evaluatieformulieren van de KPM-interventie bij Schuurman en van alle focusgroepen zijn als basis genomen voor deze analyse.


Gegevens verwerking

Schaalvraag: Wat is voor jou een belangrijk …? Dat de student...

met mogelijk antwoord

0%: niet belangrijk………………………………100%: heel belangrijk

Onttrokken aan de evaluatieformulieren

P1

P2

P3

P4

P5

P6

P7

P8

P9

..het werk goed uitvoert (totaal 690)

70

80

80

70

70

70

80

90

80

..de kennis heeft en theorie snapt (totaal 720)

80

90

100

80

70

60

70

90

80

..het diploma behaalt (totaal 610)

70

90

80

70

50

80

80

10

80

Tabel 18 overige analyse; belang praktijkopleiders

Schaalvraag: Wat is voor jou een belangrijk …? Dat de student...

met mogelijk antwoord

0%: niet belangrijk……………………………………………100%: heel belangrijk

Onttrokken aan de evaluatieformulieren

K1

K2

K3

..het werk goed uitvoert (totaal 220)

70

100

50

..de kennis heeft en theorie snapt (totaal 220)

70

100

50

..het diploma behaalt (totaal 270)

100

100

70

Tabel 19 overige analyse; belang kandidaten

Schaalvraag: Wat is voor jou een belangrijk …? Dat de student...

0%: niet belangrijk……………………………………………100%: heel belangrijk

Onttrokken aan de evaluatieformulieren

D1

D2

D3

D4

D5

D6

..het werk goed uitvoert (totaal 330)

70

80

80

-

-

100

..de kennis heeft en theorie snapt (totaal 340)

80

80

80

-

-

100

..het diploma behaalt (totaal 300)

50

100

80

-

-

70

Tabel 20 overige analyse; belang docenten

Analyse van het resultaat

Uit de gegevens blijkt dat de verschillende partijen verschillende belangen hebben ten aanzien van het praktijkexamen. De verschillen zijn echter niet zo groot als verwacht.

De verwachting van de onderzoeker is geweest dat praktijkopleiders het grootste belang zouden hebben bij een goede uitvoering van het werk. Dat docenten het grootste belang zouden hebben bij het snappen van de theorie en dat studneten het grootste belang hebben bij het behalen van een diploma.

Verrassend bij de score van de praktijkopleiders is om te zien dat hier in totaliteit het meest belang wordt gehecht aan het feit dat de student de theorie snapt gevolgd door het goed uitvoeren van het werk. Op afstand staat het belang voor deze groep respondenten het feit dat er een diploma wordt behaald.

Bij de respons van de kandidaten (studenten) is duidelijk dat het belang ligt bij het behalen van het diploma. Op ruime afstand volgen de belangen bij een goede uitvoering van het werk en het belang van theorie en vaardigheidsbeheersing. Opvallend is de score van 3x 100%, dit kan duiden op een sociaal wenselijke houding of gemakzuchtige beantwoording.

De respons van de docenten laat zien dat er een lichte voorkeur is voor het feit dat de theorie is begrepen. De belangen van goede werkuitvoering en het behalen van een diploma staan in de score dicht bij elkaar. Voor docenten en praktijkopleiders geldt dat het hoogste belang is het doorgronden van de theorie. Opmerkelijk is dat een tweetal docenten geen respons heeft gegeven op deze vragen.

Deze analyse van verschillen in belang geeft aan dat de verschillen relatief klein zijn. Doordat alle scores bij elkaar opgeteld zijn is dit te zien.

De interpretatie hiervan is dat er weinig onderstroom effecten te meten zijn en dus dat de verwachting is dat er een hoge mate van authenticiteit in de respons zit. Er is dus waarschijnlijk geen verborgen agenda bij de respondenten. Een belangrijke nuance is echter dat ook deze specifieke evaluatievragen sociaal wenselijk beantwoord kunnen zijn.


2 Samenvatting, discussie en conclusies

2.1 Samenvatting van onderzoek deelvragen

Vraag 1

Kunnen de praktijkopleider en student zelfstandig leervragen of de leerroute articuleren na een KPM-interventie?

Antwoord op de onderzoeksvraag: de feed-forward data die de KPM-interventie genereert geeft voldoende aanleiding om te veronderstellen dat vervolgstappen voor de student voldoende inzichtelijk kunnen worden gemaakt.

Discussie

Ondanks dat het KPM-formulier een invulveld heeft voor leerdoelen of leerarticulatie is dit veld nimmer gebruikt. Dus de onderzoeksvraag die rechtstreeks in de praktijk is gesteld is niet beantwoord. Indirect wordt wel meermaals advies gegeven over de te nemen vervolgstappen bij de feed-forward gegevens. Dit wordt ondersteund op gegevens uit de evaluatie. Bij de evaluatie geven zowel de praktijkopleiders als de studenten aan een vervolgstap voor het leren gezamenlijk vorm te kunnen geven.

Vraag 2

Geeft de interventie aan de praktijkopleider voldoende informatie om concrete feedback te geven aan student?

Antwoord op de onderzoeksvraag: in dit onderzoek is in ruime mate feedback waargenomen door inzet van de KPM-interventie. Deze feedback wordt door de respondenten als herkenbaar en relevant beoordeeld.

Discussie

Feedback geven gebeurt in verschillende kwaliteiten van feedback. Een praktijkopleider kan zeggen: “dit is niks”, een andere praktijkopleider kan zeggen: “dit voldoet nog net niet om die en deze reden”. Hiermee wil ik zeggen dat ook de feedback in een KPM-interventie mensenwerk is, waarbij kwaliteitsverschillen voor een belangrijk deel menselijk bepaald worden.

Vraag 3

Geeft de interventie aan de praktijkopleider voldoende informatie om concrete feed-forward te geven aan de student?

Antwoord op de onderzoeksvraag: feed-forward gegevens zijn in dit onderzoek in voldoende mate waargenomen. De mate van concreetheid van de feed-forward wordt aangetoond door de aspecten relevantie en herkenbaarheid. Het onderzoek toont aan dat de respondenten het in belangrijke mate hier mee eens zijn.

Discussie

Eenzelfde menselijk aspect als in de deelvraag hiervoor geldt hier. De kwaliteit van feed-forward is in dit onderzoek ook ter discussie te stellen. De aard van de opmerkingen is niet immer te kwalificeren als feed-forward maar soms als feedback of is het een vraag van de beoordelaar.

Tevens is in deze casus geconstateerd dat twee kandidaten voldoende assertief zijn om het gesprek aan te gaan bij feed-forward opmerkingen. Zij deden dit door bijvoorbeeld door de vraag te stellen: “hoe dan?“. De kandidaat die deze assertieve houding niet had (wegens zenuwen of anderszins) bleef steken bij goedwillende verklaringen, maar had achteraf gesproken niet zo goed een idee hoe de verbeterstappen genomen moesten worden.

(Noot: het CGI met de KPM –interventie was in dit onderzoeksgeval een examenmoment, daar is bij kandidaten een bepaalde mate van spanning aan de orde geweest)

Vraag 4

Geeft de uitkomst van de KPM-meting een valide waardering voor de student?

Antwoord op de deelvraag. De onderzoekdata suggereren dat er een belangrijke mate van interne en externe consistentie is. De KPM-interventie als meetinstrument lijkt een valide meting zoals ingezet in dit onderzoek. De waardering voor de student zou dan een valide waardering zijn. Vanwege de eerder genoemde beperkingen van dit onderzoek is voor een steviger gefundeerde validiteitsbevestiging nader onderzoek nodig.

Discussie

De studenten zijn individueel allen tevreden over het uitgesproken oordeel, zo blijkt uit de opmerkingen na de evaluatie. Ze zijn van oordeel dat het cijfer passend is voor de geleverde prestaties en daarbij waren alle kandidaten opgelucht omdat ze een voldoende haalden. (de cesuur: KPM-score 2 = voldoende)

Helaas is een belangrijke beperking van dit onderzoek het aantal onderzoekgevallen (n=3). Alléén al hierdoor is het vrijwel onmogelijk om feitelijke uitspraken te doen over het onderzoek. Eveneens is bij deze onderzoekdeelvraag de berekening van Cronbach alpha uitgevoerd voor het bepalen van de interne consistentie. De vraag is of het ondanks de dubbele beoordeling (voor de berekeningen geldt n=6) toch een te kleine dataset is opgeleverd. Vertrouwen in de interne consistentie van de KPM-interventie mag ontleend worden aan de overeenkomstige uitkomsten van Cronbach alpha in de praktijk als bij de focusgroepen waarvoor een groter aantal beoordelingen zorgt voor een grotere n respectievelijk n=15, n=10 en n=13. (Cronbach alpha bij Schuurman: 0,82; focusgroep 1: 0,85; focusgroep2: 0.81 en fopcusgroep 3: 0.87). Desondanks is een wantrouwen vanwege de te kleine onderzoeksgroep terecht.

Vraag 5

Is de KPM-interventie als meetmethode een betrouwbare meting?

Antwoord op de onderzoeksvraag. De onderzoekdata suggereren dat de KPM-interventie een betrouwbare meting is. Een maat voor de betrouwbaarheid kan met dit onderzoek niet worden beantwoord. Ten aanzien van de foutmarge van deze meetsystematiek lijkt dit onderzoek te beperkt om een conclusie te kunnen trekken. Dat er een foutmarge is, is aangetoond.

Discussie

Observerend valt op dat juist bij film 2 blijkt dat het een momentopname is en slechts ten dele geschikt als beoordeling van een praktijkexamen. In de nabespreking geven enkele respondenten aan naar de letter van de opdracht te oordelen en geven dus een lage beoordeling. Andere respondenten veronderstellen dat wat ze zien het gevolg is van een gedegen voorbereiding en dat er dus bepaalde mate van kennis aanwezig moet zijn. Dus is er een relatief hogere beoordeling van deze zelfde situatie. Hier is dus sprake van interpretatie bij de respondenten.

Deze interpretatie van de respondenten is mogelijke een belangrijke oorzaak van de foutmarge. Het is ruimte voor subjectiviteit. De betrouwbaarheid had hoger kunnen zijn als de keuze was gemaakt om een aantal aspecten van de KPM-meting over te slaan bij de focusgroepsessie. Bij film 2 en film 3, waar bij het beoordelen van een aantal competentie-aspecten er een stuk interpretatie aan de orde is geweest, zou dan komen te vervallen. Tevens geldt dat wanneer de respondenten de kans hadden gekregen om een CGI gesprek te houden, dan zou de interpretatie getoetst kunnen worden tijdens het CGI. Dit zou de betrouwbaarheid van de KPM-methode hoogstwaarschijnlijk ten goede komen.

Vraag 6

Geeft de uitkomst van de KPM-meting aanleiding tot concrete dialoog over het werk en de prestaties in het werk?

De onderzoekdata geven aan dat de KPM-interventie een goede aanleiding biedt tot concrete dialoog over het werk en de prestaties in het werk. Dit komt doordat de KPM-interventie een stimulerend effect heeft op leren, reflectie en ontwikkeling en een stimulerend effect heeft op prestaties in het werk.

Discussie

Uit de observaties tijdens de CGI-gesprekken blijkt dat de dialoog over het werk voor een belangrijk deel tot stand komt door de leer-werkopdracht en het examenproduct. Verschillen in opvatting en redenen hiervoor worden zichtbaar in de dialoog. De KPM-interventie verbetert de dialoog door het openen van perspectieven en opvattingen en het verhelderen van de tegenstellingen. De volgende deelconclusie is dat de KPM interventie de professionele scherpte een positieve impuls geeft.

De waarde van de KPM-interventie is door bovengenoemde drie deelconclusies voor de dialoog bewezen.

Vraag 7

Hebben de student, praktijkopleider en docent een gelijk beeld over de leerdoelen naar aanleiding van de meetresultaten?

Indirect blijkt dat er overeenstemming is over de tekortkomingen en verbeterpunten van het examenstuk van alle drie kandidaten. Daarmee wordt voor een belangrijk deel de vraag beantwoord of er een gelijk beeld is ontstaan. De KPM-interventie brengt naar voren wat er correct is uitgevoerd en wat er nog aangevuld kan worden.

Echter omdat dit beeld niet is geëxpliciteerd in leerdoelen (zie onderzoek deelvraag 1) is het niet mogelijk deze vraag te beantwoorden. Wel kan worden gezegd dat de KPM-interventie verheldering biedt in bereikte leerresultaten.

Discussie

Voor deze onderzoeksvraag geldt dat een belangrijk nadeel van de onderzoekcasus is geweest het feit dat de KPM-interventie alleen is ingezet als examenmeting. De KPM-interventie is ontworpen om ook geschikt te zijn als nul- of voortgangsmeting. De beperking is enerzijds veroorzaakt door het feit dat de oorspronkelijke casus ROC4NL zou zijn, anderzijds is dit beperkt door de beschikbare tijd voor onderzoek.

2.2 Conclusies over de KPM-interventie

2.2.1 Terugblik en conclusies

Een aantal aandachtspunten uit het empirische vooronderzoek uit paper 1 wordt hierna in cursief aangehaald. De resultaten van het onderzoek zullen worden beschouwd en geconcludeerd gaat worden of de KPM-interventie al dan niet een oplossing heeft gebracht voor de problemen die destijds naar voren zijn gekomen.

1 Zijn er zichtbare verschillen in onderwerpen in theorie en in de beroepspraktijk? Soms kennen theorie van school en de beroepspraktijk grote verschillen.

Antwoord: het blijkt al uit het vooronderzoek dat er verschillen zitten in onderwerpen en methoden tussen theorie en praktijk.

In de onderzoekscasus Schuurman is het gat tussen theorie en praktijk geheel gedicht. Dit is bereikt door de praktijk bij Schuurman als basis te nemen voor de lesstof. De praktijk problematiek is vervat in een leerwerk opdracht en dit is uitgewerkt in theorielessen. Dit is mogelijk gemaakt door de invoering van keuzedelen in het MBO waarbij er een belangrijke keuzevrijheid is ontstaan in het opleidingscurriculum. Naast de keuzevrijheid van onderwerpen in de les is het ook mogelijk om de examinering naar eigen inzicht in te richten. Dit gaf ruimte om de KPM-interventie als exameninstrument uit te proberen. Dit onderzoek toont aan dat het gat tussen de theorie en de beroepspraktijk gedicht kan worden.

2 Kan er sprake zijn van transferproblematiek?

Antwoord: uit het vooronderzoek blijkt geen eenduidig antwoord op bovenstaande vraag.

Mogelijke transferproblematiek is geen onderdeel geweest van dit onderzoek. Hierover is dus eigenlijk niets te zeggen. Wel is rekening gehouden met jargon en begrippen in het opleidingscurriculum. De docent moest zich de bedrijfsbegrippen van Schuurman eigen maken voordat de economielessen uitgevoerd konden worden. Dat gaf de studenten het voordeel van het werken met vertrouwde terminologie. Het grote voordeel daarvan is geweest dat de relevantie van de lessen goed doordrong tot de studenten. Helaas is dit effect niet gemeten in het onderzoek, maar wel geadresseerd in de uitvoering. De KPM-interventie heeft bijgedragen aan dit effect doordat het ontwerp van de lesstof een onderdeel is van de kennisproductiviteit meting.

3 Beheersen alle deelnemers aan het beroepspraktijkvormingsproces hun taken?

Antwoord: uit het empirisch vooronderzoek blijkt zowel dat er soms wordt getwijfeld aan de deskundigheid van ROC-docenten als het gaat om praktische kennis van het vak.

Dit onderdeel gaat over twee aspecten. Ten eerste de vraag ‘Snappen ROC docenten het vak wel?’ en ten tweede de vraag ‘Snappen praktijkopleiders het aangeboden beoordelingsinstrument wel?’

De ROC-docent en het vak. Het is een waardevolle exercitie om een docent uit te dagen een praktijkprobleem te voorzien van theorie. De docent in deze casus heeft de praktijk problematiek bij Schuurman omgezet via een leerwerk opdracht naar een aantal theorielessen economie. Met die aangeboden lessen moesten de studenten in staat zijn het praktijkprobleem op te lossen. Dit is niet een normale taak van een BVE-docent maar het helpt goed om de lessen relevante inhoud te geven en om begrip te kweken voor de praktijk van alledag.

4 Is de opzet van deze nieuwe meetmethode eenvoudig en eenduidig waardoor beheersing van het instrument gewaarborgd is. Er wordt getwijfeld aan het (waarde)oordeel van praktijkopleiders bij gebruik van het aangereikte beoordelingsinstrumenten.

Praktijkopleiders en het beoordelingsinstrument. Niet alle praktijkopleiders vonden het nieuwe instrument even makkelijk te doorgronden. Tekst en uitleg voorafgaand aan het gebruik bleek noodzakelijk. Tevens laat de evaluatie zien dat er mogelijk nog meer vereenvoudigingen in het instrument te maken zijn. De vereenvoudiging is deels gelukt zo blijkt uit de evaluatie. Voor wat betreft eenduidigheid daar laat de KPM-interventie de praktijkopleiders veelal overeenkomstige scores geven aan vergelijkbare situaties. Het lijkt dat de KPM-interventie een belangrijke mogelijkheid biedt tot verbetering van de bestaande praktijk.

5 Biedt de nieuwe meetmethode een oplossing voor mogelijk meervoudige interpretatie.

Deze vraag is niet in het vooronderzoek beantwoord, dit was een wens vanuit het werkveld.

Het onderzoek met de focusgroep gaf aan dat met de inzet van de KPM-interventie als meetinstrument er wel interpretatieverschillen kunnen ontstaan. Uit de evaluatie blijkt dat de interpretatieverschillen juist ontstaan doordat er geen zicht is geweest op de voorgeschiedenis en de voorbereidingen van de student. Toch hebben de focusgroepen voor het grootste deel wel dezelfde mening gehad over de performance in onderlinge vergelijking tussen studenten. Dit verschijnsel heeft zich niet voorgedaan bij de inzet van de KPM-interventie bij Schuurman. Daar waren twee aspecten kenmerkend anders, ten eerste waren de docent en praktijkopleider betrokken bij de leerwerk-opdracht en ten tweede is de KPM-interventie als geheel doorgevoerd en niet slechts als meetinstrument. Bij een volledige inzet geeft het KPM-interventie mogelijk een belangrijke bijdrage tot het voorkomen van meervoudige interpretatie.

6 Zegt het oordeel vanuit de nul- en tussenmeting (in de BPV) iets over de prestaties van de student?

Deze vraag is niet in het vooronderzoek beantwoord, dit was een wens vanuit het werkveld.

Vanuit dit onderzoek blijkt dat de KPM-interventie een statement maakt over de prestaties van de student. Dit statement is herkenbaar is acceptabel genoemd door de respondenten in het onderzoek. Helaas is het zo dat de KPM-interventie niet is ingezet als nul-en/of tussenmeting daarom is er niet een direct antwoord te geven op deze vraag. Echter omdat de KPM-interventie een herkenbaar en acceptabel beeld geeft over de prestatie van een student als eindmeting is het aannemelijk dat de KPM-interventie dit ook doet in nul- en tussenmeting situaties.

7 Kent de beoordeling van de werkprocessen (grote) interpretatieverschillen? M.a.w. wat voor de éne beoordelaar goed is kan voor de ander onvoldoende zijn.

Dit onderzoek laat zien dat de KPM-interventie ook interpretatieverschillen laat zien in de beoordeling. Maar dit onderzoek laat ook zien dat het geen grote interpretatieverschillen zijn. Uit de evaluatie blijkt dat praktijkopleiders juist de leerwerk-opdracht als meetlat een uitstekend hulpmiddel vinden om de beoordeling op te baseren.

8 Is de nieuwe meetmethode onafhankelijk van personen, context en kwaliteitseisen van de organisatie?

Deze vraag is niet in het vooronderzoek beantwoord, dit was een wens vanuit het werkveld.

De KPM-interventie integreert context en kwaliteitseisen en is dus hier juist afhankelijk van. Omdat de KPM-methode ontwikkeld is vanuit algemene theorieën is deze methode wel in te zetten in verschillende contexten met verschillende kwaliteitseisen. Deze flexibiliteit biedt daardoor ook een onafhankelijkheid op zich.

9 Geeft de nieuwe methode aan de student bij de formatieve meting de kans om te leren?

Deze vraag is niet in het vooronderzoek beantwoord, dit was een wens vanuit het werkveld.

Dit onderzoek toont aan dat de inzet van een KPM-interventie het articuleren van een leerroute goed mogelijk is. De hoeveelheid informatie die wordt verkregen met behulp van de KPM-interventie is groot, gelet op de hoeveelheid feedback en feed-forward opmerkingen. Met behulp van deze opmerkingen is de uitvoering van de leerwerk-opdracht te verbeteren zo blijkt uit de evaluatie. Hierom is het aannemelijk dat deze nieuwe methode bij een formatieve meting een goede kans biedt om te leren.

2.2.2 Onderzoek en conclusies

Wat betekent een KPM-interventie voor de deelnemers aan dit onderzoek?

  1. De KPM-interventie geeft als beoordeling een betrouwbare en valide indicatie over waar een student staat als professional. Een duidelijke voordeel van de KPM-methode lijkt dat er een consequente ranking tussen studenten onderling zichtbaar wordt gemaakt.
  2. Doordat het perspectief op leren is ingebed in de beoordelingsmethode ontstaat er door de beoordeling direct zicht op wat er is geleerd en wat nog geleerd kan worden. De KPM-interventie geeft als meetmethode een statement over de performance van de student. Dit statement wordt als herkenbaar en acceptabel beoordeeld. De KPM-interventie lijkt dus belangrijke voordelen te hebben ten opzichte van de bestaande methode(n).

Wat zijn de effecten van een KPM-interventie volgens de deelnemers aan dit onderzoek?

  1. Het inzetten van een KPM-interventie heeft als effect dat de praktijkopleider en kandidaat met elkaar een inhoudelijke dialoog aangaan over het werk en/of over beroepsproducten. Het belang van het meenemen van contextuele problematiek biedt een handvat voor een respectvolle dialoog. Daardoor laten de gesprekspartners aan elkaar zien dat er wederzijds verschil in kennis is.
  2. Het gat tussen theorie en praktijk is met de inzet van een KPM-interventie zo goed als verdwenen. Dit effect is merkbaar tijdens de lessen want hierdoor ontstaat een ander soort lesdynamiek. Bij een enkele student komt er een extra drive om op onderzoek te gaan buiten het klaslokaal om.
  3. Met de inzet van een KPM-interventie laat dit onderzoek ranking in de performance van studenten onderling zien. Eén van de meest genoemde problemen bij het huidige ESS instrument lijkt dus met de inzet van deze nieuwe methode te zijn verdwenen.

Wat vinden de deelnemer van dit onderzoek over het gebruik van de KPM-interventie?

  1. Het gebruiksgemak en de geringe benodigde tijd om een KPM-interventie in te zetten is als prima hanteerbaar beoordeeld.
  2. De huidige KPM-interventie heeft nog wel “docententaal” in zich; dit maakt het voor de praktijkopleider minder toegankelijk. Het is een punt van aandacht voor een herontwerp.
  3. De deelnemers adviseren om de KPM-interventie bij een BPV periode 3 maal in te zetten. Dit is evenveel als de huidige ESS methode.

Wat zijn verder de bevindingen van het werken met de KPM-interventie?

  1. Belangrijkste uitkomst van de KPM-interventie is dat de relevantie en herkenbaarheid als hoog worden beoordeeld.
  2. Daarnaast wordt de KPM-interventie als meting als een objectieve meting ervaren.

Bovengenoemde positieve signalen nodigen uit om de KPM-interventie verder te onderzoeken.

2.3 Evaluatie over validiteit, betrouwbaarheid en authenticiteit

In dit onderzoek lijkt er sprake te zijn van betrouwbaar en valide meten met behulp van de KPM-interventie.

Dit hoeft nog niets te zeggen over de objectiviteit. De vraag naar een objectief exameninstrument kwam van de zijde van praktijkopleiders in het empirisch onderzoek naar voren. Vooralsnog lijkt het zo te zijn dat de respondenten (praktijkopleiders en kandidaten) de KPM-interventie als objectief ervaren, objectiever dan de huidige ESS methode.

Een belangrijke nuance is hier op zijn plaats. De bewering van objectiviteit in dit onderzoek stoelt op een interventie met drie examenkandidaten en een focusgroep onderzoek. Nader onderzoek naar dit aspect is aan te bevelen door meerdere casussen te onderzoeken en door een relevante steekproef onder de doelgroep praktijkopleiders te nemen.

2.4 Discussie over ontwerp en de ontwerpregels

De hypothese aan de basis van dit onderzoek luidt:

- Een doordacht ontwerp van een op kennisproductiviteit gebaseerde meetmethode met als meetresultaat

feedback en feed-forward data, helpt om de leervraag van de student te articuleren.

De vooraf verwachtte effecten zijn als volgt verwoord:

1 De uitkomst geeft een valide waardering voor de student in vergelijking met anderen / voorgangers

2 De uitkomst geeft aanleiding tot een concrete dialoog over het werk en de prestaties in het werk.

3 Gebruik van het instrument synchroniseert de belangen van de student, de praktijkopleider en de docent.

Het ontwerp is gebaseerd op de volgende ontwerpregels:

1. Maak gebruik van beroepsactiviteiten

2. Laat leren en ontwikkelen samengaan met meten en beoordelen.

3. Combineer de beroepsactiviteit met performance criteria

4. Neem in het ontwerp kennisproductiviteit als perspectief

5. Meet en beoordeel op basis van context en kwaliteitseisen van de werkplek

6. Bied een oplossing voor mogelijk meervoudige interpretatie, jargon in theorie en praktijk moet

hetzelfde zijn.

7. Combineer leerdoel en werkplekoutput waardoor leren en werken een eenduidig doel wordt.

2.4.1 Welke ontwerpregels blijken effectief

Een tweetal aspecten van de KPM-interventie is door meerdere respondenten genoemd als wezenlijk voordeel ten opzichte van de conventionele ESS examenmethode. De KPM-interventie kent een (beknopte) leerwerkopdracht en een vijfpunt beoordelingsschaal. Deze twee elementen zijn door meerdere respondenten benoemd als waardevolle innovaties. Heel specifiek is genoemd dat de leerwerkopdracht voor de praktijkopleider eindelijk duidelijkheid schept over wat er op school eigenlijk gebeurt. Over de vijfpunt beoordelingsschaal zijn een tweetal aspecten waardevol gebleken. Ten eerste: vijf punten geeft een betere duiding dan driepunten. Ten tweede: de betekenis en de rubric bij het cijfer één tot en met vijf biedt een duidelijk referentiekader.

Deze beide aspecten, de leerwerkopdracht en de vijfpuntsschaal, stonden niet benoemd in de ontwerpregels. De vraag is dus of er voorafgaand aan het ontwerp wel goed empirisch onderzoek is gedaan naar de manco’s van de huidige situatie. Of is de vertaling vanuit het empirisch onderzoek naar de ontwerpregels wel goed doordacht? Of, is er wel voldoende geëxpliciteerd in de fase van empirisch onderzoek naar ontwerpregels?

In retroperspectief herken ik vanuit het empirisch deel van dit onderzoek dat de beoordeling op twee- of driepuntsschaal grote vraagtekens opriep in het werkveld. Tevens is de vaagheid van opdrachten voor het examen een onderwerp dat in die fase meermaals ter sprake is gebracht. Als ik nu de ontwerpregels teruglees, dan zie ik dat ik dat beide aspecten niet in de ontwerpregels voorkomen.

De ontwerpregels die effectief blijken zijn de ontwerpregels die geleid hebben tot het versmelten van het corporate curriculum en het opleidingscurriculum. Dit zijn de regels 1, 2, 5, 7 en ten dele regel 6. De vraag is of er zoveel ontwerpregels nodig zijn geweest om de essentie te beschrijven die met drie woorden ook beschreven kan worden. De ontwerpregel: versmelt opleidingscurriculum met het corporate curriculum kan net zoveel inhoud hebben als de vijf regels in de oorspronkelijk ontwerpspecificatie.

Ontwerpregel 2 lijkt een open deur. Toch denk ik dat dit de meest krachtige ontwerpregel is voor de KPM-interventie. Omdat de KPM-interventie een exameninstrument is en het dus gaat over beoordelen is het samengaan met leren en ontwikkelen geen gemeengoed. Sterker, in het ROC van Twente examenreglement staat omschreven dat het examen een summatieve toetsing is en dus geen leermoment is. De KPM-interventie wint aan betekenis juist door leren, ontwikkelen en beoordelen te combineren.

Ontwerpregel 4, het kennisproductiviteitsperspectief, zorgt ervoor dat expliciteren van leren op de werkvloer gecombineerd wordt met beroepsproducten. Het biedt een handvat voor de beoordelingen en is daarom een onmisbare ontwerpregel.

2.5 Zijn de beoogde effecten behaald?

De KPM-interventie helpt om de leervraag te articuleren, dit onderzoek toont dat aan. Het is echter niet zo dat na het inzetten van een KPM-interventie er een curriculum ontstaat. De vraag is dus: in welke mate helpt de KPM-interventie? Een belangrijk onderdeel in de KPM-interventie, het beschrijven van leerdoelen, blijkt slecht aan te sluiten op het moment van examinering. De verwachting was dat er in elk geval leerdoelen omschreven zouden zijn na de KPM-interventie. Dat bleek een onhaalbare stap. Wel is bereikt dat er een belangrijk gedeeld inzicht is in de leerroute die afgelegd is en nog gevolgd moet worden. Dat betekent mijns inziens dat impliciet de leervraag bekend is en dat deze alleen nog geformaliseerd hoeft te worden.

Zijn dan de neveneffecten behaald? Het onderzoek toont aan dat de KPM-interventie een hoge mate van consequent beoordelen afdwingt. Een beoordelingsvergelijk met andere studenten is dan goed mogelijk. De KPM-interventie zorgt ervoor dat een student een eerlijk cijfer krijgt. Eerlijk in de zin van objectief, relevant en herkenbaar.

De KPM-interventie als aanjager voor een inhoudelijke discussie over het werk is in ruime mate met dit onderzoek aangetoond. Het instrument nodigt uit tot inhoudelijke diepgang en discussie. Het is geen bewuste keuze geweest om vorm en inhoud van het examen apart bespreekbaar te maken, het blijkt wel een goed uitgangspunt om de gelijkwaardigheid in de discussie te bewerkstelligen. Normaal gesproken is het examenmoment een moment van verantwoording en beoordeling met een duidelijke hiërarchie en rolverdeling. De docent / examinator enerzijds en de kandidaat anderzijds. Met de inzet van een KPM-interventie lijkt die rolverdeling niet meer zo uitgesproken. Het examen wordt meer een professionele dialoog met respect voor ingebrachte kennis. De KPM-interventie kan hierdoor als HRM-instrument wellicht ook van betekenis zijn.

Een examen is veelal omgeven door verschillende belangen. Zeker wanneer meerder partijen belang hebben is de veronderstelling dat er verschillende (tegengestelde) krachten invloed hebben op het examenproces. Dit onderzoek heeft als deelonderzoek geïnventariseerd wat de verschillende belangen kunnen zijn en hoeveel verschil in de belangen zit. Het blijkt dat de verschillende belangen daadwerkelijk bestaan maar dat de tegenstellingen ten aanzien van het examen van dit keuzedeel niet zo groot zijn als tevoren verondersteld. De KPM-interventie is ontworpen met als ontwerpregel het combineren van leerdoelen met de output in het werk. Daardoor hebben in elk geval de docent en de praktijkopleider hetzelfde doel gekregen. De studenten geven aan het belang van het diploma nog boven een goede uitvoering van het werk te stellen

Dit onderzoek geeft geen antwoord op de vraag in hoeverre de KPM-interventie bijdraagt tot synchroniseren van de verschillende belangen. Daarvoor zou bijvoorbeeld parallel een onderzoek moeten plaatsvinden met een conventioneel exameninstrument.


3 Suggesties voor herontwerp

3.1 Aanpassingen van de KPM-interventie

Wijzigingen in de KPM-interventie naar aanleiding van dit onderzoek kunnen bijvoorbeeld de volgende zijn.

1 Het KPM-formulier kan worden ingekort naar één A4 waar alle competentie-termen op beoordeeld worden. Noodzaak is dan wel dat de toelichting en feedback en feed-forward invulvelden een logische andere plek krijgen. Het voordeel zal zijn dat het overzicht verbetert en dat zal bijdragen tot snelheid en duidelijkheid bij het hanteren van dit meetinstrument. Dit is gesuggereerd door enkele respondenten in de focusgroep. Deze respondenten waren van mening dat: ”iedere bladzijde die je omslaat er één te veel is”.

2 Het invulveld leerdoelen kan komen te vervallen op het KPM-formulier. Het wordt niet gebruikt, noch is het moment tijdens het examen geschikt om leerdoelen vast te stellen. Door dit veld achterwege te laten zal de KPM-interventie niet aan effect verliezen, het zal de snelheid en eenvoud ten goede komen.

3 Terminologie dient aangepast te worden. Enkele respondenten gaven aan de gebruikte taal op het instrument toch wat complex te vinden, docententaal is het ook wel genoemd. Dit is een belangrijk punt van aandacht voor een herontwerp.

3.2 Suggesties voor herziening van uitgangspunten

De KPM-taxonomie is genomen als basis voor de KPM-interventie. De vraag is of de vertaalslag van taxonomie naar meetinstrument wel voldoende doordacht is. De KPM-interventie is nu een combinatie van vijf competentiecomponenten en een drietal aspecten van de vijfpunt beoordelingsschaal van Dreyfus en Dreyfus (1980).

Een overweging om dit te herzien is omdat de KPM indicatoren taakperceptie en training/ supervisie weliswaar altijd zijn beoordeeld, maar nooit zijn toegelicht. De vraag is: waarom niet? Deze indicatoren zijn onttrokken van de vijfpunt beoordelingsschaal en wellicht kunnen deze beter achterwege worden gelaten. Daardoor ontstaat er wellicht een zuiverder beeld van leerperspectieven. Dit kan helpen om juist het leren te expliciteren. Het perspectief van de lerende en zijn leerroute is door de introductie van drie “vreemde” criteria wellicht iets naar de achtergrond geraakt.


4 Terugblik

4.1 Paper 1, de zoeker

Het zoeken naar kennisproductiviteit in het MBO was als een ontdekkingsreis. Het belang is dat het een nieuw perspectief oplevert. Er bleek uit de literatuurstudie dat de bestaande kennisproductiviteitsmetingen uitgangspunten hanteerden die slecht bruikbaar bleken voor het beroepsonderwijs. Een nieuw perspectief was nodig om kennisproductiviteit in het beroepsonderwijs te kunnen toepassen. Het ontwikkelen van dat instrument en ook de juiste context vinden om het daadwerkelijk te kunnen uitvoeren was een lastiger opdracht dan vooraf bedacht. De theorie van kennisproductiviteit is verrijkt in paper 1 met het beschrijven van kennisproductiviteit in termen van leren en leer-theorieën. Daaruit is de kennisproductiviteittaxonomie ontstaan.

4.2 Paper 2, het instrument

Het KPM-instrument is in 2013 in een ROC4NL project bedacht als een KPI, een kennisproductiviteitindex. De ontwikkeling van deze KPI is niet van de grond gekomen, doordat het ROC4NL-project zelf tussentijds is beëindigd. Met het voortborduren op de KPI bleek al snel dat een index niet zou volstaan als alternatief voor de bestaande metingen. Een andere opzet was nodig. Het empirisch onderzoek bleek een route te zijn die nodig was voor deze innovatie. De route verliep van een kijk op onderwijs via leren naar taxonomieën. In kennisproductiviteitstermen: een radicale verandering bleek niet mogelijk, een incrementele verbetering van het bestaande heeft als innovatie wel progressie gebracht.

4.3 Paper 3, de vooruitgang

Op alleen een ontwikkeling van iets nieuws zit de wereld niet te wachten. “The proof of the pudding is in the eating”, zeggen de Engelsen. Is er bewijs te vinden waaruit blijkt dat innovatie ook vooruitgang is. Om in het MBO-onderwijs iets nieuws te proberen is op zich niet zo heel veel nodig. Een experiment is snel gedaan, enthousiaste deelnemers zijn snel gevonden. De uitdaging is om de innovatie als gewenste verbetering geaccepteerd te krijgen. Mijn paper 3-fase is een lange zoektocht geweest naar de juiste methode van onderzoek.

4.4 Paper 4, het ontwerp en de uitvoering

Een goed ontwerp staat nog niet garant voor een goede uitvoering en omgekeerd een slecht ontwerp kan wel tot in de perfectie worden uitgevoerd.

Confronterend om te merken dat wat je als ontwerper bedenkt in de praktijk toch anders opgevat kan worden door de gebruikers. Interpretatie verschillen bij de focusgroepen zorgde bij de onderzoeker toch voor enige onrust.

4.5 Paper 5, poort naar de weg van de waarheid

Enigszins bombastisch en ook opportunistisch, maar ik vind het zelf wel een aardige analogie. Nee, ik beloof niet de weg naar de waarheid met dit onderzoek. Dit onderzoek biedt wel een ander perspectief op beoordelen van BPV praktijkexamens en van theorie-examens met een praktijkgerichte opdracht.

In dit paper 5 tracht ik zo zuiver mogelijk de effecten en de betekenis van dit onderzoek weer te geven. De vraag blijft welke aspecten in de KPM-interventie krachtig genoeg zijn om geadopteerd te worden in het MBO-werkveld. Is voldoende aangetoond dat een KPM-interventie een goed alternatief is voor een ESS-examenmeting? Of is dit onderzoek slechts een aardig gedachtenexperiment geweest van de auteur?


5 Tabellen en figuren

Https://ilo-ow.publication-archive.com/publication/28/1990

Tabel 1 Onderzoeksdesign........................................................................................................................................................................... 4

Tabel 2 data onderzoek deelvraag 1; alle gegevens van het invulveld “leerdoelen”............................................................................. 5

Tabel 3, score overzicht met aantallen feedback en feed-forward....................................................................................................... 11

Tabel 4 onderzoek deelvraag 4; KPM-beoordelingen............................................................................................................................. 12

Tabel 5 Cronbach Alpha interpretatie vuistregel................................................................................................................................... 13

Tabel 6 onderzoek deelvraag 4; respons op open vragen uit evaluatie................................................................................................. 14

Tabel 7 onderzoek deelvraag 4; schaalvragen met betrekking op beoordelingen met de KPM-interventie....................................... 14

Tabel 8 onderzoek deelvraag 5; KPM resultaten focusgroepen........................................................................................................... 16

Tabel 9 onderzoek deelvraag 5; open vragen focusgroepen (1)............................................................................................................ 17

Tabel 10 onderzoek deelvraag 5; open vragen focusgroepen (2).......................................................................................................... 18

Tabel 11 onderzoek deelvraag 5; schaalvragen focusgroepen............................................................................................................. 18

Tabel 12 Cronbach aplha uitkomsten van drie situaties......................................................................................................................... 20

Tabel 13 herhaalbaarheid van de KPM-interventie................................................................................................................................ 20

Tabel 14 onderzoek deelvraag 6; schaalvragen..................................................................................................................................... 23

Tabel 15 onderzoek deelvraag 7; open vragen evaluatie interventie Schuurman................................................................................ 24

Tabel 16 onderzoek deelvraag 7; schaalvragen interventie Schuurman.............................................................................................. 24

Tabel 17 Niveau van bewijskracht in praktijk gestuurd effectonderzoek............................................................................................. 28

Tabel 18 overige analyse; belang praktijkopleiders................................................................................................................................ 30

Tabel 19 overige analyse; belang kandidaten.......................................................................................................................................... 30

Tabel 20 overige analyse; belang docenten............................................................................................................................................. 30

Figuur 1 Poort naar de weg van de waarheid Bron: Rijksmuseum.. 1

Figuur 7 Validiteit KPM onderzoek naar Andriessen en van Aken. 29


6 Referenties

References

Aken, J. E., & Andriessen, D. (2011). Handboek ontwerpgericht wetenschappelijk onderzoek: Wetenschap met effect Boom Lemma uitgevers.

Bauer, C., Alaerts, L., Van Dessel, J., & Wouters, R. (2011). Aqueduct. acquiring key competences through heritage education.

Dreyfus, S. E., & Dreyfus, H. L. (1980). A Five-Stage Model of the Mental Activities Involved in Directed Skill Acquisition,

Engeström, Y. (1994). Training for change: New approach to instruction and learning in working life International Labour Office Geneva.

Lingsma, M., & Brabander, d. R. (2014). Hoe coach ik een stagnerend team? Tijdschrift Voor Coaching, 4(december), 69-70,71,72,73,74.

Smit, M., & Verdonschot, S. (2010). Praktijkonderzoek: Motor voor verandering in organisaties Springer Science & Business Media.

Stam, C. D. (2007). Knowledge productivity: Designing and testing a method to diagnose knowledge productivity and plan for enhancement University of Twente.


7 Bijlagen

Bijlage A: Focusgroep onderzoek

Bijlage B: Schuurman KPM-formulieren

Bijlage C: Schuurman evaluatie uitkomsten

Bijlage D: Cronbach alpha berekening van Schuurman beoordelingen

Bijlage E: Observatie aantekeningen bij Schuurman CGI

Bijlage F: Focusgroep KPM formulieren

Bijlage G: Focusgroep evaluatie uitkomsten

Bijlage H: Cronbach alpha berekening van focusgroep beoordelingen

Bijlage K: Observatie aantekeningen focusgroep

Bijlage L: Validiteitsanalyse van het gehele onderzoek


[1] feedback = wat is gedaan / geleerd

[2] feed-forward = wat moet nog geleerd worden

[3] n=13 terwijl het aantal KPM-beoordelingen door vijftien deelnemers is ingevuld, twee focusgroep deelnemers hebben helaas geen evaluatieformulier ingevuld.

This is the main content area

Cras justo odio, dapibus ac facilisis in, egestas eget quam. Fusce dapibus, tellus ac cursus commodo, tortor mauris condimentum nibh, ut fermentum massa justo sit amet risus.

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Pellentesque at odio lobortis, ultricies ipsum sed, laoreet erat. Vivamus sagittis justo eget pulvinar tristique. Cras consectetur a neque eu facilisis. Suspendisse mattis ornare porta. Etiam eget imperdiet metus. Donec auctor elit vel tristique ultricies. Mauris sed iaculis quam, eu tristique nulla.

Nulla vestibulum orci venenatis, porttitor purus at, consequat metus. Curabitur ipsum purus, venenatis a imperdiet eu, elementum id nisi. Sed aliquam, magna a dictum accumsan, neque libero blandit nunc, eu vestibulum ipsum lorem eget felis. Cras sagittis et lacus at convallis. Etiam congue accumsan posuere.


Cras justo odio, dapibus ac facilisis in, egestas eget quam. Fusce dapibus, tellus ac cursus commodo, tortor mauris condimentum nibh, ut fermentum massa justo sit amet risus.

Workshop: Trendwatching
Mogelijke onderwerpen in een trendwatching workshop 

  • Generatie Einstein en hun rol in toekomstige organisaties
  • Concurrentie slagkracht structureel vergroten
  • Innovatie trajecten kwalitatief beter
  • Onderzoek - onderzoek als methode om veranderingen tot stand te brengen

Trendwatching is een hulpmiddel om de toekomst van uw organisatie en haar omgeving te leren begrijpen. Middels een eenvoudig stappenplan leert u zelf een trendwatching organisatie te creëren en daarmee krijgt u meer grip op uw omgeving. De workshop bestaat uit twee bijeenkomsten van een half dagdeel.