Het eerste wat we moeten doen is het duidelijk krijgen van het organisatiedoel. Dit is de ware reden dat er wordt geïnvesteerd in de training, en zal daarom de basis vormen van de effectiviteitsmeting.

We spreken af met de betrokken partijen: Een HR manager die verantwoordelijk is voor de overstap naar Het Nieuwe Werken en een opleidingscoördinator die de training heeft uitgekozen. Tijdens het gesprek wordt een zo duidelijk mogelijk beeld nagestreefd van de huidige situatie en de noodzaak van een training.

Definiëren
In eerste instantie lijkt de keuze voor een training niet een erg duidelijk doel na te streven, maar voort te komen uit de gedachte dat een training altijd een goed idee is. Na verder doorvragen blijkt dat met name de HR manager hoopt terug te zien dat deelnemers aan de training draagvlak gaan creëren bij hun collega’s. De angst bestaat dat Het Nieuwe Werken weerstand oplevert bij werknemers, wat de organisatie probeert te ondervangen met de training. Het woord ‘ambassadeurs’ valt, en de aanzet voor het organisatiedoel is geleverd. We schrijven op:



Concretiseren
Met dit idee gaan we uit elkaar. Nu is het zaak om dit doel zo te formuleren dat het een meetbaar resultaat wordt, aan de hand waarvan het succes van de training kan worden vastgesteld. We beginnen door na te denken over het woord ‘ambassadeur’. Wat maakt iemand een goede ambassadeur? We noteren de eigenschappen:



Als al de eigenschappen kunnen worden afgevinkt, kunnen we spreken van een goede ambassadeur. De effectmeting moet daarom laten zien of de training meer ambassadeurs voor Het Nieuwe Werken heeft opgeleverd.

Kwantificeren
De volgende vraag die moet worden beantwoord is: hoe groot moet het effect zijn, voordat we kunnen concluderen dat de training een succes was? Idealiter drukken we dit in cijfers uit, dus dat is het eerste wat we proberen. We bedenken dat als we elke deelnemer een cijfer voor de verschillende eigenschappen kunnen geven, we de ontwikkeling kunnen aflezen uit een vergelijking van de cijfers van vóór de training, met die erna.

We hanteren een traditionele schaalverdeling:

Nu gaan we terug naar de opdrachtgever met de vraag welke ontwikkeling ze hopen te zien. Dit kan bijvoorbeeld worden uitgedrukt in een toename van het rapportcijfer: de training moet zorgen voor een minimale verbetering van 3 punten. De HR manager stelt voor dat het doel is dat alle deelnemers een 7 of hoger scoren na de training. Omdat er dan geen rekening wordt gehouden met de score van de deelnemers vóór de training, en daarom niet met de ontwikkeling dankzij de training, stellen wij iets anders voor. Een voorwaardelijke gewenste ontwikkeling:






Het effect van de training wordt geconstateert uit een vergelijking van de situatie vóór de training met de situatie erna. Om beginsituatie te waarderen wordt er een test ontwikkeld: de nulmeting.

Ontwerpen
Allereerst moet worden bepaald wie de test invult. Omdat we de ambassadeurskwaliteiten van de deelnemers willen beoordelen leggen we in ieder geval de deelnemers een test voor. De training dient draagvlak te creëren bij medewerkers die de training niet volgen. Om een volledig beeld te creëren besluiten we een steekproef af te nemen bij de niet-deelnemers. Er moeten daarom twee tests worden ontwikkeld voor de nulmeting.



Ontwikkelen
De eerste test is voor de deelnemers aan de training. De test dient hoofdzakelijk om de ambassadeurskwaliteiten te kunnen waarderen, maar bevat daarnaast ook extra vragen om de antwoorden in perspectief te kunnen plaatsen. Na precies te hebben vastgesteld wat bekend moet zijn, ontwikkelen onze vraagdeskundigen de juiste enquetevragen. Hierbij wordt rekening gehouden met een maximale invultijd van 10 minuten.

De tweede test is voor de niet-deelnemers. Steekproefsgewijs worden er 60 medewerkers geselecteerd om een korte test in te vullen. Deze geeft inzicht in hun positie tegenover Het Nieuwe Werken. Ook voor deze groep worden de vragen ontwikkeld, met een maximale invultijd van 5 minuten.

Uitnodigen
De tests worden geplaatst in onze eigen online testomgeving, waar medewerkers met hun eigen code kunnen inloggen. Een week voor de training ontvangen alle betreffende medewerkers een email met een uitnodiging voor de nulmeting.






Drie maanden na de training worden dezelfde medewerkers als bij de nulmeting opnieuw gevraagd een test in te vullen: de eindmeting.

De vragen zijn grotendeels gelijk of vergelijkbaar met de vragen uit de nulmeting, aangevuld met extra vragen om de eventuele invloed van overige omgevingsfactoren mee te wegen. Deelnemers ontvangen wederom een mail met een persoonlijke inlogcode, die toegang geeft tot de online test.

Wanneer alle resultaten van de tests binnen zijn worden deze geanalyseerd, zodat de belangrijkste conclusies kunnen worden getrokkken en de rapportage voor de opdrachtgever kan worden ontwikkeld.

Analyseren
Alle resultaten worden binnen de vooraf bepaalde kaders geplaatst, zodat verwachtingen naast werkelijke uitkomsten kunnen worden gelegd. Centraal staat de mate waarin deelnemers zich hebben ontwikkeld als ambassadeur van Het Nieuwe Werken. Deelnemers worden beoordeeld op onder meer de onderdelen "kennis van HNW", "fan van HNW", "bereidheid tot uitdragen" en "ambassadeurscapaciteit". Wanneer de resultaten van de nulmeting worden bestudeerd blijkt dat zij vóór de training gemiddeld een 5,3 behaalden:



Dit relatief hoge cijfer wordt met name veroorzaakt doordat de deelnemers groot voorstander zijn van Het Nieuwe Werken, en daarmee hun relatief lage score voor het onderdeel "kennis van Het Nieuwe Werken" compenseren.

Wanneer we kijken naar de resultaten van de eindmeting, blijkt dat het gemiddelde cijfer met slechts 0,4 is toegenomen tot een 5,7:


Opvallend is dat de kennis over Het Nieuwe Werken van de deelnemers is toegenomen, terwijl de mate waarin zij achter Het Nieuwe Werken staan vrijwel evenredig is afgenomen. In overeenstemming met de antwoorden op open vragen kan worden geconcludeerd dat de toegenomen kennis over Het Nieuwe Werken een negatieve invloed heeft gehad op de houding ertegenover. Vooral de angst om in de nieuwe werkvorm minder persoonlijk contact te hebben met collega's blijkt hierin een rol te spelen.

Meer resultaten geven onder meer inzicht in de rol van de training op de resultaten ten opzichte van andere factoren, de houding van de deelnemers tegenover trainingen en de voorkennis waarmee zij aan de training zijn begonnen. De resultaten van de geselecteerde niet-deelnemers laten zien dat er weinig tot niets is veranderd in de houding tegenover Het Nieuwe Werken, en er dus geen groter draagvlak is ontstaan na de training.

Met een gemiddelde van 5,3 in de nulmeting was de succesnorm van de training een 7,3. Omdat het werkelijke resultaat bij de eindmeting een 5,7 bleek, wordt geconcludeerd dat de training niet het gewenste effect heeft gehad.

Rapporteren
De resultaten worden verwerkt in een helder rapport, waarin de conclusies worden onderbouwd en aanbevelingen worden gedaan. Het rapport wordt zowel op papier als digitaal aangeboden.


Evalueren
Voor de oplevering van het rapport wordt een afspraak gemaakt met de opleidingscoördinator en de HR manager.

De resulaten en bevindingen worden besproken. De angst voor een afname van collegiaal contact blijkt de belangrijkste oorzaak van het slechte resultaat van de training. Wij raden aan om deze angst weg te nemen voordat er meer medewerkers de training gaan volgen. Dit kan ofwel door Het Nieuwe Werken in een vorm te gieten waarin teamleden evenveel contact houden, ofwel door een verandering van de communicatie door teamleiders. Daarnaast adviseren we een directere aanpak in het nastreven van meer ambassadeurs van Het Nieuwe Werken, bijvoorbeeld door een interventie die speifiek hierop gericht is.

Na de evaluatie worden de volgende veranderingen doorgevoerd: