Kirkpatrick Niveau 1

Niveau 1 i Kirkpatricks Evalueringsmodel for Læring handler om at kunne måle kursusdeltageres umiddelbare reaktioner på et givet lærings-/træningsinitiativ. Du kan bruge kursusdeltagerens input fra den slags målinger til at spotte forbedringsmuligheder, styrker og svagheder og evt. barrierer for udvikling.

Vælger du at gå trinnet videre og standardisere selve undersøgelsesformatet (spørgeskemaet), så kan du lave sammenlignelige undersøgelser over tid og på tværs af læringshændelser og sige noget mere sammenhængende om den generelle oplevede kvalitet af jeres samlede læringsindsatser.

Det her er som sådan ikke kompliceret metodestof, men ikke desto mindre kan det være svært nok at komme i gang med at gøre evalueringsarbejdet regelmæssigt og sammenhængende. Og uanset at det er relativt nemt, så ligger der her en klar opgave for dig med at skabe tydelighed omkring historiefortællingerne om jeres kompetenceudviklingsinitiativer – så så meget desto mere vigtigt er det, at du er skarp og professionel omkring det.

Med nedenstående får du et bud på en konkret undersøgelsesmodel/værktøj.

Dette er primært henvendt til dig, som har ingen eller begrænset erfaring med at arbejde med evalueringer og læringseffektledelse – sekundært til dig, som måske føler, at du kan have behov for at genopfriske grundlæggende metode om læringsledelse. Repetition er ALTID en god øvelse.

Baggrund – Kirkpatrick på fire sekunder

Jeg kommer ikke her til at gå i dybden med elementerne i selve Kirkpatriks Evalueringsmodel. Det er der simpelthen ikke plads til lige her.

I stedet vil jeg blot sige: “Google ‘Kirkpatrick’ og du får rigeligt med baggrundsstof, grafikker mv., så du kan fordybe dig i forhold til at forstå intentionerne bag”.

Dog er det nok lige væsentligt at sige om modellen ganske kort, at den arbejder med 4 niveauer (plus et ekstra 5. niveau) for vurdering af effekt af organisatorisk læringsindsatser, som indbyrdes hviler på hinanden – og at man kan dygtiggøre sig på forskellig vis for at optimere ledelsen af det

* Niveau 1: Reaktion: I hvilken udstrækning finder deltageren læringen meningsfuld, engagerende og relevant for til ens daglige arbejde

* Niveau 2: Læring: I hvilken udstrækning opnår deltageren de ønskede vidensniveauer, som formidles

* Niveau 3: Adfærd: I hvilken udstrækning bruger deltageren de nye færdigheder i det daglige arbejde

* Niveau 4: Resultat: I hvilken udstrækning opnås resultater som følge af den udførte læring/træning

* Niveau 5: Profit: I hvilken udstrækning opnås effekt på bundlinien

I stedet vil jeg sådan set her hellere tale ud fra, at: “… Det er fint med modellen og tankerne bag det, men hvordan kommer jeg i praksis i gang med at bruge den aktivt?”.

Jeg har vist sagt det tidligere – men siger det lige igen:

Forbered dig:
Planlæg, hvordan du vil følge op på effekten af dine læringsindsatser. Du vil kun sjældent reelt kunne følge op på noget som helst – måske netop undtaget lige præcis Niveau 1 – efter at kurset er gået i gang og rullet ud, for så er det simpelthen for sent at indlejre evalueringsmodeller inde i selve læringsmaterialet.

Udvælg:
Identificér hvilke læringsinitiativer/kurser, du vil måle på, og på hvilket niveau. Halvérings-reglen virker fint her:

* Mål alle læringsinitiativer/kurser på Niveau 1
* 50% af alle læringsinitiativer/kurser på Niveau 2
* 25% på Niveau 3
* 12.5% på Niveau 4
* og 6.25% på Niveau 5

Årsagen herfor er simpel: Jo højere op i Kirkpatrick-pyramiden, du kommer, og dermed jo mere strategiske læringsindsatserne bliver, des dyrere og mere kompliceret bliver de simpelthen at effektmåle.

Implementér:

Og her er der en supplerende tommelfingerregel:

Mål gerne Niveau 1 og 2 med interne medarbejdertimer/-ressourcer, og brug så eksterne konsulenter til at udarbejde effektmålinger på Niveau 3 og op.

Det handler om at imødekomme evt. risiko (og kritik) for at udarbejde tendentiøse rapporter, der hylder egne resultater ukritisk.

Der er nemlig altid en indlejret risiko for at forurene rapporteringen med for meget internt spil om resultatopnåelse. Så kan du på nogen måde frigøre jer for det mere eller mindre, skal du absolut gøre det.

Uanset – hold dig altid for øje: Læringseffektledelse handler IKKE om fejlfinding, men om jagten på processforbedringer – hold fokus på bolden, som man ville sige med en forslidt sportsmetafor.

I dette indlæg er det altså som nævnt alene Niveau 1, vi behandler nærmere.

Brugsanvisning for undersøgelse på Niveau 1

Ref ovenfor, så er anvisningen altså, at du skal ramme alle jeres kursusinitiativer med Niveau 1 målinger. Når det er sagt, så skal du naturligvis selv vælge lige præcis, hvor striks eller ikke, du mener, at undersøgelsesskemaet for evaluering af kursustilfredshed skal forvaltes hos netop jer – på din arbejdsplads.

Uanset hvor du lægger dig mht. præcist hvor mange kurser, der skal rammes, så skal du også gøre dig dine forestillinger om, hvor stor en svarprocent, du optimalt stræber efter – lidt afhængig af jeres kultur på området i øvrigt.

Som alt andet ledelse, så er konsistens og vedholdenhed en fornuftig idé, så når/hvis du gerne vil vænne medarbejdere og kolleger til at gøre noget nyt – såsom at besvare de undersøgelser, du iværksætter – så gør du klogt i at overveje, hvordan du bedst opnår det resultat gennem tydelig kommunikation og forventningsafstemning. Især hvis det ikke alene er dig selv, der i praksis udsender og gennemfører undersøgelser/målingerne.

Her er et par eksempler på, hvordan du kan sætte dine rammer for brugen af undersøgelsesskemaet:

*   Vedkommende, der evaluerer kurset/træningsforløbet (hvis det er andre end dig), må selv vurdere, om/hvordan det passer ind at bruge skemaet, ud fra specifikke tanker om selve læringsformatet (video, podcast, webinar, mv) – er der formater, hvor det vil være overkill?

*   Vedkommende, der evaluerer kurset/træningsforløbet, må gerne tilpasse enkelte ord i spørgsmålene i undersøgelsen, så det bedre passer ind i den sammenhæng, som det bruges i – men han/hun må ikke redigere i intentionen med spørgsmålet endsige decideret fjerne hele spørgsmål.

Tænk det igennem og læg dit snit på en måde, som passer jeres kultur – og som også er ambitiøst.

Eksempel på rapportering på Niveau 1

Du kan gå til opgaven med at rapportere på Niveau 1 data på flere måder; herunder kan du vælge, hvordan du laver dine statistikker og præsenterer dine tal (f.eks. om du laver gennemsnitsbetragtninger, spredningsanalyser eller noget helt fjerde). Og du kan vælge at analysere tallene grupperet eller ikke-grupperet på tværs af formater og indhold/tema.

Du må sørge for, at spørgsmålene opfattes personligt nærværende og meningsfyldte – at respondenten vitterligt kan besvare dem ud fra en personligt oplevelse SAMT at spørgsmålene adskiller sig fra hinanden i forhold til, hvad de underliggende spørger ind til – f.eks. som de gør i nedenstående eksempel

Case

Forestil dig, at du udfører din Niveau 1 evaluering af et certificeringsprogram, som er en blended learning proces over x antal dage. 14 dage efter kurset er færdigt, udsender du dit web-baserede undersøgelsesskema/spørgeskema, som indeholder dine kernespørgsmål på Niveau 1 á la dét, som jeg har vist ovenfor – måske sammen med en række andre spørgsmål, der ikke nødvendigvis er Niveau 1 relaterede spørgsmål.

Eftersom dette kursus er særligt vigtig for jer, så er det også vigtigt for dig at lande en særlig høj svarprocent på din undersøgelse, så du vælger at gøre besvarelsen af spørgeskemaet til en decideret forudsætning for, at medarbejderen officielt kan få registeret sin kursusgennemførsel som en del af hans/hendes personlige udviklingsprofil/udviklingsplan (CPD).

Forestil dig så, at du får en samlet besvarelse, der eksempelvis kunne fordele sig således – se nedenfor:

1. Overordnet tilfredshed
*   65 = Antal besvarelser, der var “Lidt Enig” og “Meget Enig”
*   100 = Samlet antal besvarelser

2. Oplevet øget vidensniveau
*   57 = Antal besvarelser, der var “Lidt Enig” og “Meget Enig”
*   100 = Samlet antal besvarelser

3. Oplevet relevans i forhold til dagligt arbejde
*   68 = Antal besvarelser, der var “Lidt Enig” og “Meget Enig”
*   100 = Samlet antal besvarelser

4. Vil anbefale kurset til andre
*   61 = Antal besvarelser, der var “Lidt Enig” og “Meget Enig”
*   100 = Samlet antal besvarelser

Disse data kan du så arbejde videre med. Mere bøvlet er det i virkeligheden ikke.

Læs også om …

* …  hvordan modenhed i læringseffektmålinger kan blive det solide fundament bag din virksomheds resultater “Læringsledelse Kræver Data”.

Flere Kirkpatrick værktøjer er (nok) på vej …

Jeg tænker at udarbejde og publicere konkrete værktøjer også for de næste niveauer i Kirkpatricks model. Hvis du gerne vil følge med i det skrivearbejde, så send mig gerne en mail , så skriver jeg til dig direkte, når de ligger klar. Lige nu regner jeg med, at jeg kommer til at skrive 2-4 indlæg her på bloggen om Kirkpatrick-værktøjer – lidt afhængig af efterspørgslen.

Red. opdatering: Jeg har faktisk efterfølgende beskrevet brugbare metoder til at lede effektmålinger på Niveau 2 Kirkpatrick (Viden) samt Niveau 3 Kirkpatrick (Adfærd) – klik ind på dem og begynd at byg din egen effektledelsesmodel fornuftigt op.

Uanset

Har du erfaring med dette, vil jeg virkelig høre til, hvad du har gjort og hvordan læringsledelse / ledelse af ROI helt lavpraktisk er struktureret i hverdagen hos jer. Del det gerne direkte med mig eller endnu bedre: Del det på opslaget på LinkedIn.

Som altid: Skriv/ring gerne til mig direkte, hvis du har spørgsmål og gerne vil undersøge og videreudvikle jeres muligheder indenfor digitalt støttet læring/træning – det koster ingenting, at vi tager en snak sammen og du er mere end meget velkommen.

Mail: pca@roiit.dk
Tlf: +45 4043 9668

Mvh

Peter Chr. Andersen
Direktør og idémager