Vaikuttavuuden arviointi on tunnetusti vaikeaa. Työelämän kehittämistyössä on usein haastava kaksoistavoite: samanaikaisesti tulisi parantaa sekä työntekijöiden hyvinvointia että organisaation suorituskykyä eli tuottavuutta. Nämä kaksi tavoitetta eivät aina kulje käsi kädessä ainakaan lyhyellä aikavälillä mitattuna ja monesti kehittämistoimien vaikutukset realisoituvat vasta myöhemmin kehittämishankkeen jo päätyttyä. Vaikutukset ovat monesti myös epäsuoria mikä vaikeuttaa niiden täsmällistä arviointia sekä syy-seuraussuhteiden hahmottamista: Onko havaittu muutos seurausta juuri meidän kehittämishankkeestamme, vai onko työpaikalla ja sen toimintaympäristössä tapahtunut jotain muuta joka paremmin voisi selittää muutosta?
Työelämän kehittämistoimia voidaan kohdentaa monin tavoin, kun tavoitellaan kestäviä parannuksia työhyvinvointiin ja tuottavuuteen. On perusteltua ajatella, että vaikkapa työturvallisuuden kehittymiseen ja työtapaturmien vähentämiseen kohdistuvat kehittämistoimet vaikuttavat myös työyhteisön työhyvinvointiin ja työnteon sujuvuuteen. Tällaisten epäsuorempien vaikutusten konkreettinen toteennäyttäminen on usein kuitenkin hyvin vaikeaa. Omissa tutkimushankkeissani (kts. Reiman ym. 2020) olen aiemmin hyödyntänyt realistisen arvioinnin viitekehyksessä Donald Kirkpatrickin vuosikymmenten takaista neliportaista arviointimallia koulutusten vaikuttavuuden arvioimiseen. Tutkimuksessamme malli auttoi meitä hahmottamaan ja käsittelemään Turvapuistossa toteutettujen työturvallisuuskoulutusten vaikuttavuutta neljällä eri tasolla (I-IV):
- Välittömät reaktiot: Saimme välittömiä positiivisia reaktioita koulutuspalautteen kautta. Kyselynä toteutettu palaute kertoi meille koulutusten onnistumisista, muttei tarjonnut eväitä arvioida koulutusten mahdollisesti aikaansaamaa kestävämpää muutosta.
- Kokemukset oppimisesta: Haastattelimme koulutukseen osallistuneita noin kuukauden päästä koulutuksista pyytäen heitä kertomaan ajatuksiaan siitä, miten koulutuksissa saatu oppi oli mahdollisesti näkynyt työn arjessa. Nämäkään haastattelut eivät vielä avanneet meille sitä oliko jokin muuttunut oikeasti työpaikalla koulutuksen seurauksena.
- Muutokset käyttäytymisessä: Keräsimme ymmärrystä mahdollisesta pitkäkestoisemmasta muutoksesta uudella noin vuoden päästä toteutetulla haastattelukierroksella. Niissä pystyimme tunnistamaan joitakin asioita, jotka olivat jääneet koulutuksiin osallistuneiden mieliin ja vaikuttaneet heidän toimintaansa työn arjessa.
- Mitattavat tulokset: Keräsimme kohdeyrityksistä tarkoitukseen sopivaa mittaritietoa (Tapaturmataajuus ja sen vuotuinen kehitys) kohdentuen koulutuksiin osallistuneisiin työntekijäryhmiin ja verraten tätä kehitystä rakennusalan valtakunnalliseen tapaturmataajuuden kehitykseen. Pystyimme havaitsemaan selkeää työturvallisuustason parantumista koulutuksiin osallistuneissa työntekijäryhmissä; toisaalta tässäkin jouduimme huomioimaan syy-seuraus-suhteiden todentamisen haasteita ja siksi verifioimme tätä positiivista kehitystä vielä kohdeyritysten ylintä johtoa haastatellen. Ylimmän johdon haastattelut vahvistivat näkemyksiämme siitä vaikuttavuudesta mitä olimme vetäneet yhteen turvapuistokoulutusten vaikuttavuudesta kaikkeen kertyneeseen tietoon pohjautuen.
Kaiken kaikkiaan tässä parivuotisessa vaikuttavuustutkimushankkeessa hyödynsimme monen tutkijan voimin monimenetelmällistä otetta, jossa yhdistyivät tarkoitukseen sopivat määrälliset mittarit sekä syvällinen laadullinen ymmärrys haastatteluiden myötä. Tällainen vaikuttavuustarkastelu vaati tutkijamaista otetta, riittävän pitkää tarkasteluväliä, sekä herkkyyttä havainnoida yritysten toimintaympäristössä tapahtuneita muutoksia. Tärkeää on valita tarkoitukseen sopivia mittareita ja osata kysyä oikeita kysymyksiä, että voidaan ymmärtää mikä toimi, kenelle ja missä olosuhteissa. Lopulta on oltava myös realistinen ja hyväksyttävä, että alati muuttuvassa työelämässä tapahtuu silti asioita, joita ei pystytä arvioinnissa riittävästi huomioimaan tai sulkemaan pois.
Tutkijat ympäri maailman ovat vuosikymmenten ajan pohtineet vaikuttavuuden mittaamista ja korostaneet sen haastavuutta sekä johtopäätösten tekemisen liittyvää herkkyyttä. On hyvin mahdollista, että niille hyvilläkin kehittämistoimille mitä suomalaisilla työpaikoilla ja kehittämishankkeissa tehdään, ei lopulta pystytä näyttämään ainakaan heti selvästi ja suoraan havaittavia ja mitattavia vaikutuksia. Toisaalta pidemmällä aikavälillä tarkastellen suomalainen työelämä on kehittynyt valtavasti vuosikymmenten saatossa. Itse ainakin haluaisin uskoa, että erilaisilla kehittämistoimilla ja -hankkeilla on myös ollut oma tärkeä roolinsa tässä kokonaisuudessa.
Kirjoitus perustuu Hankesankaripäivillä toukokuussa 2026 pitämääni esitykseen ”Miten arvioidaan hanketyön vaikuttavuutta?”
Kirjoittajana DigiKyvykäs-hankkeen projektipäällikkö, dosentti Arto Reiman.