Vaikuttavuus on iskusana, jota kuulee usein eri yhteyksissä. Laureassakin vaikuttavuus on yksi arvoistamme, ja tavoittelemme vaikuttavuutta työskentelymme eri osa-alueilla. Vaikuttavuus voidaan kuitenkin ymmärtää monin eri tavoin, ja sen arvioimiseen on useita erilaisia lähestymistapoja. Tästä syystä Laureassa on aloitettu TKI-hankkeiden arvioinnin käytäntöjen kartoitus ja kehittäminen. Osana hankearvioinnin kehittämistyötä järjestettiin kaksi laurealaisille TKI-toimijoille avointa työpajaa syyskuussa 2023. Tässä kirjoituksessa kuvaamme, miten työpajoihin osallistuneiden mielestä hankearviointia tulisi kehittää Laureassa.

Hankearvioinnin keskeinen lähtökohta on se, että vaikutukset ja vaikuttavuus täytyy todentaa. On helppoa sanoa, että toimintamme on vaikuttavaa, mutta sen konkreettinen arviointi tai mittaaminen antaa mahdollisuuden ymmärtää ilmiötä syvemmin ja siten myös kehittää toimintaamme. Parhaimmillaan hankearviointi mahdollistaa hankkeiden selkeämmän suunnittelun, oppimisen ja laadukkaan toimeenpanon. Hankkeiden vaikutusten ja vaikuttavuuden todentaminen on haastavaa (Muhonen 2021), mutta siihen kannattaa kuitenkin pyrkiä.

Todentamisen lähtökohdaksi hankearvioinnin kehittämisessä Laureassa on otettu vaikuttavuusketju, jossa eritellään panokset, tuotokset, vaikutukset ja vaikuttavuus (esim. Heliskoski ym. 2018). Tällä ketjulla on yhtymäkohtia tapaan jäsentää terveydenhuollon ja sittemmin myös sosiaalihuollon elementtejä (panokset – tuotantoprosessi – tuotos – vaikuttavuus, ks. Sintonen ym. 1997). Taustalla näkyy siis se, että hankearvioinnin kehittäminen Laureassa lähti nimenomaan sosiaali- ja terveysalan hankkeista. Olisi tärkeää, että kehittämistyöhön osallistuisi TKI-toimijoita kaikista tutkimusohjelmista ja yksiköistä, jotta pääsisimme yhteiseen ymmärrykseen siitä, mitä arviointi Laureassa on, ja mitä vaikuttavuudella meillä tarkoitetaan. Tämän yhteisen ymmärryksen ei kuitenkaan tarvitse olla kiveen hakattu, vaan sitä voidaan tarvittaessa päivittää. Laurean hankearvioinnin kehittämistyössä ei ole tarkoituksena kehittää kokonaan uutta arviointimallia, vaan soveltaa jo olemassa olevia malleja meille sopivaksi kokonaisuudeksi.

Laureassa hankearvioinnin käytäntöjen kehittäminen lähti liikkeelle havainnosta, että arviointia tehdään ja sille on tarvetta hankkeissa, mutta yhtenäisiä käytäntöjä ei juuri ole. Lisäksi hankearvioinnista ja sen eri muodoista on monenlaisia tulkintoja. Erilaisista Laureassa toteutetuista hankearvioinneista esimerkkeinä mainittakoon Muuvo-hankkeen vaikuttavuuden arviointi (Rajalakso ym. 2023), Oppimispolut onnistumiseen -hankkeen vaikutusten arviointi (Forma ym. 2023) ja DIGISTI-hankkeen kehittävä arviointi (Lamberg 2023). Tällä hetkellä hankkeiden arviointien kuvauksia tai raportteja ei ole kuitenkaan missään kootusti, ja niitä on vaikea löytää, jos on tarvetta kartoittaa aikaisempien hankkeiden kokemuksia.

Hankearvioinnin käytäntöjen kehittämiseksi perustettiin keväällä 2023 pieni ydinryhmä, joka kartoitti Laurean sisäisiä käytäntöjä ja hankkeiden arviointiin liittyviä kokemuksia, tutustui muiden korkeakoulujen käytäntöihin sekä syventyi hankearviointiin liittyvään kirjallisuuteen. Selvitystyön pohjalta muotoiltiin ensimmäiset versiot kolmesta hankkeiden arvioinnin tueksi tarkoitetusta työkalusta: hankearvioinnin yleiskuvauksesta, arvioinnin aikajanasta ja tarkistuslistasta sekä arviointisuunnitelmapohjasta. Arvioinnin yleiskuvaus kuvaa keskeisiä käsitteitä ja arvioinnin perusperiaatteita muun muassa vaikuttavuusketjun avulla. Arvioinnin aikajana ja tarkistuslista suunniteltiin käytännön työkaluksi arvioinnin suorittamiseen hankkeen eri vaiheissa. Arviointisuunnitelmapohja puolestaan auttaa määrittelemään arvioinnin kohteet ja menetelmät. Näistä kolmesta työkalusta kerättiin palautetta kahdessa hankearvioinnin kehittämisen työpajassa.

Työpajat järjestettiin Tikkurilan ja Leppävaaran kampuksilla syyskuussa 2023 ja niihin kutsuttiin laajasti TKI-toimijoita. Molemmissa työpajoissa olikin lopulta koolla noin 20 osallistujaa. Työpajat koostuivat kahdesta vaiheesta: ensimmäisessä vaiheessa tarkasteltiin ja kehitettiin kolmea edellä kuvattua hankearviointityökalua ja toisessa vaiheessa visioitiin arviointitiedon pitkäjänteistä keräämistä ja soveltamista. Työpajojen työskentely dokumentoitiin osallistujien tekeminä kirjauksina sekä työryhmän tekeminä muistiinpanoina käydyistä keskusteluista.

Työpajojen anti

Työpajojen ensimmäisessä vaiheessa kerättiin palautetta hankearvioinnin tueksi muotoilluista työkaluista ja kartoitettiin tarpeita hankearviointiin liittyen. Työpajoissa toivottiin, että hankearvioinnista tulisi ohjeita intrasivustolle, hankearviointiin liittyen järjestettäisiin koulutuksia ja arviointityöhön nimettäisiin yhteishenkilöitä, joilta tarvittaessa voisi pyytää tukea. Lisäksi toivottiin valmiita konkreettisia mittareita, työkaluja, suostumuslomakkeita ja tiedotepohjia hankearviointiin sekä malliesimerkkejä hankkeissa toteutetuista arvioinneista. Intrasivustolta löytyy jo monenlaisia aineistonkeruuseen liittyviä ohjeita, mutta niitä tulee tarkastella ja koota vielä hankearvioinnin näkökulmasta.

Työpajoissa kokeiltuihin ohjeisiin ja työkaluihin liittyen toivottiin, että esimerkiksi arviointisuunnitelmapohjasta tehtäisiin helposti täytettävä digitaalinen lomake. Lisäksi arvioinnin yleiskuvaukseen ja hankearvioinnin eri käsitteisiin ja muotoihin kaivattiin vielä selvennystä. Kaiken kaikkiaan arvioinnin käsitteisiin ja muotoihin liittyvästä keskustelusta oli tulkittavissa, ettei Laurean TKI-toimijoilla tällä hetkellä vielä ole yhteistä jaettua ymmärrystä arvioinnista.

Työpajakeskustelujen perusteella hankearvioinnin työkalujen jatkokehityksessä on tarve tasapainoilla sen suhteen, miten yleisiä tai yksityiskohtaisia ne ovat. Useampi kaipasi esimerkiksi omia erilaisia työkaluja tutkimus- ja kehittämishankkeille. Lisäksi työpajoissa nousi esiin, että hankkeiden julkaisuja ei ollut mainittu arviointityökaluissa. Maininta hankejulkaisuista yhtenä hankkeiden tuotoksena ja mahdollisena arvioinnin kohteena kannattaakin lisätä työkaluihin. Yksi työpajakeskusteluista vedettävä johtopäätös on, että työkaluihin ja ohjeisiin on tärkeä tuoda enemmän esimerkkejä, eikä jättää liikaa lukijan tulkittavaksi.

Työpajojen toisessa vaiheessa visioitiin, miten ja minkälaista arviointitietoa kannattaisi kerätä ja soveltaa. Työpajoissa toivottiin, että hankkeista kertyisi sekä sisältöön ja tuloksiin liittyvää että hankkeen prosessiin ja käytettyihin menetelmiin liittyvää tietoa. Nykyisin hanketyössä seurataan tiiviisti esimerkiksi hanketuntien kertymistä, mutta työpajassa nostettiin esiin myös hankkeen laadullisiin tuloksiin, oppeihin sekä interventioiden ja muiden hanketuotosten vaikutuksiin liittyvän tiedon tärkeys. Hankkeen prosessiin liittyen tieto kehitetyistä menetelmistä ja hyvistä käytännöistä olisi tarpeellista, jotta muissa hankkeissa ei tarvitsisi aloittaa tyhjästä. Lisäksi kokemuksellinen tieto koettiin hyödylliseksi liittyen niin kohderyhmän kokemuksiin hankkeen toiminnasta kuin hankkeen kokemuksiin eri yhteistyökonsortioista.
Hanketiedon keruun tapoihin ja muotoon liittyen toivottiin, että se olisi mahdollisimman automaattista ja helppoa hankkeen toimijoille. Vastaavasti toivottiin, että päättyneistä hankkeista löytyisi tietoa helpommin ja kootummin ja esimerkiksi hakusanoja käyttämällä. Reportronic-järjestelmän hyödyntäminen laadullisen hanketiedon keräämisessä jakoi mielipiteitä. Toiset katsoivat jo käytössä olevan järjestelmän käytön yksinkertaiseksi ratkaisuksi. Toiset taas kokivat, ettei Reportronic sovellu laadullisen hanketiedon keräämiseen, eikä sieltä olisi helppo löytää tarvittavaa tietoa kootusti eri hankkeista.

Työpajoissa syntyi pohdintaa siitä, olisiko hyödyllistä kerryttää koko Laurean tasoista aineistoa tai koostaa tietoa tutkimusohjelmien tai läpileikkaavien teemojen kautta. Kertyneen hanketiedon levittämiseksi ehdotettiin muun muassa puolivuosittaisia seminaareja päättyneiden hankkeiden tuloksista ja opeista. Toinen työpajoissa noussut ehdotus oli, että esimerkiksi TKI-palvelut koostaisivat hankkeista kerätystä aineistosta jonkinlaisia tiivistelmiä tietyin väliajoin.

Hanketiedon hyödyntämisen katsottiin edesauttavan hankkeiden vaikuttavuuden esittelyä sidosryhmille ja Laurean vahvuuksien ja osaamisen viestintää niin sisäisesti kuin ulkoisesti. Hankkeista kerättävä tieto voisi myös auttaa hankehakemusten laadun parantamisessa ja hankkeiden välisten kytkösten ja synergiaetujen tunnistamisessa. Kaiken kaikkiaan hankkeista kerättävä tieto vahvistaisi oppimista.

Hankearvioinnin käytäntöjen kehittämisen jatkoa

Työpajoissa toivottiin, ettei arvioinnista tehtäisi liiallisen isoa ja työlästä työvaihetta muun hanketyön oheen. Osa työpajaan osallistuneista toivoi, että arvioinnista muotoiltaisiin mahdollisimman automaattinen ja niin yleinen, että esimerkiksi samalla sähköisellä lomakkeella saataisiin kerättyä tarvittava tieto kaikista hankkeista. Hankkeiden arviointi tulisi kuitenkin tehdä aina suhteessa kunkin hankkeen omiin tavoitteisiin, joten tarkoituksenmukaista ja hyödyllistä tietoa on vaikea kerätä täysin samalla kaavalla kaikista hankkeista. Voidaankin tarvita kokonainen ajattelutavan muutos: ylimääräisen työtehtävän sijaan arvioinnin tulisi olla hanketyön tekemisen taustalla vaikuttava näkökulma, joka ohjaa tarkastelemaan hanketyötä kriittisesti ja systemaattisesti.

Hankearvioinnin kehittämisen työpajojen jälkeen suunnitelmissa on muun muassa lisätä hankearviointiin liittyvä osio menettelytapaohjeisiin, projektipäällikkökoulutukseen ja hankkeen aloituskokouksen diapohjaan sekä hankearvioinnin ohjeita henkilöstön intrasivustolle. Hankearvioinnin käytäntöjen kehittämistyön laajuus ja jatko tarkentuvat kuitenkin vasta myöhemmin. On tärkeää, että kaikki TKI-toimijat pääsevät halutessaan mukaan kehittämään arviointia. Näin varmistetaan, että uusista käytänteistä tulee tarkoituksenmukaisia, eivätkä ne tule ulkopuolelta tai ylhäältä päin.

Hankearvioinnin käytäntöjen kehittämistyön seuraavassa vaiheessa olisi tarvetta tarkastella vielä tarkemmin Laureassa toteutettavan hankearvioinnin tavoitteita – minkälaista arviointitietoa kerätään, mitä sillä tavoitellaan ja miten sitä hyödynnetään organisaatiotasolla. Tällainen pohdinta on kiinteästi yhteydessä laajemmin TKI-toiminnan ja koko Laurean visioon ja strategiaan. Seuraavaksi onkin tärkeää jatkaa keskustelua TKI-johdon kanssa ja kartoittaa hankearvioinnin kehitykseen liittyviä edellytyksiä ja tahtotilaa.

Lähteet:

• Forma, L. & Kanervo, R. 2023. Oppimispolut onnistumiseen -ohjauksen vaikutusten arviointi. Teoksessa Kanervo R. (toim.) “Rupiaa rohkiasti tekemähän” – digirohkeuden ja -osallisuuden vahvistaminen digiohjauksella Etelä-Pohjanmaan alueella. Laurea-julkaisut 215. Ss. 55–73.
• Heliskoski, J., Humala, H., Kopola, R., Tonteri, A. & Tykkyläinen, S. 2018. Vaikuttavuuden askelmerkit. Työkaluja ja esimerkkejä palveluntuottajille. Sitran selvityksiä 130.
• Lamberg, A-R. 2023. Kehittävä arviointi osana portfoliopedagogiikan kehitystyötä. Laurea Journal.
• Muhonen, R. 2021. Tutkimuksen yhteiskunnallisen vaikuttavuuden arvioinnin haasteet. Vastuullinen tiede. Viitattu 6.11.2023.
• Rajalakso, M. & Mattila, L. 2023. Muuvo muutosvoimaa osaamisesta -hanke 2021–2023. Havaintoja hankeen vaikuttavuudesta. Laurea-julkaisut 211.
• Sintonen, H., Pekurinen, M. & Linnakko, E. 1997. Terveystaloustiede. Helsinki, Werner Söderström Osakeyhtiö.