TKI-hankkeiden arviointi on tärkeä osa hanketyötä – niin todennetaan hankkeen vaikutuksia ja vaikuttavuutta sekä syvennetään ymmärrystä hankkeen ilmiöistä ja prosesseista. Arvioinnin suunnittelu ja käytännön toteutus voivat kuitenkin joskus osoittautua haastaviksi. On tärkeää kerätä hankkeissa toteutetuista arviointiprosesseista oppeja ja oivalluksia talteen, jotta myös arvioinnin käytännöt kehittyvät, eikä hankkeissa tarvitse jatkossa kamppailla samojen haasteiden kanssa. Tähän kirjoitukseen olemme keränneet hankearviointiin liittyviä oppeja kolmesta hankkeesta, joissa pyrittiin kohentamaan haavoittuvassa asemassa olevien henkilöiden digitaitoja.

Arvioinnilla viitataan systemaattiseen tiedonkeruuseen, analyysiin ja kriteereihin perustuvaan prosessiin, jonka tavoitteena on määrittää jonkin toiminnan arvo tai ansio (Thompson Coon, Vataja & Parkkonen 2021). Erityisesti hankearvioinnin ytimessä on hanketulosten ja -toiminnan peilaaminen hankkeen tavoitteisiin. Hankearviointia on kuitenkin monenlaista ja se voi kohdistua hankkeen tuloksiin ja vaikutuksiin, prosessiin tai laajempaan vaikuttavuuteen. Hankearvioinnin keskeinen lähtökohta on se, että hankkeen vaikutukset ja vaikuttavuus täytyy todentaa. Parhaimmillaan hankearviointi mahdollistaa hankkeiden selkeämmän suunnittelun, laadukkaan toimeenpanon ja oppimisen.

Viime aikoina Laurea on ollut monessa hankkeessa mukana nimenomaan arvioijan roolissa ja Laurealta on myös tilattu sellaisten hankkeiden arviointeja, joissa se ei ole partnerina mukana. Esimerkkejä hankkeista, joissa Laurea on ollut mukana toteuttamassa arviointia, ovat Digisti – Digitaidot haltuun toisella asteella (ks. artikkeli hankkeen kehittävästä arvioinnista Lamberg 2023a), Oppimispolut onnistumiseen (ks. hankkeen loppuraportti Kanervo 2023) ja Valoa digiperustaitoihin Satakunnassa (ks. hankkeen loppuraportti Häkkinen 2023). Olimme mukana näiden hankkeiden arvioinnin suunnittelussa ja toteutuksessa, ja tässä kirjoituksessa jaamme omakohtaisia kokemuksiamme arviointiprosesseista. Monista kohdista olemme keskustelleet myös hankkeiden projektipäälliköiden kanssa. Hankkeiden arvioinnissa tunnistamamme keskeisimmät haasteet liittyivät riittävän arviointiaineiston keräämiseen ja arviointiosuuden erillisyyteen muusta hankkeen toiminnasta. Seuraavaksi kuvaamme näitä haasteita tarkemmin ja esittelemme haasteisiin liittyviä ratkaisuehdotuksia.

Riittävän arviointiaineiston keräämisen haasteet

Kolmessa esimerkkinä käyttämässämme hankkeessa aineistonkeruun haasteena oli, että kohderyhmiä oli vaikea rekrytoida vastaamaan kyselyihin tai osallistumaan haastatteluihin. Myös hankkeissa työskentelevät valmentajat saattoivat kokea, että lomakkeiden tarjoaminen osallistujien vastattavaksi oli hankalaa ja vaikeutti luottamuksellista vuorovaikutusta. Osa koki kyselylomakkeet liian raskaiksi ja työläiksi osallistujien näkökulmasta. Lopulta hankkeissa onnistuttiin kuitenkin keräämään arviointiaineistoa sekä kyselyillä että haastatteluilla. Kyselyjen vastausmäärät jäivät hyvin pieniksi, joten aineistonkeruuta täydennettiin muilla menetelmillä. Oppimispolut onnistumiseen -hankkeessa osallistujat vastasivat kyselylomakkeeseen ennen ja jälkeen valmennuksen (Forma & Kanervo 2023) ja Valoa digiperustaitoihin Satakunnassa -hankkeessa valmentajat arvioivat osallistujien digitaitojen paranemista ja sosiaalista vahvistumista (Forma 2023). Digisti-hankkeessa aineistoa kerättiin toimintaan osallistuneilta loppukyselyllä (Lamberg & Suomala 2023) sekä toiminnan ohjaajien havainnoinnin (Lamberg 2023b) ja hanketyöntekijöiden itsearvioinnin avulla (Lamberg 2023c). Vaikka haastateltavien rekrytointi oli vaikeaa, kaikissa hankkeissa saatiin useampi osallistuja myös haastateltavaksi, mikä oli tärkeää osallistujien äänen kuulemiseksi (Forma 2023, Forma & Kanervo 2023, Lamberg 2023a).

Havaitsimme, että yksi keino saada kyselyihin enemmän vastauksia on varata yhteistä aikaa valmennuskertojen tai muiden tilaisuuksien loppuun ja vastata yhdessä kyselyyn – jokainen kuitenkin itsenäisesti omalla lomakkeella. Tällöin osallistujilla on samalla mahdollisuus kysyä, mikäli kyselyissä on jotain epäselvää. Kyselyitä ei siis kannata lähettää jälkikäteen ja jättää osallistujien omalle ajalle. Myös haastatteluihin osallistumisen kynnystä voi madaltaa tuomalla haastattelut osaksi toimenpiteen toteutusta ja toteuttamalla ne toiminnan yhteydessä ilman erillistä omaehtoista ilmoittautumista.

Esimerkkihankkeissamme kyselyjen käyttämistä aineistonkeruun välineenä hankaloitti se, että monella hankkeiden kohderyhmään kuuluvalla oli luki- ja oppimisvaikeuksia. Lisäksi osalla hankkeiden osallistujista äidinkieli saattoi olla muu kuin suomi. Tämän vuoksi oli erityisen tärkeää, että kyselylomakkeet ja niiden saatetekstit olivat selkokielisiä tai muuten mahdollisimman selkeitä. Verkkokyselyjen täyttäminen edellyttää myös digivälineitä- ja digitaitoja, ja joillekin ryhmille kannattaa saavutettavuuden, selkeyden ja helppouden vuoksi tehdä paperilomakkeet. Kyselyyn vastaamisen toteuttaminen yhteisesti toiminnan lopuksi toimii tässäkin keinona, jolla osallistujia voi tukea kyselyihin vastaamisessa.

Riittävä aineisto on erilaista erilaisissa hankkeissa. Perinteisessä arviointiasetelmassa joitain ominaisuuksia, esimerkiksi digitaitoja ja osallisuutta, mitataan ennen ja jälkeen valmennuksen. Jos valmennusjakso on hyvin lyhyt, ennen-jälkeen-asetelma ei ole niin mielekäs ja voi turhaan lisätä hankkeen toteuttajien ja osallistujien kokemusta arvioinnin raskaudesta. Joissain tapauksissa pelkkä loppukysely ja esimerkiksi valmennuksen koettujen hyötyjen kartoitus voivat olla parempia vaihtoehtoja.

Havainnointia voisi hyödyntää enemmän haavoittuville ryhmille suunnattujen valmennusten arvioinnissa. Esimerkkihankkeissamme käytyjen keskustelujen mukaan olisi hyvä, että havainnointia tekisi tuttu henkilö, johon osallistujilla on luottamuksellinen suhde, koska vieraan henkilön läsnäolo valmennustilanteissa saattaa muuttaa tilanteen dynamiikkaa. Esimerkiksi valmentajan tai toiminnan ohjaajan pitämä päiväkirja voisi toimia havainnointivälineenä. Tällaista ohjaajan havainnointiin perustuvaa päiväkirjamaista havainnointia hyödynnettiinkin Digisti-hankkeessa (Lamberg 2023b). Tällaisessa arvioinnissa on huomioitava, että se perustuu osin itsearviointiin, eikä ole objektiivista.

Kyselylomakkeilla, haastatteluilla ja havainnoinnilla voidaan saada jo varsin monipuolinen näkökulma valmennukseen, ja myös eri suunnista: sekä osallistujan että valmentajan näkökulmista. Kaikkia näitä lähestymistapoja ei tarvitse soveltaa aina, vaan hankkeen toimijoiden kannattaa yhdessä suunnitella, mitkä tavat soveltuvat kyseessä olevaan hankkeeseen.

Arvioinnin erillisyyden haasteet

Kaikissa kolmessa hankkeessa arviointi kuului Laureassa toteutettavaan työpakettiin, mutta muut tahot toteuttivat hankkeen muut toimenpiteet. Kun arviointi oli erillisenä työpakettina, arviointityön koordinaatio oli haastavaa ja arviointi uhkasi jäädä irralliseksi hankkeen toteutuksesta. Hankkeen varsinaisten toimenpiteiden suunnittelu ja toteutus vievät aikaa, jolloin näistä vastaavilla partnereilla voi olla vaikea löytää resursseja arviointityölle. Lisäksi arvioinnin erillisyys voi aiheuttaa epäselvyyksiä rooleissa ja vastuissa sekä hämärtää sitä, että arvioinnin toteutus vaatii kaikkien partnereiden yhteistyötä. Myös ymmärrys ja näkemys siitä, mitä arvioinnilla tarkoitetaan, voi olla eri partnereilla erilainen. Hankkeissa voidaan esimerkiksi kerätä yleistä palautetta toiminnan mielekkyydestä, mutta se on eri asia kuin toiminnan tuloksellisuuden arviointi. Tarkoituksenmukainen arviointi edellyttää esimerkiksi, että on tunnistettu arvioinnin kohde. Onkin tärkeää varmistaa, että kaikilla hankkeen toteutukseen ja arviointiin osallistuvilla on yhteinen käsitys siitä, minkälaista arviointia tehdään ja miksi.

Arvioinnin erillisyyden aiheuttamat haasteet korostuvat silloin, kun hankkeen toteutuksessa on myös muita haasteita esimerkiksi kohderyhmän tavoittamiseen ja hankkeen toteutuksen aikatauluihin liittyen. Kolmen esimerkkinä käyttämämme hankkeen alussa oli haasteita kohderyhmien tavoittamisessa ja toimintaa jouduttiin siksi muokkaamaan alkuperäisestä suunnitelmasta. Hankkeissa tehtiin ketterästi pieniä kokeiluja, jotka saatettiin räätälöidä reaaliaikaisesti toteutushetkellä kohderyhmän tarpeisiin. Arvioinnilla oli paikoin vaikeus ehtiä mukaan, koska arvioinnin suunnittelu vie aikaa ja sitä varten tarvitaan tarkemmat tavoitteet ja suunnitelmat arvioitavalle toiminnalle.

Tässä artikkelissa kuvatut hankearvioinnin haasteet eli riittävän aineiston keruu ja arvioinnin työpaketin erillisyys kietoutuivat myös yhteen: arvioijilla ei ollut suoraa kontaktia hankkeen toimintaan, ja siten niihin osallistujiin, joilta osa arviointiaineistosta olisi tullut kerätä. Esimerkkihankkeissa arviointiaineiston kerääminen suunniteltiin usein siten, että se oli tarkoitus toteuttaa varsinaisen hanketoiminnan lomassa tai heti sen jälkeen, jotta siitä olisi osallistujille mahdollisimman vähän ylimääräistä vaivaa. Tämä tarkoitti sitä, että vaikka arvioinnin toteutus suunniteltiin yhdessä arvioijien ja hankkeen toimintaa toteuttavien tahojen kanssa, varsinainen aineiston keruu jäi toiminnan toteuttajille, joilla oli kontakti toiminnan osallistujiin. Kokemustemme mukaan tällaisessa asetelmassa tulee helposti koordinointihaasteita ja aineiston keruu voi jäädä puutteelliseksi – hanketoiminnan toteuttajien ensisijainen intressi on saada toiminta toteutettua kunnialla ja esimerkiksi loppukyselyjen yhteinen täyttäminen toiminnan lopuksi voi unohtua.

Mikäli arviointi toteutetaan hankkeessa erillisenä työpakettina, työpakettien väliseen koordinaatioon, roolitukseen ja viestintään tulee kiinnittää erityishuomiota: toimenpiteiden toteuttajilla on tieto siitä, mitä ja milloin voidaan arvioida ja arvioinnin toteuttajilla on tieto siitä, miten voidaan arvioida. Arvioinnin toteutus vaatii kuitenkin kaikkien yhteistyötä ja työpanosta. On tärkeää, että arviointi nähdään hankkeen yhteisenä asiana ja kaikki partnerit sitoutuvat sen toteutukseen. Digitaitohankkeista kertyneiden kokemusten perusteella olemmekin sitä mieltä, että erillisen toteutuksen sijaan arviointi kannattaa rakentaa sisään varsinaisen toiminnan suunnitteluun ja toteutukseen.

Lopuksi

Tässä kirjoituksessa kerroimme kokemuksiamme kolmen digitaitohankkeen arvioinnin haasteista ja esittelimme erilaisia ratkaisuehdotuksia näihin haasteisiin. Samankaltaisia haasteita saattaa olla muissakin hankkeissa, ja toisissa on taas omat haasteensa. On tärkeää käydä vuoropuhelua kokemuksista, jotta voimme kehittää uusia, parempia, arvioinnin tapoja.

Laureassa on meneillään TKI-hankkeiden arvioinnin käytäntöjen kartoitus ja kehittäminen (Hart, Forma & Lamberg 2023; Lamberg & Forma 2023), eli hankearviointiin liittyvä oppiminen jatkuu. Hankearviointiin liittyviä asioita on jo lisätty menettelytapaohjeeseen, ja parhaillaan ollaan lisäämässä arviointiin liittyvä osio projektipäällikkökoulutukseen ja hankkeen aloituskokouksen diapohjaan sekä hankearvioinnin ohjeita henkilöstön intrasivustolle. On myös tärkeää luoda mahdollisuuksia kokemustiedon vaihtoon, jotta hiljainen tieto hankkeissa toteutetuista arvioinneista saadaan talteen ja jaettua yhteisesti.

Lähteet

• Forma, L. 2023. Miten tavoitteet saavutettiin Valoa digiperustaitoihin Satakunnassa -hankkeessa? Teoksessa Häkkinen, J. (toim.) Valoa digiperustaitoihin Satakunnassa. Laurea-julkaisut 216. Ss. 45–56.
• Forma, L. & Kanervo, R. 2023. Oppimispolut onnistumiseen -ohjauksen vaikutusten arviointi. Teoksessa Kanervo, R. (toim.) “Rupiaa rohkiasti tekemähän” – digirohkeuden ja -osallisuuden vahvistaminen digiohjauksella Etelä-Pohjanmaan alueella. Laurea-julkaisut 215. Ss. 55–73.
• Hart, L., Forma, L., & Lamberg, A-R. 2023. Yhteinen ja kumuloituva hankearviointi: Case Laurea. UAS Journal: Suomen ammattikorkeakoulujen yhteinen verkkolehti. https://uasjournal.fi/4-2023/yhteinen-ja-kumuloituva-hankearviointi-case-laurea/
• Häkkinen, J. (toim.) 2023. Valoa digiperustaitoihin Satakunnassa. Laurea-julkaisut 216.
• Kanervo, R. (toim.) 2023. “Rupiaa rohkiasti tekemähän” – digirohkeuden ja -osallisuuden vahvistaminen digiohjauksella Etelä-Pohjanmaan alueella. Laurea-julkaisut 215.
• Lamberg, A-R. 2023a. Kehittävä arviointi osana portfoliopedagogiikan kehitystyötä. Laurea Journal: Laurea-ammattikorkeakoulun verkkolehti.
• Lamberg, A-R. 2023b. Oppilaitosnuorisotyön kokeiluista kerättyjä oppeja. Digisti-hankkeen blogi.
• Lamberg, A-R. 2023c. Itsearvioinnilliset opit hankkeen toteutuksesta. Digisti-hankkeen blogi.
• Lamberg, A-R., & Forma, L. 2023. Hankearvioinnin käytäntöjen kehittäminen etenee – mitä opittiin työpajoista? Laurea Journal: Laurea-ammattikorkeakoulun verkkolehti.
• Lamberg, A-R. & Suomala, J. 2023. Opiskelijoiden kokemuksia Digisti-hankkeen digitaito- ja uravalmennuksista. Digisti-hankkeen blogi.
• Thompson Coon, R., Vataja, K., ja Parkkonen, P. 2021. Sitran arvioinnin lähestymistapa.