Miten hanketyöntekijöiden tekemä itsearviointi parantaa TKI-hankkeen tuloksellisuutta? Tässä artikkelissa käsitellään itsearviointia osana hankkeen vaikuttavuusarviointia ja itsearvioinnin soveltamista DigiPoint-hankkeen kolmen partnerin Laurea-ammattikorkeakoulun, Espoon kaupungin ja Vantaan kaupungin osahankkeissa. Euroopan Sosiaalirahaston rahoittama DigiPoint poluttaa työttömiä työnhakijoita työelämään tai opiskelemaan avoimen ammattikorkeakoulun digi- ja työelämätaitokoulutuksilla. Partnerikaupungit tukevat opiskelua ryhmätoiminnalla ja saavutettuja oppeja hyödynnetään kumppaniyritysten ohjaamissa kehityshaasteissa.
Itsearviointi sitouttaa työntekijät kehittämään hankkeen toimintaa
Vaikuttavuusarvioinnilla mitataan jonkin toiminnan vaikutusta asetettuihin tavoitteisiin nähden. Arviointia voidaan tehdä itsearviointina, jolloin organisaation jäsen arvioi toimintaa tai ulkoisena arviointina, jolloin arvioinnin suorittaa organisaation ulkopuolinen henkilö. Itsearviointia käytetään erityisesti silloin, kun hankkeen toimintaa halutaan kehittää sisäisesti hankekauden aikana. (Rajahonka 2019.)
Itsearviointi palvelee yksilön oppimista ja työn sisältöjen kehittämistä. Itsearvioinnissa työntekijä on pakotettu pohtimaan ja kehittämään sekä omaa että organisaation toimintaa. Työntekijöiden on todettu olevan sitoutuneempia hyödyntämään arvioinnin tuloksia, jos se on toteutettu itsearviointina. Kuulluksi tuleminen lisää omistajuuden tunnetta ja luottoa arvioinnin tuloksia kohtaan. Edellytyksinä itsearvioinnin tulosten käytettävyydelle ovat lisäksi systemaattinen datan keruu ja sen analysointi. (Dahler-Larsen 2005.)
Miten arviointi suoritetaan, vaikuttaa myös tulosten käytettävyyteen. Jos itsearviointi suoritetaan haastatteluin esihenkilön, kollegan tai hankekumppanin toimesta, eivät haastateltavat välttämättä kehtaa tai uskalla ilmaista tutulle haastattelijalle suoraa mielipidettä asiasta. Suurin ongelma arvioinnin tulosten kannalta on kuitenkin se, jos todettuja ongelmia tai virheitä ei haluta myöntää itselle. (Suopajärvi 2013.)
DigiPointissa itsearviointihaastattelut tekee Laurean polkuopiskelija
DigiPointin kontekstissa vaikuttavuusarviointia tehdään laadullisesti ja määrällisesti eri sidosryhmien kanssa. Yksi sidosryhmistä ovat Laurean, Espoon ja Vantaan hanketyöntekijät. Lisäksi hankkeessa kerätään palautetta myös siihen osallistuvilta opiskelijoilta ja yritysyhteistyökumppaneilta. Tässä tekstissä keskitytään kuitenkin nimenomaan itsearviointiin hanketyöntekijöiden näkökulmasta.
Laurean, Espoon ja Vantaan osahankkeiden itsearvioinnin ensimmäisen vaiheen tavoitteena on tutkia, miltä osin hankkeessa on onnistuttu ja mitä on syytä kehittää. Hanke käynnistyi huhtikuussa 2020 ja ensimmäisen kerran varsinaista arviointia tehtiin hankkeen perustamisen jälkeen marraskuussa 2020 haastattelemalla hanketyöntekijöitä. Haastattelut teki Laurea-ammattikorkeakoulun polkuopiskelija, joten hanketyöntekijöillä oli mahdollisuus antaa palautetta anonyymisti ilman, että heillä oli tarvetta kaunistella asioita. Polkuopiskelija myös luokitteli aineiston ja teki koosteen keskeisimmistä tuloksista.
Itsearviointi osana hanketyön jatkuvaa kehittämistä
Projekteissa, kuten DigiPoint-hankkeessa, arvioinnin tulisi olla jatkuvaa ja systemaattista. Suopajärvi (2013) kiteyttää, että projektin alussa tulisi arvioida toimintaympäristöä, väliarvioinnissa toimintaa ja projektin lopuksi tuloksia ja vaikuttavuutta. Suopajärven ajatuksesta voi johtaa, että varsinaista hankkeen vaikuttavuutta tarkastellaan usein vasta projektin lopussa, mutta hankkeen aikana tehty arviointi palvelee eritoten sen jatkuvaa kehittämistä. Dynaamisessa ympäristössä varhaisessa vaiheessa tunnistettuja parannuskohteita voidaan korjata jo projektin aikana. Kehittämisprojekteissa voidaan kokeilla erilaisia menetelmiä ja arvioinnin yhteydessä kerätä niistä palautetta ja pohtia, mikä toimii kyseisessä projektissa ja mikä ei. DigiPointin tapauksessa käynnistämisvaiheen jälkeiset hanketyöntekijöiden itsearviointihaastattelut palvelivat nimenomaan jatkuvan kehittämisen näkökulmaa.
Haastattelut jakautuivat kuvion yksi mukaisesti tunnelman luomiseen avaavalla kysymyksellä, onnistumisiin, haasteisiin, partnereiden väliseen yhteistyöhön ja odotuksiin tulevaisuudesta.
Kuvio 1 Haastattelijan tekemä haastattelurunko (Harjula)
Osallistavalla työpajalla yhteisiin kehitysehdotuksiin
Haastattelujen tulokset käsiteltiin yhteisessä työpajassa Laurean, Espoon ja Vantaan hanketyöntekijöiden kanssa. Anonymiteetin säilyttämiseksi haastatteluissa esiin nousseita tekijöitä liitettiin laajempiin kokonaisuuksiin ja tuloksiin nostettiin sellaisia asioita, jotka olivat nousseet esiin useammasta haastattelusta. Positiiviset kokemukset ja onnistumiset tunnistettiin, mutta pääpaino hankkeen kehittämisen kannalta pysyi haastatteluissa ilmenneissä kehityskohteissa kuten tiedonkulun parantamisessa viranomaisten ja hankehenkilöiden kesken sekä asiakasohjauksen tehostamisessa (ks. kuvio 2). Hanketyöntekijät pääsivät itse ideoimaan haasteisiin ratkaisuja, kun kehityskohteille suunniteltiin yhdessä jatkotoimenpiteet, vastuut ja aikataulut.
Kuvio 2 Yhteenveto tunnistetuista haasteista, kehittämiskohteista ja sovituista toimenpiteistä. (Hario & Harjula)
Haastatteluista ilmeni, että hanketyöntekijöillä oli hyvin samankaltaisia ajatuksia hankkeesta, niin positiivisista kokemuksista kuin sen haasteistakin. Kuviossa kaksi on kuvattu tunnistetut haasteet, kehittämiskohteet ja sovitut toimenpiteet. Keskeisimmät kehittämiskohteet ja niihin kehitetyt toimenpiteet liittyivät yhteydenpitoon TE-viranomaisten kanssa, markkinointiin sekä hanketyöntekijöiden yhteisiin tapaamisiin.
- Yhteistyö hankkeeseen opiskelijat ohjaavan TE-viranomaisen kanssa todettiin haastavaksi muun muassa organisaation sisäisten uudistustensa takia. Yhteydenpitoa parantamiseksi päätettiin ehdottaa TE-virastolta hankkeelle osoitettua yhteyshenkilöä.
- Osallistujien tavoittamiseksi sovittiin kehitettävän hankkeen omaa markkinointia TE-viranomaisten tekemän ohjauksen rinnalla.
- Hankkeen sisäisen koordinaation parantamiseksi päätettiin järjestää viikoittaisia kaikkien hanketyöntekijöiden palavereja, joissa jaetaan tilannekuvaa ja suunnitellaan tekemistä – vallitsevan COVID-tilanteen salliessa ”livenä”.
Kehitettävää löytyi myös muun muassa asiakashankinnan ja yritysyhteistyön puolelta. Niiden osalta sovittiin, että helmikuussa 202 pidetään vielä erikseen toinen työpaja, jossa paneudutaan syvemmin näihin kehityskohtiin. Alkuvuodesta on myös tarkoitus pitää toinen arviointikierros hankkeen vaikuttavuusarviointiin liittyen.
Johtopäätökset
Kakkien partnereiden hanketyöntekijät kokivat ensimmäinen arvioinnin hyödylliseksi. Löysimme yhdessä kehityskohteita ja hanketyöntekijät pääsivät kertomaan kokemuksistaan luottamuksellisesti ja avoimesti. Hanketyöntekijät ovat mukana positiivisella asenteella ja valmiita osallistumaan kehittämistyöhön.
Osa kehittämistoimenpiteistä on jo toteutettu ja loput on tarkoitus toteuttaa alkuvuodesta 2021. Helmikuussa tarkoituksena on toteuttaa arvioinnin seuraava vaihe. Haastattelut toteutetaan samalla tavalla polkuopiskelijan toimesta, kuin ensimmäiset haastattelut, jotta työntekijät voivat avoimesti kertoa kokemuksistaan luottamuksellisesti ja anonyymisti. Haastatteluiden tavoitteena on tarkastella, kuinka hyvin sovitut toimenpiteet ovat toteutuneet ja palvelleet hanketta ja työntekijöitä. Samalla kartoitetaan myös minkälaisia uusia onnistumisia ja kehittämisen kohteita hankkeessa on ilmennyt ja yhdessä ideoidaan niihin kehitysehdotuksia.
Kokonaisuudessaan ensimmäinen arviointi meni sujuvasti. Työntekijät olivat sitoutuneita arviointiin. Tämä näkyi siinä, että työntekijät osallistuivat haastatteluihin nopealla aikataululla, olivat avoimesti mukana haastatteluissa ja osoittivat luottamusta kertomalla myös haasteista. He myös osallistuivat haastattelujen jälkeiseen tuloksia avaavaan työpajaan ja antoivat ymmärtää, että ovat positiivisella mielellä mukana hankkeessa ja kehitystyössä. Haastattelut osoittautuivat sopivaksi menetelmäksi tehdä itsearviointi. Haastattelutilanteet olivat rentoja ja avoimia, ja hanketyöntekijät saivat mahdollisuuden jakaa näkemyksiään ja kokemuksiaan hankkeesta matalalla kynnyksellä ja luottamuksellisesti. Yhteinen työpaja haastattelujen jälkeen oli hankkeen ja työntekijöiden kannalta tärkeä, koska näin työntekijät saivat kuulla myös muiden mielipiteitä ja pääsivät osallistumaan hankkeen kehittämiseen. Tämä varmasti myös sitouttaa työntekijöitä osallistumaan DigiPointin kehittämiseen itsearvioinnin menetelmällä jatkossakin.
Lähteet:
