Laadullinen arviointi sopii erinomaisesti kehittämishankkeissa toteutettavaan itsearviointiin. Se tekee näkyväksi ilmiöitä, suhteita, kokemuksia ja seurauksia, jotka muutoin saattaisivat jäädä huomaamatta keskellä nopeatempoista hanketoimintaa (Suopajärvi, 2013). Hanketyöhön osallistuvilta asiantuntijoilta haastatteluilla määräväliajoin kerättävä kokemusperäinen tieto auttaa sanoittamaan saatuja oppeja ja onnistumisia, tunnistamaan potentiaalisia riskejä sekä varautumaan niihin ennakolta. DigiPoint-hankkeessa itsearvioinnilla tehtiin näkyväksi hankeosapuolille merkittäviä asioita ja tapahtumia sekä havaittiin epäkohtia, joihin haettiin ratkaisuja yhdessä. Hankkeessa itsearviointi lisäsi ymmärrystä yhteisistä tavoitteista ja paransi hankeosapuolten keskinäistä vuorovaikutusta.

ESR-rahoitteisessa DigiPoint-hankkeessa (2020-2022) Laurea-ammattikorkeakoulu sekä Espoon ja Vantaan kaupungit tekivät tiivistä yhteistyötä osana kuuden hankekumppanin yhteenliittymää (edellisten lisäksi mukana olivat Turun ja Helsingin kaupungit sekä Metropolia Ammattikorkeakoulu). Laurean, Espoon ja Vantaan hankeosapuolet eivät tunteneet toisiaan entuudestaan ennen DigiPoint-hankkeen käynnistymistä koronakeväänä 2020. Sen vuoksi itsearvioinnin integroimista osaksi hankkeen käytänteitä pidettiin tärkeänä. Se nähtiin välineenä tarkastella, kehittää ja suunnitella yhteistä hanketoimintaa sekä yksittäisten hanketyöntekijöiden omaa työtä.

DigiPoint-hankkeessa vastattiin työelämämurroksen muuttuviin osaamisvaatimuksiin. Hankkeen kohderyhmään kuuluivat nuoret ja aikuiset pitkäaikaistyöttömät, joiden työllistymisedellytyksiä vahvistettiin työpajatoiminnalla, digialan koulutuksella ja ohjauksellisella tuella. (Launikari & Simon, 2022).

Itsearviointi tuki oppimista

Itsearviointia toteutettiin Laurean, Espoon ja Vantaan DigiPoint-osatoteutuksessa läpi koko kaksivuotisen hankekauden. Itsearvioinnissa oli kyse ns. formatiivisesta arvioinnista, joka kohdistui hankkeen toimeenpanon ja etenemisen arviointiin – siis prosessiin (Suopajärvi, 2013). Sen ensisijaisena tavoitteena oli oppiminen, toiminnan kehittäminen ja suuntaaminen hankkeen kannalta oleellisiin asioihin. Hankkeen aikana itsearvioinnista saatuja tuloksia hyödynnettiin kehittämistoiminnan johtamisessa, edelleen suunnittelussa ja käytännön toteutuksessa (Harjula & Hario, 2021).

DigiPoint-hanketyöntekijät Laureassa, Espoossa ja Vantaalla haastateltiin itsearviointia varten puolivuosittain (marraskuu 2020, huhtikuu 2021, syyskuu 2021, maaliskuu 2022). Haastattelujen tavoitteena oli toisaalta katsoa taaksepäin (’feedback’) ja lisätä ymmärrystä siitä, miten hanke on edennyt viimeisellä puolivuotisjaksolla, ja toisaalta katsoa eteenpäin (’feed-forward’) ja ennakoida tulevaan toimintaan liittyviä riskejä ja mahdollisuuksia (Cathcart, Greer & Neale, 2014). Yksittäisen hanketyöntekijän kohdalla tarkasteltiin myös toiminnasta saatuja oppeja ja oman osaamisen kehittymistä sekä hanketyössä mahdollisesti kohdattuja ammatillisia haasteita.

Formatiivisena toteutettua itsearviointia varten Laurea, Espoo ja Vantaa olivat yhteisesti tunnistaneet kohteita, joista pidettiin tarpeellisena tuottaa tietoa ja vastauksia hanketyön tueksi. Alla listattuja asioita tarkasteltiin itsearviointihaastatteluissa aina suhteessa senhetkiseen hankevaiheeseen oman työroolin ja -tehtävien sekä työnantajaorganisaation näkökulmasta. Kukin hankevaihe määritteli sitä, mitä tarkalleen ottaen kysyttiin ja mihin huomio haastatteluissa kulloinkin keskittyi.

• Missä määrin hanke etenee suunnitelman ja alkuperäisten tavoitteiden mukaisesti?
• Miten saadut tulokset vastaavat hankehakemuksen tavoitteita?
• Miten koronapandemia on vaikuttanut hanketoimintaan?
• Miten hankkeen konkreettiset kehittämistoimenpiteet (mm. koulutus, työpajat, verkkokurssit) ovat onnistuneet?
• Miten hankekumppanien välinen yhteistyö ja vuorovaikutus ovat toimineet?
• Miten kohderyhmätiedotuksessa, asiakashankinnassa ja asiakastyössä on onnistuttu?
• Miten vaikuttavaa hanketoiminta on ollut määrällisesti ja laadullisesti?
• Mitä oppia ja onnistumisia hanke- ja kehittämistyöstä on saatu?

Nämä itsereflektioon ja omaan arviointiin perustuvat haastattelut tuottivat paljon arvokasta tietoa hankkeen tilasta ja hankekumppaneiden näkemyksistä ja odotuksista. Etenkin hankkeen alkuvaiheessa itsearvioinnilla haluttiin tehdä näkyväksi hanketoimijoiden vahvuuksia ja voimavaroja hankkeen tavoitteisiin nähden. Kehittämistoiminnan yleistä vaikuttavuutta suhteessa kohderyhmiin ja sidosryhmiin tarkasteltiin enemmän hankkeen toisena vuotena.

Opiskelijat toteuttivat itsearvioinnin

Tämän artikkelin kirjoittaja koordinoi Laurean, Espoon ja Vantaan yhteisen DigiPoint-osatoteutuksen kokonaisvaikuttavuuden arviointia. Itsearviointi ja sen toteutus olivat osa hankkeen vaikuttavuusarviointia. DigiPointin itsearviointia tekemään rekrytoitiin ’ulkopuolisina konsultteina’ Laurean polkuopiskelija lukuvuodeksi 2020-2021 ja kaksi Laurean sosionomitutkintoa suorittavaa opiskelijaa lukuvuodeksi 2021-2022. Tällä toimenpiteellä varmistettiin se, että haastateltavien hanketyöntekijöiden anonymiteetti voitiin taata erityisesti tulosraportoinnissa (Harjula & Hario, 2021). Tulosyhteenvedossa asiat liitettiin laajempiin kokonaisuuksiin ja isompiin teemoihin ilman, että yksittäistä haastateltavaa saattoi aineistosta tunnistaa.

Opiskelijat toteuttivat Laurean, Espoon ja Vantaan DigiPoint-osatoteutuksen itsearvioinnin itsenäisesti, mutta saivat siihen ohjauksellista tukea tämän artikkelin kirjoittajalta. Konkreettisesti itsearviointiprosessi tarkoitti opiskelijoille haastattelukysymysten suunnittelua, haastattelujen toteutusta verkon yli, haastatteluaineiston analysointia, tulosten ja johtopäätösten yhteenvetoa ja lopuksi esittelyä hankekumppaneille. Itsearvioinnin tekemällä opiskelijat oppivat ja omaksuivat laadullisen haastattelututkimuksen perusteet käytännössä (aineiston keruun suunnittelu, toteutus, luokittelu, analysointi ja raportointi), minkä lisäksi he saivat arvokasta kokemusta asiantuntijatyöstä digitaalisessa ympäristössä ja erilaisten asiantuntijoiden kohtaamisesta.

Itsearvioinnin hyödyt

Itsearviointi teki hanketyössä näkyväksi asioita, joista ei todennäköisesti olisi muutoin saatu kiinni. Itsearviointi tuotti tietoa eri osapuolten toiveista, odotuksista ja tarpeista. Kun asiat oli itsearvioinnilla sanoitettu, oli niistä helppoa ja luontevaa käydä yhteiseen ja avoimeen neuvonpitoon. Erityisesti hankeyhteistyön alkuvaiheessa itsearvioinnin avulla saatiin viitteitä siitä, että yhteisiä menettely- ja toimintatapoja pitää kirkastaa sekä työnjaollisesta hienosäädöstä ja asioiden aikataulutuksesta sopia läpinäkyvästi.

Itsearvioinnista oli Laurean, Espoon ja Vantaan hanketyöntekijöille ja heidän työnantajaorganisaatioilleen kokonaisvaltaista hyötyä, sillä saadut tulokset

• paransivat hankekoordinaatiota ja hankkeen sisäistä viestintää
• lisäsivät hankkeen sisäistä koheesiota ja ryhmäytymistä
• kirkastivat ja konkretisoivat tavoitteita
• toiminnallistivat hankestrategian
• ohjasivat ja fokusoivat hankkeen kehittämistyön strategian mukaiseksi
• auttoivat havaitsemaan pinnan alla tai piilossa olevia asioita
• mahdollistivat havaittuihin epäkohtiin puuttumisen ja niihin yhteisen ratkaisun löytämisen.

Toteutetun itsearvioinnin tarkoituksena ei ollut osoittaa sitä ’miten hyvin me onnistuimme’ tai ’kuinka menestyksekäs hanke oli’. Itsearvioinnin päätavoitteena oli ennen kaikkea luoda sellaista tietoa, jonka avulla oli mahdollista nopeasti ja joustavasti reagoida haasteisiin ja parantaa hankeprosesseja toiminnan aikana.

Itsearvioinnista Laureassa, Espoossa ja Vantaalla saatu keskeinen oppi oli muistutus siitä, miten välttämätöntä on aika ajoin pysähtyä oman työn äärelle ja tarkastella sitä kriittisesti. Itsearviointi osoitti myös sen, että omien näkemysten peilaaminen kollegoiden ja hankekumppaneiden näkökulmiin voi antaa jokaiselle meistä uusia oivalluksia omaan työhömme sekä tuoda merkityksellisyyttä yhteiseen tekemiseen.

FT, KTM Mika Launikari on uraohjauksen ja osaamisen kehittämisen asiantuntija Laureassa. DigiPoint-hankkeessa Mika vastasi mm. vaikuttavuusarvioinnista. Hänellä on pitkä työkokemus elinikäisestä ohjauksesta (politiikka, tutkimus, kehittäminen, koulutus, käytäntö) Suomen valtionhallinnossa ja EU:n palveluksessa. Mika on toiminut koulutuksen ja työelämän kansainvälistämistehtävissä. Hänellä on laaja julkaisutuotanto sekä monipuolinen kokemus EU-rahoitteisista hankkeista. Mika on esiintynyt noin 80 kansainvälisessä konferenssissa.

Lähteet:

• Cathcart, A., Greer, D. & Neale, L. 2014. Learner-focused evaluation cycles: facilitating learning using feedforward, concurrent and feedback evaluation. Assessment and Evaluation in Higher Education, 39(7), pp. 790-802. Viitattu 18.5.2022. https://eprints.qut.edu.au/65471/
• Harjula, J. & Hario, P. 2021. Itsearvioinnilla potkua hanketyöhön. Laurea Journal. Viitattu 17.5.2022 https://journal.laurea.fi/itsearvioinnilla-potkua-hanketyohon/#880f7491
• Launikari, M. & Simon, H. 2022. Digitaalisuus, osaaminen ja työelämä – Kokonaisvaltaista tukea työllistymiseen. Digipoint-hankkeen loppujulkaisu. Viitattu 17.5.2022. https://www.theseus.fi/handle/10024/743653
• Suopajärvi, L. 2013. Opas projektiarviointiin. Viitattu 18.5.2022. https://www.ulapland.fi/loader.aspx?id=a6d01dd9-baad-408a-a6fb-5e131cf74ef5