Viimeistään projektin päättyessä tehdään kokonaisarviointia projektista. Ulkoinen velvoite ja paine tehdä arviointia tulee ehkä asiakkaalta, rahoittajalta tai omalta organisaatiolta, mutta toivottavasti intressi arviointiin tulee ennen kaikkea myös projektitoimijoilta itseltään ja myös itseä varten! Arviointi ei ole mittarointiharjoitus, vaan onnistumista voi arvioida vaikkapa tarinalla, joka projektista jää elämään. Tässä artikkelisarjassa pohdin ensin kolmea väitettä liittyen projektijohtamiseen, seuraavaksi pohdin hiljattain päättyneen Kokemusasiantuntijat verkossa -hankkeen kautta tavoitteenasetantaa vuorovaikutuksena, tässä artikkelissa projektin arviointia ja onnistumista ja lopuksi projektin tiedonkulkua ja oppimista.
Kuva: ThisisEngineering RAEng / Unsplash
Arviointi
Projektien arviointia voi perinteisesti luonnehtia rationaaliseksi ”mittarointiharjoitukseksi” (Oksman 2023), tai oletukseksi rationaalisuudesta. Ajatus mittarointiharjoituksesta ei välttämättä ole projektityön tai siinä työskentelevien ihmisten ”vika”, vaan esimerkiksi rahoittajan antamien seurantavälineiden, mittareiden tai ohjauksen seuraus.
Arvioinnilla tarkoitetaan yleensä jonkun arvon tai ansion määrittelyä. Arviointia tekevän tulee raportoida arvioitavasta asiasta totuudenmukaisesti ja muodostaa johtopäätöksiä. Arviointi luonnehditaan systemaattiseksi ja objektiiviseksi. Objektiivisuus voi olla hankalaa, jos arviointia tekee hanketoimija itse. Olisi hyvä mahdollistaa osallistuminen arviointiin muillekin, vähintään palautteenkeruun keinoin. (Hyttinen 2006, 10; ks. myös KEPA 2004, Robson 2001, 17–18).
Tepa-termipankin mukaan arviointi on määritelmällisesti ”toiminta, jossa tuotetaan laadullinen tulkinta kohteesta” (Tepa n.d.). Tämä laadullisuuden maininta on kiinnostavaa, sillä yleisesti tulee ehkä helpommin kiinnitettyä huomiota määrällisiin mittareihin. Niiden tulkinnan ajatellaan olevan yksiselitteisempää. Kuitenkin jatkon kannalta juuri laadulliset mittarit saattaisivat olla hyödyllisempiä, sillä niiden kautta organisaatiossa ehkä paremmin oivalletaan jotakin uutta.
Onnistumisesta
Arvioinnissa tulisi myös selvittää onnistumista, eikä pelkästään kuvata faktoja. (Hyttinen 2006, 10; ks. myös KEPA 2004, Robson 2001, 17–18). Onnistumisen arviointi on sikäli vaikeaa, että ensin pitäisi määritellä onnistuminen, ja sitten pohtia miten sitä onnistumista mitataan. Kokemusasiantuntijat verkossa -hanke päättyi elokuussa 2023. Hankkeessa oli numeerisia tavoitteita ja mittareita, osa asetetuista numeerisista tavoitteista ylitetiin, osa jäi saavuttamatta. Voiko näistä numeroista päätellä sen, oliko hanke onnistunut vai epäonnistunut vai ehkä jotain muuta?
Onnistumisen arvioinnin hankaluudesta voi käyttää esimerkkinä talon valmistumista: talo on valmis ja asumiskelpoinen, kuitenkin talo on aivan eri näköinen kuin havainnekuva. Onko talo onnistunut vai ei? Projektin onnistuminen on aina suhteessa tulkintaan. (Oksman 2023). Talo(projekti) voi olla molempia, eri mittareilla.
Kokemusasiantuntijat verkossa -hankkeessa kerättiin erilaista palautetta säännöllisesti läpi hankkeen, niin hanketiimin kesken (kts. esim. Nikula 2022) kuin osallistujien ja ohjausryhmän avulla. Erityisesti osallistujilta saatu palaute toiminnasta (seminaarit, webinaarit, koulutukset, työnohjaukset jne.) oli arvokasta materiaalia, jonka avulla kehittää toimintaa vielä hankkeen aikana.
Mittaaminen
Oksmanin mukaan arviointi ei ole mittarointiharjoitus, vaan se on erilaisten tarinoiden kertomista (Oksman 2023). Tarinoiden eloonjäämiseen voi (ainakin pyrkiä) vaikuttaa. Ainakin siihen voi vaikuttaa, mitä tarinaa itse kertoo. Arvioinnissa ja mittaamisessa on siis paljon kyse myös painotuksista, valinnoista, kerronnasta, tavasta sanallistaa ja tuoda esiin asioita.
Mittarointi voi olla vaikeaa, eikä se kerro koko totuutta, mutta se ei saisi olla este sille, etteikö jotain kuitenkin pyrittäisi myös mittaamaan. Numeeriset asiat eivät tyhjentävästi kerro kaikkea, mutta niidenkin avulla saadaan jotain tietoa.
Syy-seuraussuhteet ovat vaikeita ylipäänsä, niin myös projektityössä ja kehittämistoimenpiteissä. Tunnettu esimerkki syy-seuraussuhteista liittyy jäätelönsyömiseen: kuumana kesäpäivänä syödään runsaasti jäätelöä ja samoin kuumana kesäpäivänä tapahtuu eniten pyöräilyonnettomuuksia. Se ei kuitenkaan tarkoita sitä, että jäätelönsyönti aiheuttaisi pyöräilyonnettomuuksia (Tilastokeskus n.d.). Samoin on vaikeaa osoittaa, että joku asia oli kehittämistyön tai projektitoiminnan aikaansaannosta tai vaikutusta. Esimerkiksi kun Kokemusasiantuntijat verkossa -hankkeen aikana osallistuja onnistui työllistymään tai pääsemään opintojen pariin, on vaikea varmuudella osoittaa, että se oli juuri hankkeen toimenpiteiden ansiota. Kyseessä olevan ihmisen elämässä saattoi olla muitakin asiaan positiivisesti vaikuttavia ratkaisevia tekijöitä.
Mittareiden pitäisi olla sellaisia, että ne palvelisivat tarkoitusta. Mittareita voi olla etukäteen, ennen projektin alkua vaikea miettiä, jos ei edes olla varmoja mitä konkreettisesti tullaan tekemään. Projektin mittareihinkin pitäisi palata pitkin matkaa, ja muuttaa niitä tarvittaessa. Kokemusasiantuntijat verkossa hankkeen onnistumista voisi mitata myös kokemusasiantuntijalähtöisyydellä, tuotettujen materiaalien hyödynnettävyydellä, osallistujien osaamisen kasvulla tai mahdollisella asennemuutoksella liittyen rikostaustaisiin tai kokemusasiantuntijuuteen.
Arviointi ei ole mittarointiharjoitus, vaan se voidaan tehdä erilaisten tarinoiden kertomisena. Arviointi on myös tarinoiden kertomista. Miten sanoitamme ja haluamme nähdä asioita. (Oksman 2023). Tarina, jonka itse haluaisin jäävän elämään hankkeesta, oli ensinnäkin yksittäisten osallistujien ilo saavutetuista opintopisteistä korkeakoulussa; toisekseen opiskelijoiden, tulevien sote-alan ammattilaisten ymmärryksen laajentuminen kokemusasiantuntijuuden hyödyllisyydestä ja kolmanneksi kokemusasiantuntijataustaisen ihmisen palkkaaminen hankkeen työntekijäksi.
Lopuksi: onnistuttiinko?
On hyvä kysyä itseltään millaisia mittarointiharjoituksia harrastaa. Tätä kyselyä kannattaa tehdä jo siinä vaiheessa, kun kirjoittaa uutta hankehakemusta. Määrälliset mittarit ovat helpon tuntuisia, mutta olisivatko laadullisetkin mittarit mahdollisia? Toinen hyvä kysymys on se, mitä onnistuminen ylipäänsä on, mitä sillä tarkoitetaan?
Kokemusasiantuntijat verkossa -hankkeen hyödyntäminen yksilötasolla tulee ehkä selkeimmin tapahtumaan ihmisten oppimiskokemuksina, positiivisina kokemuksina formaalista oppimisympäristöistä ja hankittuina työ- tai harjoittelupaikkoina. Yhteisön tasolla hankkeen hyödyntäminen tapahtuu selkeästi tuotettujen materiaalien kautta, jotka ovat saavutettavissa vielä hankkeen jälkeenkin. Materiaaleihin voi tutustua Kokemustiedonkeskuksen sivuilla ja hankkeen verkkosivuilla (linkit: Kokemusasiantuntijat verkossa – Laurea-ammattikorkeakoulu ja Kokemusasiantuntijat verkossa – Kokemustiedon keskus).
Yksi keskeinen onnistuminen hankkeessa oli tarinallinen videodokumentti, joka on katsottavissa täällä: Kokemusäänellä – Millaista on rikos- ja päihdetaustaisten kokemusasiantuntijoiden työelämä? – YouTube. Tämän tarinan me haluamme jäävän elämään! Katso dokumentti ja arvioi sinäkin hankkeen onnistumista – jostakin näkökulmasta.
Lähteet:
