Kehittämishankkeissa törmätään usein kysymykseen siitä, miten arviointia pitäisi tehdä, mitä se oikeastaan sisältää ja kenelle sitä tehdään. Arvioinnista puhuttaessa huomio kiinnittyy herkästi vain lopputuloksiin tai rahoittajalle laadittaviin raportteihin. Hankkeen arvioinnissa on tärkeää erottaa kaksi toisiaan täydentävää kokonaisuutta: hankeprosessin arviointi ja hankkeen vaikutusten arviointi.
Hankeprosessin arvioinnissa tarkastellaan hankkeen toteutusta eli sitä, tehdäänkö oikeita asioita oikealla tavalla. Hankkeen vaikutusten arvioinnissa puolestaan syvennytään toiminnalla saavutettavaan muutokseen eli siihen, mitä vaikutuksia tekemisestä syntyy. Jotta arviointi palvelee hanketta koko sen elinkaaren ajan, on ymmärrettävä, miten nämä kaksi arviointia täydentävät toisiaan.
Tuloksista vaikuttavuuteen
Arviointi ei ole koskaan yksiselitteistä. Sen toteuttamiseksi täytyy ensin ymmärtää keskeiset käsitteet.
- Tulokset viittaavat hankkeen konkreettisiin suoritteisiin eli siihen, mitä käytännössä saadaan aikaan (esimerkiksi järjestetyt valmennukset, osallistujamäärät ja laaditut oppaat).
- Vaikutukset kuvaavat kohderyhmässä tapahtuvia välittömiä muutoksia, kuten osallistujien osaamisen, toimintakyvyn tai asenteiden vahvistumista.
- Vaikuttavuus viittaa laajempiin ja pysyvämpiin muutoksiin yksilö-, yhteisö- ja yhteiskuntatasolla, kuten syrjäytymisen vähentymiseen tai sosiaalisen osallisuuden vahvistumiseen.
Jokaisessa hankkeessa täytyy määritellä, mitä vaikutuksella ja vaikuttavuudella juuri kyseisessä yhteydessä tarkoitetaan ja kenen näkökulmasta muutosta tarkastellaan. Keskiössä on hankkeen tavoitteen kirkastaminen. Ilman tavoitetta ei ole toivottua muutosta eikä mahdollista pohtia, miten sitä mitataan.
Vaikka hankkeiden kohderyhmät ja arviointiotokset ovat usein pieniä, on muistettava, että yksilötason myönteinen muutos on aina edellytys sille, että laajempi yhteisö- tai yhteiskuntatason vaikuttavuus voi toteutua.
Hankeprosessin arviointi tukee toivottua muutosta
Arviointia tulisi tehdä koko hankkeen elinkaaren ajan. Prosessiarviointi hakee vastausta siihen, miten työtä tehdään tavoitteeseen pääsemiseksi. Se perustuu kehittävään arviointiin, joka on osallistava, vuorovaikutteinen ja koko hanketiimin oppimista tukeva työtapa.
Siinä missä prosessiarviointi seuraa tekemistä, vaikutusten arviointi keskittyy tavoitellun muutoksen todentamiseen.
Keskeisenä lähtökohtana on hankkeen päätavoitteen pilkkominen arjen toiminnaksi. Hankkeen päätavoite kuvaa yleensä laajaa visiota tai yhteiskunnallista muutosta, kuten nuorten syrjäytymisen vähentämistä. Yksinään tällainen tavoite on liian abstrakti ohjaamaan arjen seurantaa. Päätavoite onkin hyvä pilkkoa osatavoitteisiin, kuten verkostoyhteistyön kehittämiseen tai matalan kynnyksen kohtaamispaikkojen kehittämiseen.
Osatavoitteet täsmennetään edelleen konkreettisiksi tavoitteiksi, jotka määrittelevät arjen teot ja toimenpiteet: esimerkiksi tavoitteellisen valmennusmallin kehittäminen ja pilotointi. Päätavoite ja osatavoite on hyvä viedä omaan taulukkoonsa ja tarkastella toiminnan suuntaa säännöllisesti, esimerkiksi raportoinnin sykleissä.
Hankkeen vaikutusten arviointi
Siinä missä prosessiarviointi seuraa tekemistä, vaikutusten arviointi keskittyy tavoitellun muutoksen todentamiseen. Prosessi alkaa tarpeen tunnistamisesta ja vaikutustavoitteiden operationalisoinnista eli kääntämisestä arjessa havainnoitaviksi ja mitattaviksi ilmiöiksi. Jos tavoitellaan osallisuuden vahvistumista, vaikutusten arvioinnissa määritellään tarkasti, miten se ilmenee osallistujan elämässä. Se voi näkyä esimerkiksi yksinäisyyden vähentymisenä tai rohkeutena liikkua kodin ulkopuolella. Tämän jälkeen valitaan sopivat mittarit.
Kehittämishankkeissa tulisi määrällisten mittareiden rinnalla kerätä myös laadullista tietoa. Teemahaastattelut, ryhmäkeskustelut ja osallistujien omat muutostarinat tuovat esiin syvällistä tietoa siitä, miten ja miksi muutos tapahtui.
Parhaimmassa tapauksessa kehittämistyössä yhdistyvät arviointiosaaminen ja sisällöllinen osaaminen. Tällöin arvioinnista saatua tietoa käsitellään yhdessä hanketiimissä ja pohditaan, mistä asioista muutokset kertovat.
Kohti tiedolla johtamista
Lopulta arviointitiedon tärkein tehtävä on ohjata päätöksentekoa ja tulevia valintoja. Kehittämistyössä on uskallettava tehdä rohkeita ratkaisuja arviointitulosten perusteella. Jos jokin toimintamalli ei tuota haluttua vaikutusta, sitä on uskallettava muokata tai siitä on luovuttava.
Samalla ne käytännöt, jotka tuottavat toivottuja vaikutuksia, on kyettävä juurruttamaan osaksi pysyvää toimintaa. Kun hankkeen tuottamat tulokset ja vaikutukset tehdään näkyviksi, osoitetaan toiminnan todellinen yhteiskunnallinen arvo.
Arvioinnit rinnakkain hankkeen elinkaarella
Hankeprosessin arviointi ja hankkeen vaikutusten arviointi kulkevat rinnakkain koko hankkeen toteutuksen ajan.
- Aloitusvaiheessa luodaan pohja työlle. Prosessiarvioinnissa puretaan tavoitteet ja sovitaan toimintakäytännöistä. Vaikutusten arvioinnissa rakennetaan arviointiasetelma ja tehdään alkumittaukset.
- Toteutusvaiheessa prosessiarvioinnilla seurataan säännöllisesti toimenpiteiden etenemistä, arvioidaan tiimin sisäistä toimivuutta ja käydään läpi saatua palautetta. Samaan aikaan vaikutusten arvioinnissa seurataan välittömiä vaikutuksia ja kerätään laadullista tietoa.
Kerätyn tiedon pohjalta voidaan tehdä suunnanmuutoksia ja kokeilla uusia ratkaisuja jo hankkeen aikana. Jos toteutusvaiheessa kehittämisellä on jo saatu tavoitteiden mukaisia vaikutuksia, voidaan alkaa suunnitella toiminnan juurruttamista. - Päättymisvaiheessa toteutetaan loppumittaukset, analysoidaan vaikuttavuustieto ja viedään prosessiarviointi päätökseen sidosryhmäkyselyjen sekä tiimin itsearvioinnin avulla. Näin luodaan pohja juurruttamiselle ja toiminnan jatkuvuudelle.
OSUMA – Osallisuutta, suuntaa ja uusia mahdollisuuksia
• OSUMA-hankkeen tavoitteena on tukea 25–55-vuotiaiden työelämän ulkopuolella olevien vantaalaisten osallisuutta sekä työ- ja toimintakykyä.
• Hanketta toteuttaa Vantaan seurakuntayhtymä yhdessä Diakonia-ammattikorkeakoulun kanssa.
• Hanke on Euroopan sosiaalirahaston plus (ESR+) osarahoittama. Rahoittava viranomainen on Kaakkois-Suomen Elinvoimakeskus.
• Hankkeen toiminta-aika on 1.10.2025–29.2.2028.
Kirjoittajat
Marina Steffansson
Diakonia-ammattikorkeakoulu Asiantuntija
Anne Tuuttu
Diakonia-ammattikorkeakoulu Projektikoordinaattori, KTM
