Vaikuttavuustutkimuksessa arvioidaan hankkeen, projektin tai toiminnan vaikutuksia. Metropolian Vyyhti-hankkeen vaikuttavuustutkimuksen tarkoituksena on
- selvittää Vyyhti-hankkeen toimintojen, kuten koulutusten, tapahtumien, verkkoviestinnän ja tuotosten vaikutuksia osallistujiin, hankkeen toteuttajiin (Metropolia Ammattikorkeakoulu, Helka ry. ja HUB Helsinki) ja heidän verkostoihinsa,
- luoda ymmärrystä prosessista, jonka avulla Vyyhti-hankkeessa on pyritty synnyttämään vaikuttavuutta,
- tarkastella eroja ja niiden syitä toteutuneiden ja suunniteltujen tavoitteiden välillä,
- pohtia miten vaikuttavuutta voi arvioida Vyyhdin kaltaisessa verkostomaisessa, innovaatioihin tähtäävässä hankkeessa, sekä
- nostaa esiin vaikuttavuuden arvioinnin kannalta keskeisiä Vyyhti-hankkeen onnistumisia ja ongelmakohtia.
Vaikuttavuustutkimus on luonteeltaan eksploratiivista, tutkimus ei perustu hypoteeseihin tai olettamuksiin.
Mistä vaikuttavuustutkimus kertoo?
Vaikuttavuustutkimuksessa arvioidaan toiminnan vaikutuksia. Hanketoiminnassa vaikuttavuustutkimus tähtää onnistumisten esiin nostamiseen ja jakamiseen tulevaa soveltamista varten, mutta myös epäonnistumisista, hankaluuksista ja virheistä oppimisen mahdollistamiseen. Keskeinen arvioinnin kohde on oppiminen, jota hankkeen toiminta on jo tuottanut tai voi tulevaisuudessa tuottaa.
Vaikuttavuustutkimus on Vyyhti-hankkeen kehittämistyön ydintä, vaikka se toteutetaan hankkeen aktiivisen toiminnan päätyttyä. Hankkeen vaikuttavuus ei pääty hankkeen päättyessä, siksi vaikuttavuustutkimuksessakaan ei tavoiteta ”lopullista” vaikuttavuutta. Vaikuttavuuden arvioinnissa nostetaan esiin myös Vyyhti-hankkeen tulevia vaikutusmahdollisuuksia, joilla hankkeen koko potentiaali saadaan esiin. Vyyhti-hankkeen vaikuttavuustutkimus tähtää tulevaan toimintaan, Vyyhti-hankkeessa luotujen uusien käytänteiden ja niiden tuoman muutoksen vakiinnuttamiseen.
Vaikutuksia ja vaikuttavuutta syntyy muutenkin Vyyhti-hankkeen toiminnan tuloksena. Vaikuttavuutta muokkaavat monet asiat. Osallistujien toiminnan muutoksiin saattaa vaikuttavuustutkimuksia tarkastelleen Mervi Rajahongan (2013) mukaan vaikuttaa mm.
- asiat, jotka olisivat tapahtuneet joka tapauksessa, Vyyhti-hankkeen kohdalla esimerkiksi sosiaalisen median käytön yleistymisen myötä,
- muiden toimijoiden vaikutus, kuten muu mahdollinen koulutus, Vyyhdin tapauksessa esimerkiksi herännyt yleinen kiinnostus pelillistämiseen,
- koulutuksen vaikutuksen ajallinen heikkeneminen kertauksen ja uuden innoituksen puuttumisen takia,
- mahdollisten toimintatapojen muutosten syrjäyttämä aiempi toiminta, johon hankkeella kenties kuitenkin oli vaikuttavuutta.
Kehen Vyyhti-hanke vaikutti ja miten?
Vyyhti-hankkeen toimintojen vaikuttavuutta tarkastellaan osatoteuttajien, toimintoihin osallistuneiden henkilöiden ja heidän verkostojensa kannalta. Vyyhti-hankkeen keskeiset kohderyhmät olivat
- Metropolia Ammattikorkeakoulun opiskelijat,
- luovan alan yrittäjät sekä
- alueelliset kaupunginosatoimijat.
Hankkeen päätoteuttaja oli Metropolia Ammattikorkeakoulu. Osatoteuttajat HUB Helsinki ja Helka ry ovat olleet hankkeen alusta lähtien mukana suunnittelemassa ja toteuttamassa hankkeen toimintoja, mutta pienemmällä resurssilla kuin Metropolia.
Tarkastelussa sovelletaan koulutuksen vaikuttavuuden tarkasteluissa usein käytettyä neliportaista ”vaikuttavuuden portaikkoa” (Kirkpatrick 1998), johon tässä tutkimuksessa on lisätty viides, Vyyhti-hankkeen arvoketjua kuvaava porras:
- osallistuneiden henkilöiden kokemukset (palautekyselyt koulutuksista ja tilaisuuksista)
- osallistuneiden henkilöiden oppiminen (palautekyselyt ja siirtovaikutuskysely)
- osallistujien toiminnan muutokset (siirtovaikutuskysely; osatoteuttajien haastattelut)
- toiminnan vaikuttavuus osatoteuttajien ja heidän organisaatioidensa asettamien lähitavoitteiden kannalta sekä heidän verkostojensa muuttumisen kannalta
- toiminnan vaikuttavuus Vyyhti-hankkeen arvoketjussa: minkälaista oppimista syntyi hankkeen eri vaiheissa?
Mikä on vaikuttavuuden arvoketju?
Vaikuttavuutta tarkastellaan hankkeen eri toimintojen seurauksena. Vyyhdin keskeisiä toimintoja olivat
- koulutukset,
- verkostoitumistapahtumat,
- Vyyhtipelit,
- verkkoviestintä,
- Vyyhdin hankekulttuuri ja toimintatavat.
Vaikuttavuus syntyy tavoitteiden ja toteutusten prosessissa, joka kuvataan usein vaikutusten arvoketjuna (impact value chain, Rajahonka 2013). Toimintojen taustalla on niille asetetut tavoitteet. Tarpeista ja tavoitteista johdetaan hankkeen toiminta, tuotokset ja tulokset ja näistä edelleen vaikutus ja vaikuttavuus:
Vaikuttavuuden arviointi alkaa arvoketjun ensimmäisestä vaiheesta, jossa määritellään hankkeen ja sen toimintojen taustalla olevat tarpeet ja tavoitteet. Hankeen tavoitteet muodostavat vaikuttavuuden arvioinnin keskeiset kysymykset ja kriteerit.
Käytettävissä oleva aika, osaaminen ja taloudelliset resurssit vaikuttavat tulosten ja tuotosten laatuun ja sen kautta vaikuttavuuteen. Taloudellisten resurssien vaikutusta toiminnan laatuun ei tässä vaikuttavuustutkimuksessa arvioida.
Vyyhti-hankkeen koulutustilaisuuksista kerätty välitön osallistujapalaute on vaikuttanut hankkeen toimintojen kehittämiseen ja samalla se on ennakoinut toimintojen vaikuttavuutta. Vaikuttavuudesta on kerätty myös muuta aineistoa, sillä välitön palaute ei anna mahdollisuutta arvioida hankkeen toimintojen pitkäkestoisia vaikutuksia. Pitkäkestoisen vaikutuksen arvioimiseen Vyyhti-hankkeessa kyseltiin sähköpostitse ”siirtovaikutuskyselyksi” kutsutulla lomakkeella osallistuneiden mielipiteitä koulutuksista 2-3 kuukauden kuluttua koulutuksen päättymisestä. Ennen siirtovaikutuskyselyn lähettämistä Vyyhti-hankkeessa ei järjestetty aiempaa oppimista tukevaa koulutusta, jolla olisi voitu vahvistaa koulutusten tai verkostotapaamisten vaikuttavuutta.
Minkälaisia työkaluja Vyyhdin vaikuttavuustutkimuksessa käytettiin?
Arviointi- tai evaluaatiotutkimukset saattavat hyödyntää monia tutkimuksellisia viitekehyksiä, tutkimusmenetelmiä ja aineiston keruun analysoinnin tapoja. Mervi Rajahonka on koonnut selvitykseen Vuorovaikutuksessa vaikuttamiseen. Hyvinvointipalveluiden vaikuttavuus – caseja ja keinoja laajan katsauksen vaikuttavuustutkimuksissa käytetyistä menetelmistä, mahdollisista mittareista ja niiden sovellutuksista.
Tässä Vyyhti-hankkeen vaikuttavuustutkimuksessa käytetyt menetelmät, teoreettinen viitekehys ja tutkimukselliset lähestymistavat on rakennettu vastaamaan tutkimusprosessissa ilmenneitä haasteita. Teoreettinen viitekehys liittyy keskeisesti Vyyhti-hankkeen joukkoistavaan ja toimialarajat ylittävään toimintaan. Toisaalta teoreettisen viitekehyksen avulla etäännytetään hankkeen toiminta ja toimijat henkilökohtaisista hankekokemuksista, ja toiminnan ongelmia tarkastellaan esimerkiksi ”ideamarkkinoiden” haasteina.
Seuraavassa taulukossa tarkastellaan Vyyhti-hankkeen vaikuttavuustutkimuksessa käytettyjä työkaluja. Taulukon soluissa arvioidaan miten käytetty työkalu tai aineisto toimii vaikuttavuuden portaikon eri askelmilla arvioinnin välineenä:
| Porras 1 Osallistujien kokemukset |
Porras 2 Osallistujien oppiminen |
Porras 3 Vaikutukset osallistujien toimintaan |
Porras 4 Toteuttajien asettamien lähitavoitteiden toteutuminen |
Porras 5 Vaikuttavuus ja Vyyhti-hankkeen arvoketju |
|
| Vyyhti-hankkeen palautekyselyt | Kohdennettuja kysymyksiä asteikolla 1-5 |
Kohdennettuja kysymyksiä asteikolla 1-5 |
Ei kerro | Yksi kysymys asteikolla 1-5 tavoitteiden selkeydestä |
Välitön palaute ennakoi vain jossain määrin vaikuttavuutta |
| Vyyhti-hankkeen siirtovaikutuskysely | Kohdennettuja kysymyksiä asteikolla 1-5 | Kohdennettuja kysymyksiä asteikolla 1-5 | Kohdennettuja kysymyksiä asteikolla 1-5 | Ei kerro | Verkostoitumisesta kaksi kohdennettua kysymystä asteikolla 1-5; muuten kysymyksiä ei kohdennettu hankkeen tavoitteisiin |
| Vyyhti-hankkeen verkkosivusto ja blogit aineistona | Koulutus-palautteiden tulkinnat ja koonnit blogeissa | Koulutus-palautteiden tulkinnat ja koonnit blogeissa | Ei kerro | Toimijoiden blogikirjoitukset reflektoivat toimintoja | Blogikirjoitukset heijastivat usein toimijoiden välittömiä kokemuksia |
| Vyyhti-hankkeen kotisivujen ja muun verkkoviestinnän tilastojen seuranta | Ei kerro | Ei kerro | Ei kerro | Tietovirtojen seurannasta sai kuvan mm. sivustojen kävijämääristä | Vyyhdin verkkonäkyvyyden tavoitteellisuutta seurattiin ja tilastoihin reagoitiin |
| Vyyhti-hankkeen toimijoiden haastattelut | Toteuttajien tulkinnat osallistujien kokemuksista | Toteuttajien tulkinnat osallistujien oppimisesta | Osatoteuttajat kertoivat edustamansa kohderyhmän toiminnasta | Osatoteuttajien oma arviointi tavoitteiden toteutumisesta | Osatoteuttajien tavoitteet täsmennettiin hankkeen yleisistä tavoitteista palautteiden perusteella |
| Vyyhti-hankkeen toimijoiden arviointityöpajat |
Kerätyn aineiston analysointi johti toiminnan tarkentamiseen | Kerätyn aineiston analysointi johti toiminnan tarkentamiseen | Ei kerro | Keskeinen pohdinnan aihe ohjausryhmällä ja toimijoiden palavereissa | Vyyhti-hankkeen tavoitteet konkretisoitiin ohjausryhmässä, tavoitteita seurattiin aktiivisesti |
| Vyyhti-hankkeessa kerätyt tilastot (EURA-tietokanta; osallistujamäärät, taloushallinto ym.) |
Ei kerro | Ei kerro | Ei kerro | Ei kerro | Panostuksen seuranta |
| Teorialähtöinen aineiston analyysi | Tulkinnallinen viitekehys aineistojen analysointiin | Tulkinnallinen viitekehys aineistojen analysointiin | Tulkinnallinen viitekehys aineistojen analysointiin | Tulkinnallinen viitekehys aineistojen analysointiin | Tulkinnallinen viitekehys aineistojen analysointiin |
| Vaikutustarinan laatiminen | Avaa kokemuksia narratiivina | Mahdollisuus oman oppimisen reflektointiin | Henkilö voi itse arvioida omaa toimintaansa | Toimija arvioi itse tavoitteidensa toteutumista | Hankkeen tavoitteet muovautuvat osatoteutuksissa ja henkilöiden kokemuksissa; tarinassa tavoittteet tulevat sanoitetuksi uudestaan |
| Vaikuttavuuden portaikon keskeinen dokumentoinnin tapa Vyyhti-hankkeessa |
Osallistujien kokemuksia kartoitettiin palautekyselyllä ja siirtovaikutus-kyselyllä | Osallistujien oppimista kartoitettiin palautekyselyllä ja siirtovaikutus-kyselyllä | Osallistujien toiminnan muutosten seurannan dokumentointi oli Vyyhti-hankkeessa vähäistä | Toteuttajien itsearviointi; jatkuva arviointiprosessi | Vyyhti-hankkeen tavoitteet oli kuvattu yleisellä tasolla ja seurantaa varten ohjausryhmä konkretisoi ne kohderyhmittäin (ks Toiminnot ja tilaisuudet) |
Millaisia aineistoja hankkeen vaikuttavuudesta kerättiin?
Vyyhdin vaikuttavuustutkimus perustuu seuraaviin aineistoihin:
1 Vyyhti-hankkeen dokumentaatio ja verkkoviestintä
- Vyyhti.metropolia.fi:
Vyyhti-hankkeen laaja arkisto, joka kasvoi hankkeen edetessä mm. blogikirjoitusten (n 350), artikkeleiden, videoiden ja ääniartikkeleiden tietovarannoksi. - Vyyhti-hankkeen wiki-sivusto sekä Vyyhdin toimijoiden käyttöön tarkoitetut google docs-dokumentit:
Hankkeessa suunnittelussa, toiminnan täsmentämisessä ja palautteiden keräämisessä syntyneet dokumentit, jotka arkistoitiin pilvipalveluihin. - Dokumentit olivat avoimia kaikille hankkeen toimijoille ja niitä kirjoitettiin yhteistoiminnallisesti hankkeen kuluessa.
- Muu hankkeen kuluessa kerätty dokumentaatio mm. osallistujamääristä ja taloushallinnosta.
2 Palautekyselyt
Sähköinen palautelomake lähetettiin jokaiselle Vyyhti-hankkeen koulutustapahtumiin osallistuneelle (N=675) välittömästi koulutuksen tai tilaisuuden päätyttyä. Vastauksilla, joita saatiin kaikista eri koulutustilaisuuksista 187, tavoiteltiin osallistujien välittömiä tunnelmia ja vaikutelmia. Vastaukset analysoitiin heti koulutustapahtuman jälkeen ja tuloksia käytettiin koulutusten kehittämiseen.
Palautekyselyn kysymykset, vastaukset asteikolla 1-5:
1. Opintojakson tavoitteet olivat selkeät
2. Koulutuksen toteuttamistapa tuki oppimistavoitteitani
3. Koulutuksessa käytetyt menetelmät olivat tarkoituksenmukaisia
4. Opin opintojaksolla hyödyllisiä asioita
5. Koulutuksen vaatimustaso oli sopiva
6. Koulutuksen kuormittavuus oli sopiva
7. Koulutus oli järjestetty hyvin
3 Siirtovaikutuskyselyt eli vaikuttavuuskyselyt
Vaikuttavuustutkimus määriteltiin projektisuunnitelmassa keskeiseksi Vyyhti-hankkeen toiminnoksi, tosin siirtovaikutustutkimuksen nimellä. Projektisuunnitelmassa mainitun siirtovaikutustutkimuksen tarkoitus oli kartoittaa ja selvittää hankkeessa toteutettujen toimenpiteiden, koulutusten ja verkostoitumisen vaikutusta osallistujiin heti koulutuksen tai tapahtuman jälkeen ja uudelleen muutaman kuukauden kuluttua koulutuksesta tai tapahtumasta. Hankesuunnitelmassa mainittu ”siirtovaikutus” muuttui hankkeen kuluessa vaikuttavuuden tutkimiseksi. Siirtovaikutus viittaa oppimisen ns. transfer-vaikutukseen, ja siirtovaikutustutkimuksen teoriatausta liitetään esimerkiksi Lev Vygotskin oppimiskäsityksiin. Vaikuttavuustutkimus puolestaan on vakiintunut nimitys hankkeiden ja projektien seurantaan liittyville tutkimuksille ja selvityksille.
Vaikuttavuuskysely suunniteltiin kysymyspareiksi Tuomas Kamppilan (HUB Helsinki) ja Jussi Linkolan (Vyyhti-hanke, Metropolia) toimesta. Kysymykset olivat kaikille Vyyhdin toimintoihin osallistuneille samat. Pian kysymysten laatimisen jälkeen vaikuttavuuden tutkiminen ja seuranta-aineiston kerääminen siirtyi kuitenkin vastuulliseksi aiotulta HUB Helsingiltä kokonaan Metropolian vastuulle.
Vaikuttavuustutkimuksen 11 kysymystä nivottiin tutkimuksellisiin tausta-ajatuksiin:
| Kysymys | Tutkimuksellinen tausta-ajatus |
| 1 Koulutuksen aihe oli minulle ennestään tuttu | Mittaa koulutuksen hyötyjä noviisien ja kokeneiden välillä |
| 2 Koulutus vastasi odotuksiani | Vastasiko koulutus tai muu tapahtuma viestinnässä annettuihin lupauksiin? |
| 3 Osallistuin koulutukseen aktiivisesti tai olin läsnä/esitin kysymyksiä/osallistuin ideointiin ja keskusteluun | Onko aktiivisuuden ja saadun hyödyn välillä yhteyttä? Loiko koulutus yhteistoiminnallisuutta? |
| 4 Koulutus laajensi käsitystäni aihepiiristä | Tiedot: mittaa koulutuksen syvyyttä |
| 5 Tiedän aiheesta enemmän nyt kuin ennen koulutusta | Tiedot: mittaa koulutuksen syvyyttä |
| 6 Koulutus oli käytännönläheinen | Taidot: mittaa käytäntöön siirtynyttä osaamista |
| 7 Käytän koulutuksessa opittuja taitoja toiminnassani | Taidot: mittaa käytäntöön siirtynyttä osaamista |
| 8 Koulutus lisäsi kiinnostustani aihetta kohtaan | Motivaatio: mittaa koulutuksen kiinnostavuutta |
| 9 Olen perehtynyt aiheeseen itsenäisesti koulutuksen jälkeen | Motivaatio: mittaa koulutuksen kiinnostavuutta |
| 10 Koulutus auttoi minua verkostoitumaan | Verkostot: mittaa luotuja kontakteja |
| 11 Pidän yhteyttä koulutuksessa tapaamiini ihmisiin | Verkostot: mittaa luotuja kontakteja |
Vaikuttavuuskyselyyn saatiin 85 vastausta, se lähetettiin kaikille 675 koulutukseen osallistuneelle henkilölle. Näiden vastausten analysointi tehtiin vasta hankkeen toimintojen päätyttyä vaikuttavuustutkimusta varten.
4 Vyyhdin toimijoiden haastattelut talvella 2014
Vaikuttavuustutkimuksen toteutti HUB Helsingin väistyttyä hankkeen ulkopuolinen tutkija hankkeen toimintojen loputtua. Tutkimusaineiston keskeiseksi osaksi muodostui Vyyhti-hankkeen toimijoiden haastattelut:
- HUB Helsinki /Jussi Mankki 27.1.2014.
- Helka ry / Päivi Savolainen, Pirjo Tulikukka 3.2.2014.
- Hankkeen alkuvaiheet, alumnityö / Milla Hakkarainen 5.2.2014.
- Metropolian toiminnot ja hankkeet / Anna-Maria Vilkuna 11.2.2014.
- Vyyhtipelin vaikuttavuus / Susanna Snellman ja Sanna Ristaniemi 23.2.2014.
- Vyyhdin verkkoviestintä / Jussi Linkola 5.3.2014
- Tammi-huhtikuussa 2014 viikoittaiset palaverit Vyyhti-toimijoiden, projektipäällikkö Susanna Snellmanin sekä projektisuunnittelijoiden Jussi Linkolan ja Sanna Ristaniemen kanssa.
- Arviointityöpaja 16.4.2014: Vyyhti-hanke toteutti jatkuvaa itsearviointia koko hankekauden 2011-2014 ajan. Arvioinnin arviointityöpajassa Leena Björkqvist reflektoi hankkeen toimijoiden kanssa arviointityön vaiheita.
Vyyhdin vaikuttavuustutkimuksen tulokset
Vaikuttavuustutkimuksen tulokset voidaan jakaa kolmeen eri aihepiiriin:
- Miten ja kehen Vyyhti vaikutti?
Vyyhdin toiminnoilla oli vaikuttavuutta sekä kohderyhmiin että toteuttajien toimintaan. - Miten vaikuttavuus voidaan huomioida ja turvata hankkeen eri vaiheissa?
Tutkimus nosti esiin sekä hyviä käytänteitä että ongelmakohtia prosesseissa, joilla hanke synnyttää ja turvaa vaikuttavuuttaan. - Teoriatausta rajat ylittävän verkostomaisen hanketyön tutkimiselle on jatkotutkimuksen aihe. Tässä tutkimuksessa esimerkiksi seuraavat viitekehykset ovat avanneet tulkinnallisia näköaloja:
- Työnohjauksen viitekehys ja organisaatiopsykologia,
- Oppivan organisaation ja tietopääoman johtamisen näkökulmat,
- Artikkelit ja tutkimukset avoimista verkostoista ja innovaatiotoiminnasta.
Vaikuttavuustutkimuksen kokonaisuus
Eri luvut aukeavat sivuston yläpalkista.
1. Vyyhdin vaikuttavuustutkimus
1.1 Johdanto (Leena Unkari-Virtanen)
1.2 Mikä on vaikuttavuustutkimus (Leena Unkari-Virtanen)
2. Osatoteuttajat
2.1 HUB Helsinki: peliä eri pelilaudoilla? (Leena Unkari-Virtanen)
2.2 Helka ry ja kaupunginosatoiminnan monet tavoitteet (Leena Unkari-Virtanen)
2.3 Vyyhtinä Metropoliassa (Leena Unkari-Virtanen)
3. Vaikuttavuuden synty
3.1 Hankkeen tarpeet ja kohderyhmät (Leena Unkari-Virtanen)
3.2 Resurssit (Leena Unkari-Virtanen)
3.3 Toiminnot ja tilaisudet (Leena Unkari-Virtanen)
3.4 Vaikuttavuus
4. Oppiminen
4.1 12 askelta (Leena Unkari-Virtanen)
4.2 Hanke ideamarkkinapaikkana (Leena Unkari-Virtanen)
4.3 Onko projketiarvioinnilla väliä? (Leena Björkqvist)
3.4. Vaikuttavuustarina – miten opettaa oman osaamisen tuotteistamista? (Leena Björkqvist)
Sivuston artikkelit on pyritty kirjoitettamaan siten, että lukija saattaa aloittaa tutkimukseen perehtymisen mistä artikkelista hyvänsä.
Tutkimuksen kirjoittajat
- Leena Unkari-Virtanen, MuT, lehtori Metropolia Ammattikorkeakoulussa, Vyyhti-hankkeen vaikuttavuustutkija 1.1.-30.4.2014.
- Leena Björkqvist, FM, lehtori Metropolia Ammattikorkeakoulussa, hankearvioinnin kehittäjä.
Artikkelin kirjoittaja ilmoitetaan kussakin artikkelissa erikseen.
Graafinen toteutus
Valo.metropolia.fi / Juha Lehtonen
Lähteet
Ahonen, M. 2011. Ideamarkkinat – Meklari- ja välittäjätoiminta. Teoksessa T.. Koivisto & T. Mikkonen & T. Vadén, & K. Valkokari & M. Ahonen & N. Vainio (toim.). Rajoja ylittävä innovointi. Tampere: Tampere University Press, 108–123.
Anttila, P. 2007. Realistinen evaluaatio ja tuloksellinen kehittämistyö. Hamina: Akatiimi.
Cure 2014. Creative Urban Renewal in Europe. Cultural value chain. http://www.cure-web.eu/index.php?id=58
Euroopan komission arviointioppaita: http://ec.europa.eu/europeaid/evaluation/methodology/methods/mth_docs_en.htm
Kirkpatrick, D. L. 1998. Evaluating training programs. The four levels. San Francisco: Berrett-Koehler Publishers.
Kekäläinen, Katri & Kakko, Sofia-Charlotta 2013. Opas sirkuksen hyvinvointivaikutusten tutkimiseen. http://www.uta.fi/cmt/index/Opas-sirkuksen-hyvinvointivaikutusten-tutkimukseen.pdf
Koivisto, T. & Mikkonen, T. & Vadén, T. & Valkokari, K. & Ahonen, M. & Vainio, N. (toim.) 2011. Rajoja ylittävä innovointi. Tampere: Tampere University Press.
Mikkonen, teemu 2011. Tiedon vertaistuotano, yhteisöresurssit ja hybridiyhteisöt. Teoksessa T.. Koivisto & T. Mikkonen & T. Vadén, & K. Valkokari & M. Ahonen & N. Vainio (toim.). Rajoja ylittävä innovointi. Tampere: Tampere University Press, 97–107.
Senge, P. & Kleiner, A. & Roberts, Ch. & Ross, R. B. & Smith, R. J. 1994. The Fift Discipline. Strategies and Tools for Building a Learning Organization. New York: Doubleday.
Ståle, P. & Wilenius, M. 2006. Luova tietopääoma. Tulevaisuuden kestävä kilpailuetu. Helsinki: Edita.
Raivola, R. (toim.) 2000. Vaikuttavuutta kolutukseen. Suomen Akatemian koulutuksen vaikuttavuusohjelman julkaisuja. Helsinki: Edita. http://www.aka.fi/Tiedostot/Tiedostot/Julkaisut/Vaikuttavuutta%20koulutukseen.pdf
Rajahonka, M. 2013. Vuorovaikutuksessa vaikuttamiseen. Hyvinvointipalveluiden vaikuttavuus – caseja ja keinoja. Aalto-yliopisto: Kolmas lähde. http://www.kolmaslahde.fi/images/stories/2013/kolmas_lahde_vuorovaikutuksessa_vaikuttamiseen.pdf
Tenhula, T. 2007. Valtakunnallisesti Vaikuttavaa koulutusta. Selvitys valtakunnallisen TieVie – virtuaaliyliopistohankkeen vaikuttavuudesta. Suomen virtuaaliyliopiston julkaisuja 2/07. http://tievie.oulu.fi/julkaisut/Tenhula_T_2007_Valtakunnallisesti_vaikuttavaa_koulutusta.pdf
Kirjoittaja: Leena Unkari-Virtanen