KUKA TUTKIMUKSESI ARVOA MITTAA, MILLÄ PERUSTEILLA, MITEN JA MIKSI?

FM Mikko Ojanen
orcid.org/0000-0002-7833-9659
Musiikin suunnan edellinen päätoimittaja
Tohtorikoulutettava, musiikkitiede, Helsingin yliopisto
Tietoasiantuntija, tutkimuksen palvelut, Helsingin yliopiston kirjasto

Kuka arvioi tutkimusta, miten, miksi, ja mihin kaikkeen tämä arviointi lopulta vaikuttaa, tuntuu olevan hämärän peitossa. Kudelma on monisyinen. Tutkimuksen arviointi ei liity vain tutkimushallinnon tavoitteisiin, vaan asiaan kytkeytyy tiiviisti myös tutkijoiden meritoituminen, joka puolestaan on sidoksissa julkaisukanaviin ja niiden rooliin tutkimusprojektien näkyvyydessä ja vaikuttavuudessa. Muun muassa rahoitus- ja työnhakijamäärien kasvaessa arviointiprosessit muuttuvat aina vain enemmän aikaa ja resursseja vaativiksi. Monissa organisaatioissa ongelma yritetään ratkaista helpoimman kautta ja pyritään luomaan – tai ottamaan käyttöön jo saatavilla olevia – suoraviivaisia numeerisia arvioita tuottavia sekä konkreettisesti ja helposti tarkasteltavia työkaluja.

Tiettyyn pisteeseen asti kehitys on tutkimushallinnon näkökulmasta ymmärrettävää – ehkä hyväksyttävääkin. Huolestuttavan epäselvää kuitenkin on, kuka mittareita kehittelee, millä agendalla ja miten niiden tuottamaa dataa tulisi tulkita. Mittareiden kehittelyn taustalla oleva syy tai tavoite saattaa olla hyvä, mutta jos mittaamisen perusteista ei käydä avointa keskustelua, sen toteutus tuskin on kovin oikeudenmukainen, tasa-arvoinen tai eri toimijoiden oikeusturvaa kunnioittava.

Näennäisen suoraviivainen mittaaminen on herättänyt kriittisiä kannanottoja erityisesti aloilla, joissa tutkimuksen kohde on hankalasti lähestyttävissä, ymmärrettävissä tai rajattavissa ja konkreettisten käytäntöön sovellettavien tulosten tuotto hidasta. Tutkimuksen vaikuttavuuden mittaamisen kritisointi, silloin kun mittaamisessa keskitytään vain määrällisiin taloudellisiin seikkoihin ja nopeasti mitattavissa olevaan vaikuttavuuteen, on varmasti aivan paikallaan. Ykskantaan tutkimuksen arvon määrityksen tai sen vaikuttavuuden arvioinnin tarvetta ei kuitenkaan voi kiistää. Se, miten arvon määritys tehdään, pitäisi toki määritellä avoimesti ja yhdessä, mutta kysymys kuuluu, miksi tutkijan ei tulisi kyetä perustelemaan tai ennakoimaan tutkimuksensa merkitystä tai vaikuttavuutta?

Edellä mainituista hankalasti määriteltävistä, ”hitaista” tai uusista aloista on helppo poimia esimerkkejä, joissa monialaisen tutkija-, taiteilija-, kentän toimija- yms. yhteisön voi olla vaikea itsekään ymmärtää, minkälaista on se uusi tieto, jota raja-aitoja kaatava tieteellis-teknis-taiteellinen yhteistyö voisi tuottaa. Matka kohti aitoa uutta tuottavaa tulosta tai tietoa on hidas ja utopistisen tuloksen sanoittaminen rahoittajan vaatimaan formaattiin aivan varmasti hankalaa. Sitä suuremmalla syyllä merkityksen ja vaikuttavuuden sanoittamista pitää tehdä, jotta sitä ei tee joku muu projektista vielä vähemmän ymmärtävä – pahimmassa tapauksessa suoraviivaisia määrällisiä mittareita soveltaen. Olkoon tuo projektin tavoite sitten kuinka utopistisen tai hitaan ja ennalta-arvaamattoman prosessin tulos, edes potentiaalisen vaikuttavuuden visiointi auttaa löytämään työstä puolia, jotka välillisesti voivat syventää myös omaa ymmärrystä projektista. Tästä näkökulmasta pohtien huomaan, että olisin itse hyötynyt säännöllisistä projektin vaikuttavuuden ja merkityksen arviointiharjoituksista.

Yksi syy oman projektini hahmottomuuteen on huono käsitykseni juuri projektin vaikuttavuudesta – mitä merkitystä tällä työllä on? Projektin sisältöön liittyvä intohimo toki motivoi työtä eteenpäin, siitäkin huolimatta, että kaikkien mahdollisten järkisyiden perusteella – muun muassa taloudelliset haasteet, ajan puutteesta juontuva läheisten ihmissuhteiden toistuva laiminlyönti, krooniseksi muuttunut korkea stressitaso, jolla lienee seurauksia elämänlaatuun ainakin jollain aikajänteellä, ja niin edelleen – tutkimusta ei kannattaisi tehdä. Kuitenkin juuri projektin merkityksen ja vaikuttavuuden kirkastaminen tämän tästä olisi varmasti tehostanut projektin läpivientiä. Väitän, että tämä on jatko- ja miksei myös perustutkinto-opiskelijoiden koulutuskokonaisuuksissa täysin aliarvioitu harjoitus.

Oma iso kysymyksensä on, miten vaikuttavuus määritellään tai minkälaisten mittareiden oletetaan kertovan vaikuttavuudesta. On aloja, joilla tutkimuksen tulokset ovat suoraviivaisemmin sovellettavissa käytäntöön kuin toisilla aloilla. Näillä vaikuttavuuden määrittely ja mittaaminen voi olla helpompaa kuin aloilla, jotka tuottavat noita abstraktimpia, hitaampia, ei suoraviivaisesti sovellettavia tuloksia. Yhdeksi lyhyen aikavälin vaikuttavuuden indikaattoriksi näyttää olevan muotoutumassa erilaiset tutkimustulosten verkkonäkyvyyttä raportoivat mittarit – niin sanotut altmetriikkatyökalut. Näyttää jopa siltä, että johtopäätöksiä projektin vaikuttavuudesta pyritään tekemään suoraan näkyvyyden pohjalta. Yhtäläisyysmerkki asetetaan siis herkästi tutkimuksen huomioarvon ja vaikuttavuuden välille.

Tilanne on kuitenkin hankala. Kuvaako esimerkiksi tutkimuksen sosiaalisessa mediassa saama huomio sen vaikuttavuutta? Jos todetaan näin olevan, mitä tämä vaikuttavuus käytännössä on? Miten se määritellään? Puhutaanko teoreettis-metodologisesta eli akateemisen maailman sisällä tapahtuvasta vaikutuksesta vai sosiaalis-yhteiskunnallisista tai taloudellis-poliittisista vaikutuksista? Minkälaista vaikuttavuutta esimerkiksi tviitit ja Facebook-päivityksen peukun klikkaukset kuvaavat? Vai ovatko luvut vain merkkejä siitä, että joku on jossain klikannut peukalon kuvaa syystä tai toisesta, riippumatta siitä lukiko linkin takana olevaa tekstiä tai ei? Myös ylipäänsä se, kuka sosiaalisessa mediassa näkee ja mitä, on lähtökohtaisesti läpinäkymättömän algoritmin ohjaamaa. Avoimuus on jälleen kerran illuusio ja todellisuudessa päivitysten leviämistä moderoi loppukäyttäjän hallitsemattomissa ja työkalujen arvioimattomissa oleva kaupallinen ja piilotettu toimintalogiikka.

Ennen kuin mekaanisten näkyvyysmittareiden luomia, itsessään spekulatiivisia, numeerisia arvoja käytetään tutkimuksen vaikuttavuuden arvon määritykseen, olisi siis syytä pyrkiä määrittelemään ylipäänsä, minkälaista vaikuttavuutta halutaan mitata. Näkyvyyttä kuvaavia numeroita voidaan varmasti aivan hyvin käyttää joidenkin ilmiöiden demonstroimiseen, mutta määrällisiksi, keskenään vertailtavissa oleviksi, vaikuttavuutta kuvaaviksi indikaattoreiksi, esimerkiksi tutkimuksen arviointiin tai tutkijan rekrytointiin, ne eivät sovellu.

Oma vastuunsa tässä kokonaisuudessa on mittareita suunnittelevilla, kehittelevillä ja erityisesti niitä palveluina tarjoavilla tahoilla – kuten esimerkiksi erilaisilla tieto- ja tutkimuspalveluyksiköillä, tutkimusorganisaatioilla ja heidän verkkoportaaleillaan tai kustantajilla ja heidän tietokannoillaan, joihin mittareita kiihtyvällä tahdilla integroidaan. Tekninen työkalu ei yksinään ole palvelu, vaan sen oheen tarvitaan ohjeet, ylläpito, koeponnistusta hyvistä ja huonoista käytännöistä sekä vastuullista kuratointia. Ilman vastuullisesti kuratoitua palvelua epämääräiset mittarit, joiden toimintaa ymmärrämme vielä huonosti, hiipivät tutkimuksen arvioinnin apuvälineiksi. H-indeksin ja JuFo-tasojen käyttö rekrytointitilanteissa tai tutkimuksen arvioinnissa, vastoin niiden käyttötarkoitusta, on arkipäivää, vaikka harva taho tämän virallisesti myöntää. (Chen et al. 2018; Bornmann et al. 2018.)

Myös kiihtyvällä tahdilla yleistyvien altmetriikkamittareiden osalta kuratointityö laahaa pahasti jälkijunassa ja näyttää siltä, että perinteisten indikaattorien ohella ei-läpinäkyvien altmetriikkamittareiden tuottama data on löytämässä tiensä arviointiprosesseihin. Viimeisimpänä kiinnitti huomiota, että muun muassa Suomen Akatemia pyytää raportoimaan tviittimääristä ja perustelee tätä sillä, että sosiaaliseen mediaan liittyvillä tiedoilla voi osoittaa hankkeen vaikuttavuutta. Sosiaalisella medialla tarkoitetaan Twitteriä, LinkedIniä ja Facebookia. Huomattavaa tässä on se, että näin rahoittaja näyttää asettavan yhtäläisyysmerkin nimenomaan tutkimuksen huomioarvon ja sen vaikuttavuuden välille.

Avointa keskustelua tutkimuksen arvon määrittelystä kaivataan siis kipeästi. Noin vuosi sitten Jakonen (2018) peräänkuulutti ”perusteellista keskustelua työn ja asiantuntijuuden nykytilasta” sekä ”selviä kriteereitä akateemiselle meritoitumiselle ja rekrytoinnille”, ja elokuussa 2018 kokoontui tiettävästi ensimmäinen Vastuullinen metriikkaseminaari (jonka aineistot näyttävät tosin olevan suljetun linkin takana) ja lokakuussa 2018 työnsä aloitti Tieteellisten seurain valtuuskunnan Vastuullisen metriikan ryhmä. Aivan vastikään saimme iloksemme lukea, että Suomen Akatemia (2019) on allekirjoittanut tutkimuksen arviointiin liittyvän DORA-julistuksen – San Francisco Declaration on Research Assessmentin.

Edellä mainitut kannanotot ja työryhmät palauttavat uskoa siihen, että prosessiin on mahdollista vaikuttaa, mutta onko yksittäisellä tutkijalla vaikutusmahdollisuuksia? Tätä on vaikea arvioida, mutta viimeistään nyt kannattaa ryhtyä selvittämään, kuka tutkimuksesi arvoa mittaa, miten ja miksi, ja osallistua monitahoisen ilmiön määrittelemisestä käytävään keskusteluun, eikä jättää ongelmien ratkaisua ”yksin virkamiehille” (Paavolainen & Friman 2019). Yksi ruohonjuuritason keino on seurata DORA-julistuksen ohjetta ja suhtautua kriittisesti määrällisten mittareiden soveltamiseen tutkimuksen arvioinnissa ja rekrytointitilanteissa – jopa vastustaa niiden käyttöä, jos mahdollista.

Itse otin testimielessä käyttöön muutama vuosi sitten kaikki tarjolla olevat altmetriikkamittarit, mutta omalta osaltani ne tuottavat käyttökelvotonta dataa – edes omaan käyttööni esimerkiksi projektini näkyvyyden demonstrointitarkoituksissa CV:ssä. Joillain aloilla indikaattoreiden on todettu toimivan, mutta kysymys kuuluu, onko näiden alojen lukuja kukaan tutkinut tarkemmin. Lukuja näyttää muodostuvan, mutta jo pintaraapaisu linkkejä seuraten osoittaa, että luvut tulevat milloin mistäkin lähteestä ja usein kaupallisen toimijan rahamassalla masinoimasta robottisivusta. Omalla kohdallani indikaattorit eivät tunnu raportoivan edes keskusteluja, joita tiedän julkaisuistani käydyn. Toisekseen suljettujen järjestelmien sisään ne eivät näe. Mieluusti paukuttelisin henkseleitäni esimerkiksi Yleisradion arkiston tietokannan tietueissa olevilla viitteillä tutkimukseeni, mutta viitteet eivät näy mittareissa. Sekava numerokokoelma verkkosivulla saattaa toimia pikemminkin jopa antimainoksena, ja nyt harkitsen vakavasti kaiken tähän liittyvän huomioarvomittaamisen piilottamista sivuiltani. Fasepeukkumeri toki lämmittää väsyneen tutkijan mieltä, mutta onneksi projektin todellinen vaikuttavuus – tarkasteltakoon sitä sitten laadullisesti tai määrällisesti – on jossain muualla kuin sattumanvaraisissa someklikkauksissa.

Aiheesta lisää ja viitteet

Bornmann, Lutz; Haunschild, Robin; Adams, Jonathan 2018. ”Do altmetrics assess societal impact in a comparable way to case studies? An empirical test of the convergent validity of altmetrics based on data from the UK Research Excellence Framework (REF)”. Eprint arXiv:1807.03977. Internet-lähde: https://arxiv.org/abs/1807.03977v2 (tarkistettu 17.3.2019).

Chen, Pei-Ying; Hayes, Erica; Larivière, Vincent; Sugimoto, Cassidy R. 2018. ”Social reference managers and their users: A survey of demographics and ideologies”. PLoS ONE 13(7): e0198033. Internet-lähde: https://doi.org/10.1371/journal.pone.0198033 (tarkistettu 22.1.2019).

Jakonen, Mikko 2018. ”Rekrytointi kaipaa selkeitä kriteerejä”. Acatiimi: Professorien, tieteentekijöiden ja yliopistojen opetusalan lehti 1/2018: 20. Internet-lähde: http://www.acatiimi.fi/1_2018/5.php (tarkistettu 22.1.2019).

Paavolainen, Maija; Friman, Jari 2019. ”Avoin tiede on meidän”. Tieteentekijöiden liiton blogi. Internet-lähde: https://tieteentekijoidenliitto.fi/media/blogi/avoin_tiede_on_meidan.3253.blog?fbclid=IwAR3SXM-ZOd27e2hgid7k3SOdgiYNek39kFwz9CbypRz4nNlMzLIno7b8-AE (tarkistettu 17.3.2019).

Suomen Akatemia 2019. ”Suomen Akatemia liittyi tutkimuksen arvioinnin kehittämisjulistukseen DORAan”. Internet-lähde: http://www.aka.fi/fi/akatemia/media/Tiedotteet1/2019/suomen-akatemia-liittyi-tutkimuksen-arvioinnin-kehittamisjulistukseen-doraan/ (tarkistettu 17.3.2019).