Kommentit Tutkijan vastuullisen arvioinnin suositukseen
 Share
The version of the browser you are using is no longer supported. Please upgrade to a supported browser.Dismiss

View only
 
 
ABCDEFGHIJKLMNOPQRSTUVWXY
1
KOMMENTOIJAJOHDANTOPERIAATTEETTAVOITE 1TAVOITE 2TAVOITE 3TAVOITE 4TAVOITE 5TAVOITE 6TAVOITE 7TAVOITE 8TAVOITE 9TAVOITE 10TOIMEENPANO-SUUNNITELMAYLEISIÄ KOMMENTTEJA
2
Jouni Kekäle / Itä-Suomen yliopistoTyöryhmän esitys on monipuolisesti punnittu ja hyvin perusteltu.Yleiset periaatteet ovat yleisesti kannatettavia.Itä-Suomen yliopisto kiittää mahdollisuudesta kommentoida tutkijan vastuullista arviointia koskeva suosituksen ensimmäistä luonnosta. Esitys on monipuolisesti punnittu ja hyvin perusteltu.

Itä-Suomen yliopisto on yksi DORA –julistuksen allekirjoittaneista yliopistoista Suomessa. Lähtökohtana on, että tutkimuksen rahoittamisen, rekrytointien sekä tutkijoiden palkitsemisen pitäisi perustua itse tutkimuksen laadun arviointiin eikä siihen, missä tutkimus on julkaistu. Tieteen avoimuuden lisääminen on tärkeä päämäärä. Työryhmän listaamat tutkijan arvioinnin yleiset periaatteet ovat yleisesti kannatettavia.

Joitakin arviointeja voivat sitoa osaltaan toiminnalliset seikat, kuten esimerkiksi yleinen työehtosopimus. Joissakin määrin voidaan käytännössä joutua tasapainoilemaan toiminnallisten- ja tehokkuusnäkökohtien sekä suosituksen laadullisten periaatteiden välillä. Näistäkin syistä yliopisto kannattaa arvioinnissa käytettävän metriikan kehittämistä luonnoksessa esitetyllä tavalla.

Yliopisto kannattaa työryhmän esitystä ja katsoo, että esitys tukee arvioinnin kehittämistyötä ja tarjoaa hyvän pohjan jatkotyölle.
3
Jari Hämäläinen, LUT-yliopistoMinusta olisi järkevämpää puhua a-kohdassa vain tieteellisestä uutuusarvosta ja merkityksestä. Luotettavuuden (tai sen epäilyn) sisällyttäisin kohtaan d, koska tuloksien luotettavuus ja tutkimuksen vastuullisuus kuuluvat tutkimuseettisiin asioihin.
4
Miki Kallio / Oulun yliopistoHyvä, että jo johdannossa nostetaan esille kysymys siitä, miten arviointiprosessi itsessään täyttää vastuullisen avoimuuden vaatimukset. Hyvä huomio on myös se, että tutkijan vastuullinen arviointi on (pitäisi olla aina) tilanne- ja tieteenalasidonnaista.Mitä ovat arvioinnin ei-toivotut vaikutukset?Kohtaan g) olisi varmaan hyvä lisätä vuorovaikutuksen lisäksi myös “ja vaikuttavuus”.Monitieteellisyys on huomioitu, mutta entä kansainvälisyys: verkostot, liikkuvuus jne.
Olisiko hyvä kertoa, millä tavoilla hyöty voi ilmetä?Rekrytointien yhteydessä kohdilla 3 ja 4 on epätasa-arvon vaara, kun kansallisilla ratkaisuilla ei voida kuitenkaan vaikuttaa esim. ulkomaisista tutkijoista saatavilla olevaan metriikkaan.

Kohdassa 5 herää kysymys, kuka kouluttaisi tutkijan vastuullista arviointia. Kansallinen runko ja organisaatiokohtaiset tarkennukset?
Oulun yliopisto kiittää mahdollisuudesta kommentoida Luonnosta tutkijan vastuulliseksi arvioinniksi. Aihe on ajankohtainen ja erittäin tärkeä. Luonnos on mielestämme selkeä ja sisältää kattavasti tärkeimmät asiat, jotka tulee huomioida tutkijan arvioinnissa. Luonnoksesta puuttuu kuitenkin tutkijan kansainvälisen toiminnan arviointi.

Oulun yliopisto huomio eettiset periaatteet sekä vastuullisuuden omassa toiminnassaan, ja tukee kansallisia ponnistuksia vastuullisen arvioinnin linjausten saamiseksi käytäntöön. Näkemyksemme mukaan kypsyystasoarviointi on yliopistoille hyvä tapa arvioida omaa toimintaa, mutta Oulun yliopistossa kypsyystason arvio ei ole, eikä saa olla, syy toimia vastuullisesti, vaan vastuullisuus on osa päivittäistä toimintaamme.

Luonnoksen kaikkien vaatimusten vieminen käytäntöön vaatii resursseja ja on siten haastava sekä vaikeasti toteutettava tehtävä. Siksi on tärkeää arvioida kunkin toimenpiteen osalta optimaalinen toteuttamisaikataulu.

Bibliometriikan osalta tutkijan vastuullisen arvioinnin suositus tuo uusia haasteita, mutta toisaalta myös uusia mahdollisuuksia. Luonnoksessa on esitetty useita tavoitteita, joiden toteutumisen tueksi voidaan haluttaessa luoda uutta metriikkaa.

Odotamme innolla suosituksen seuraavan version valmistumista!
5
TaideyliopistoLuonnoksen s. 3 mainitaan, että tutkijan vastuullinen arviointi on ”tilanne- ja tieteenalansidonnaista”. Esitämme, että tässä puhutaan tilanne- ja tutkimusalasidonnaisuudesta.Taideyliopistossa tehdään tieteellisen tutkimuksen lisäksi myös taiteellista tutkimusta. Taiteellisen tutkimuksen piirissä puhutaan tieteen sijaan tutkimuksesta. Taideyliopisto esittää, että suositus huomio myös taiteellisen tutkimuksen kontekstissa tapahtuvan arvioinnin, ja olemme kommentoineet luonnosta tästä näkökulmasta.Arvioinnin aineistot: Esitämme, että tieteenalan käytäntöjen sijaan puhutaan tutkimusalan käytännöistä tai tieteen-/tutkimusalan käytännöistä.Arviointiprosessin tasapuolisuus: Esitämme, että kohdassa a) puhutaan tieteenalan sijaan tutkimusalasta.Tutkijan toiminta tiede- ja muissa yhteisöissä: Esitämme, että kohdassa b) puhutaan tieteelliseen ja/tai taiteelliseen julkaisutoimintaan osallistumisesta sekä kohdassa c) tieteellisestä ja taiteellisen tutkimuksen vertaisarvioinnista.Tutkimusyhteisön rooli arviointiprosessissa: Esitämme, että tässä puhutaan tieteen- ja taiteenalojen erityispiirteistä.3) Yhteisessä portfoliomallissa tulisi huomioida tasapuolisesti eri tutkimusalat mukaan lukien humanistiset ja taidealat.

4) Esitämme, että kohdassa a) puhutaan tieteellisestä ja tutkimuksellisesta laadusta.
Taideyliopistossa tehdään tieteellisen tutkimuksen lisäksi myös taiteellista tutkimusta. Taiteellisen tutkimuksen piirissä puhutaan tieteen sijaan tutkimuksesta. Taideyliopisto esittää, että suositus huomio myös taiteellisen tutkimuksen kontekstissa tapahtuvan arvioinnin, ja olemme kommentoineet luonnosta tästä näkökulmasta.
6
Aalto-yliopisto-Esitetyt yleiset periaatteet eli prosessin läpinäkyvyys, integriteetti, tasapuolisuus ja arvioitsijoiden kompetenssi ovat keskeisiä ja kannatettavia elementtejä arvioinnissa. Ehdotamme että kohtaa kompetenssi täydennetään seuraavasti:
• Arvioitsijoita valittaessa kompetenssin lisäksi tulisi kiinnittää riittävästi huomiota arvioitsijan puolueettomuuteen arvioitavista.
Kohta 7 ottaa hyvin huomioon tutkijan toiminnan tiedeyhteisössä. Sen sijaan vähemmälle huomiolle jää tutkijan yhteiskunnallinen vaikuttavuus (yliopistojen kolmas tehtävä). Ehdotammekin kohtaa 7 täydennettävän maininnoilla
• toimiminen alansa asiantuntijana tiedeyhteisön ulkopuolella, esimerkiksi lainvalmistelussa tai muissa yhteiskunnallisissa tehtävissä
• merkittävät yhteistyöprojektit tutkimusta hyödyntävien tahojen kanssa
Ehdotamme otsikon täsmentämistä muotoon: tutkijan toiminta kansallisissa ja kansainvälisissä tutkijayhteisössäToimeenpanosuunnitelman kohta 2b.
Aalto-yliopisto ei kannata erillisen uuden vastuutahon luomista arviointiprosessien käsittelemiseksi. Sen sijaan kannustamme arviointia tekeviä organisaatiota luomaan omat, toiminnan kehittämistä tukevat palautekanavansa osana organisaatioiden Code of conduct –ohjeistoja sekä hyödyntämään muita jo olemassa olevia rakenteita.

Toimeenpanosuunnitelman kohta 4. Metriikan kehittäminen
• Koska tiede on kansainvälistä ja toimimme aina osana kansainvälistä tiedeyhteisöä, kannustamme tavoittelemaan kansainvälisen metriikan soveltamista myös kansallisessa toiminnassa.
7
Maanpuolustuskorkeakoulu/TutkimusjohtoVaikuttaa hyvältä ja perustellultaPeriaatteet hyviä ja kannatettaviaOKOKOKVoiko asiantuntijoiden valinnassa tulla oppiristiriitoja etenkin pienillä tieteenaloilla, jolloin vaikkapa kvali/kvanti-suuntaukset joutuvat ristikkäin, kun alan pienuuden johdosta alan sopivimmat asiantuntijat ovat jäävejä?OKVaikuttavuuden arviointi voi olla haasteellista, koska vaikuttavavuus syntyy hyvinkin pitkällä aikajänteellä. Vaikuttavuudessa voi olla haasteita myös "radikaalien uusien tutkimusinnovaatioiden kohdalla", jotka kyseenalaistavat perinteiset tutkimukset.

Mutta periaatteena hyvä.
Hyvä tavoitePeriaatteessa kannatettava.

Voiko tämä olla dismeriitti tutkijalle, jos organisaatiossa hän edustaa yksin eikä ole tutkimusyhteisöä?
Itsearviointi on hyvä ja pitäisi liittää pitkäjänteiseen kehittymisen arvioitiin...OKKannatettava toimeenpanosuunnitelma.
8
Tampereen yliopistoTampereen yliopisto allekirjoitti kansainvälisen DORA-suosituksen ensimmäisenä suoma-laisena yliopistona ja suhtautuu tutkijoiden arvioimiseen erittäin vakavasti tiedostaen eräiden laajasti käytössä olevien menettelyjen huomattavat ongelmat.

Suosituksessa voitaisiin avata paremmin, mitä laadullisella arvioinnilla tarkoitetaan. Se olisi erityisen tähdellistä, kun suosituksessa korostetaan laadullisen arvioinnin paremmuutta mekaaniseen metriikan hyödyntämiseen.
Tutkijoita tulee arvioida luotettavilla mutta riittävän kevyillä, läpinäkyvillä, ennakoitavilla, tutkijayhteisön laajasti hyväksymillä, tieteenalojen erilaisuuden tunnustavilla ja yliopiston omia strategisia tavoitteita tukevilla tavoilla. Yliopisto luonnollisesti yhtyy myös kommentoitavaksi annetussa luonnoksessa mainittuihin integriteetin, tasapuolisuuden ja (arvioijan) kompetenssin periaatteisiin.

Periaatteen ”Integriteetti” alla todetaan: ”Arviointityössä noudatetaan tiedeyhteisön tunnustamia toimintatapoja eli rehellisyyttä, yleistä huolellisuutta ja tarkkuutta.” Kohta kannattaisi muotoilla siten, että ilmi käy tiedeyhteisön sitoutuminen näihin toimintatapoihin. Konjunktio ”eli” kannattanee korvata konjunktiolla ”kuten”, jolloin rehellisyyttä, yleistä huolellisuutta ja tarkkuutta ei tulla määritelleiksi ainoiksi tiedeyhteisön tunnustamiksi toimintatavoiksi.
Kohdassa ”Arvioinnin tavoitteet ja kriteerit” todetaan: ”Arviointityötä aloitettaessa määritellään myös, kenen näkökulmasta arvioitavien hyvyyttä tai keskinäistä paremmuutta arvioidaan.” Tämä on tärkeää – mutta ei vielä takaa sitä, etteikö arvioinnin tuloksia voitaisi käyttää myöhemmin myös alkuperäisen tarkoituksen vastaisesti.Kohdassa ”Arvioitsijoiden valinta” todetaan, että arvioijien moninaisuus ”takaa erilaisten näkökulmien huomioimisen”. Tämä on hiukan liikaa sanottu. Toki se todennäköisesti lisää todennäköisyyttä, että erilaiset näkökulmat tulevat huomioon otetuiksi.Alakohta d) ”Tutkimuksen vastuullisuus” on erittäin tärkeä, mutta se kuuluu eri kategoriaan kuin muut alakohdat – ainakin jos sitä tulkitaan tutkimuseettisten periaatteiden noudattamisena, niin kuin suositusluonnoksessa tehdään. Tutkimuseettisten periaatteiden noudattaminen tai noudattamatta jättäminen ei oikeastaan (tai ainakaan yksinomaan) ole tutkimuksen laadullisen arvioinnin kysymys. Toisaalta ”tutkimuksen vastuullisuudella” kannattaisi tässä ehkä viitata nimenomaan tutkimuksen yhteiskunnalliseen vastuullisuuteen, mikä voi joskus olla hyvinkin relevantti arviointikriteeri.Alakohtaan b) ”Tieteelliseen julkaisutoimintaan osallistuminen” on hyvä lisätä tieteellisten kokousten järjestäminen.

Alakohta c) ”Tieteellinen vertaisarviointi” on kaksimerkityksinen: tutkija voi olla niin vertaisarvioija kuin vertaisarvioinnin kohde. Kohta kannattanee muotoilla toisin, esimerkiksi ”Toimiminen tieteellisenä vertaisarvioijana”. Vertaisarvioinnin käsitteen tulee tässä kattaa paitsi julkaisujen arviointi myös esimerkiksi väitöskirjakäsikirjoitusten esitarkastus ja vastaväittäjänä toimiminen sekä tehtäväntäyttöihin ja tenure track -etenemiseen kuuluvat arvioinnit.

Tässä kohdassa ”Tutkijan toiminta tiede- ja muissa yhteisöissä” ei ymmärrettävästi voida kattavasti luetella kaikkia relevanttejakaan ansioksi luettavia asioita. Silti pyydämme harkitsemaan, olisiko tähän syytä lisätä tutkijan liikkuvuus, verkostoituminen, tiedejärjestöissä toimiminen ja kutsuesitelmät tieteellisissä kongresseissa.
Toimeenpanosuunnitelma on selvästi luonnosmainen, eikä sen kaikkiin kohtiin ole helppoa ottaa kantaa. Ensimmäisenä esitettyyn ajatukseen säännöllisesti toteutettavasta organisaatioiden ”arvioinnin kypsyystasoselvityksestä” Tampereen yliopisto suhtautuu varauksellisesti. Tietääksemme avoimen tieteen kypsyystasoselvitystäkään ei ole tarkoitus enää tämän vuoden jälkeen uusia, toisin kuin suositusluonnoksessa oletetaan.

Toimeenpanosuunnitelmassa esitetään kehitettäväksi ”yhteinen kansallinen portfoliomalli”, joka tekisi tutkijoiden arviointia ”tasapuolisemmaksi”. Jos arviointia vakioidaan liikaa ja määritellään tutkijan laadun kriteerit etukäteen hyvin yksityiskohtaisesti, tieteenalojen ja tutkimusotteiden erilaisuutta voi olla vaikeaa ottaa huomioon. Kriteerit eivät saisi johtaa vain yhteen tapaan olla ansioitunut tutkija.
Kokonaisuutena arvioiden luonnos on erinomainen: johdonmukainen, jäsennelty, naseva, ymmärrettävä ja keskeiset periaatteet kokoava. Suositus paneutuu viisaasti arvioinnin rakenteisiin ja prosesseihin, ei sisältöihin. Toteutuessaan suositus epäilemättä lisää Suomen mainetta yhtenä vastuullisen tiedepolitiikan suunnannäyttäjänä.

Tutkijan vaikuttavuuden ja laadun arvioinnissa sekä tutkijan tiedeyhteisötoiminnan arvioinnissa otetaan kiitettävästi huomioon eri näkökulmia ja ulottuvuuksia. On tärkeää, että arvioinnissa viestitään arvioitaville ja arvioijille ulottuvuuksien kulloisetkin painoarvot. Lisäksi yhdeksi vertaisarvioinnin kriteeriksi voisi harkita sitä, missä määrin arvioitavan henkilön tutkimustyö on muuttanut tapaa, jolla tutkijayhteisö ajattelee tutkimusteemasta.

Suositus on yleisesti ottaen kirjoitettu hyvällä kielellä, mutta se kannattaisi luetuttaa ammattimaisella kielenhuoltajalla, joka osaisi kiinnittää huomiota esimerkiksi terminologiseen huojuntaan (”tutkimuksellinen vaikuttavuus” ja ”tieteellinen vaikuttavuus”) ja joidenkin ilmausten sivumielteisiin (”arviointeihin turvaudutaan”). ”Arvioitsijan” asemesta voitaneen nykyään jo puhua ”arvioijasta”.

Tampereen yliopisto toteaa lopuksi, että suositukseen kannattaa lisätä tietosuoja-asetuksesta (GDPR) – esimerkiksi sähköisinä linkkeinä – seuraavat näkökulmat: henkilötietojen käsittely (https://tietosuoja.fi/henkilotietojen-kasittely) sekä henkilön profilointi (https://tietosuoja.fi/automaattinen-paatoksenteko-profilointi).
9
Kalle-Antti Suominen ja Erika Lilja / Turun yliopiston lausuntoOllakseen perustavalla tasolla vastuullista, on arvioinnissa aina tiedostettava arvioinnin ja mittaamisen itsensä sisältämä rajallisuus, joka ei ole ylitettävissä arviointisuositusten tai uudenlaisen, monipuolisen metriikan kehittämisen keinoin. Kaiken arvioinnin tulee myös lähteä aidosta arvioinnin tarpeesta eikä esimerkiksi siitä, että metriikkaa on saatavilla tai että sitä voidaan monipuolisesti kehittää. Hyvin harkituilla uusilla indikaattoreilla voidaan tehdä näkyväksi tärkeää tutkijoiden toimintaa yksikkötasolla, mutta metriikan kehittäminen ei tällöinkään saa muodostua itsetarkoitukseksi. Luonnoksesta on havaittavissa tälle ajalle tyypillinen arvioinnin ja mittaamisen ihannointi. Luonnos vaikuttaa jossain määrin jopa ristiriitaiselta samanaikaisen laadullisen arvioinnin sekä mittaamisen ja metriikan kehittämisen tavoitteineen. Olisi tärkeää tuoda heti luonnoksen alussa esiin kaikkeen arviointiin ja mittaamiseen sisältyvä rajallisuus.

Tutkimusta pyritään nykyisin ohjaamaan ja säätelemään monin erilaisin linjauksin. Tutkimuksen uudistumisen ja perustutkimuksen näkökulmasta suosituksessa on nostettava esiin akateemisen vapauden ja institutionaalisen autonomian tärkeys ja arvo yhteiskunnalle. Suosituksessa tulee pikemminkin varmistaa näiden toteutumista sen sijaan, että arviointia ja etenkin mittaamista ja käytettyjä menetelmiä ohjataan määrittelemään kenties liiankin tarkkaan. Kuten vastuullisessa arvioinnissa, myös tämän suosituksen valmistelussa on tarkasteltava kriittisesti valmistelun lähtökohta-olettamuksia: tutkimuksen ja tutkijoiden toiminnan suuntaamista koskevien päätösten pohjana olevia asiantuntija-arviointeja ei tule kansallisilla linjauksilla kehystää tavoilla, jotka kaventavat sitä autonomiaa, joka tekee esimerkiksi tutkimusrahoituspäätösten ja rekrytointipäätösten tekemisestä vastuullista tutkimuksen vapauden ja institutionaalisen autonomian näkökulmista.

Suositus pitää sisällään oletuksen siitä, että esimerkiksi tutkimuksen laatua, vaikuttavuutta, yhteiskunnallista vuorovaikutusta tai avoimuutta voidaan ylipäänsä vastuullisesti mitata ja että näitä kuvaavien mittareiden kehittäminen yksittäisen tutkijan tasolle olisi toivottavaa. Tosiasiassa nämä ovat kaikki osa-alueita, joiden määrällinen mittaaminen etenkin yksittäisen tutkijan tasolla ei liene vastuullista, koska kaikkien osa-alueiden määrälliseen mittaamiseen liittyy suuria ja hyvin vaikeasti ratkaistavia kysymyksiä. Näitä tekijöitä voidaan korkeintaan tavoitella määrällisin mittarein yksikön tason tutkimuksen arvioinneissa, mutta yksikkötason arvioinnit ovat olennaisesti erilaisia kuin yksittäisen tutkijan arvioinnit eikä molempia arviointeja koskevia suosituksia voida ohjeistaa samoilla linjauksilla. Tutkija voi tehdä näkyväksi toiminnan monipuolisuutta laadullisesti ja erilaisia tehtäviä voidaan esimerkiksi listata ja kirjata auki, mutta näiden tehtävien lukumäärällinen tarkastelu ei ole tavoiteltava lähtökohta.

Suosituksen johdannossa tulisi avata suhde Julkaisufoorumi-luokituksen päivitettyyn käyttöohjeeseen ja kuvata, miten nämä kaksi ohjeistusta täydentävät toisiaan. Julkaisufoorumi-luokitus on kuitenkin kansallinen julkaisukanavaluokittelu, jota käytetään tällä hetkellä vastuuttomasti yksittäisen tutkijan tasolla. Suosituksessa olisi hyvä vähintään mainita, että JUFO-luokittelua ei tule hyödyntää tutkijan tutkimuksen sisällöllisen laadun mittarina. Mikäli tätä suhdetta päivitettyyn käyttöohjeeseen ei suosituksessa oteta huomioon, sivuutetaan samalla kansallisen tason keskeinen vastuullisen arvioinnin haaste, johon suosituksella on nimenomaisesti pyrittävä vastaamaan ja johon sillä käytännössä lienee samalla parhaimmat mahdollisuudet vaikuttaa.

Suosituksen johdannossa on huomioitu monitieteisyys, mikä on erittäin hyvä asia, mutta samalla on muistettava, että monitieteistä tutkimusta ei voida kovin hyvin arvioida perinteisille tieteenaloille paremmin soveltuvilla määrällisillä mittareilla. Tämä ei suosituksessa tule esiin myöhemmässä vaiheessa lainkaan: suositus keskittyy alun huomioista huolimatta vielä tieteenalojen sisäisen tutkimuksen arvioinnin tarkasteluun.

Suosituksesta näyttäisi täysin puuttuvan kansainvälisyyden näkökulma. Kansainvälisyys on kuitenkin tutkimuksen kannalta merkittävä tekijä ja kansainvälisyyden arvioinnin kehittäminen tutkimuksen osalta parhaillaan esimerkiksi kansallisessa keskustelussa esillä. Suosituksen ensimmäisessä kappaleessa esimerkiksi puhutaan asioista, jotka vaikuttavat tutkimuksen tekemiseen – kansainvälisyys on ehdottomasti yksi näistä. Työryhmän olisi hyvä harkita, tulisiko kansainvälisyyttä tarkastella jotenkin osana suositusta ja pohtia, mitä vastuullinen arviointi tarkoittaa kansainvälisyyden arvioinnin näkökulmasta. Arvioinneissa on esimerkiksi joskus syytä pohtia, miten kansainvälisyyden laajuutta ja syvyyttä arvioidaan ja mikä on kansainvälisyyden merkitys tutkimuksen laadulle ja vaikuttavuudelle.

Johdannossa kiitettävää on, että tutkimuseettisten ohjeiden noudattaminen nostetaan esiin tutkijan ja tutkimuksen arvioinnin käytännön tason toteutuksen ohjeistuksena. Johdannossa voisi kuitenkin esteellisyyden, eturistiriidan ja epärehellisyyden lisäksi mainita myös sen, että asiantuntija-arviointeja tekevien tulee olla päteviä arvioinnin tekemiseen ja että tukena hyödynnettävää metriikkaa tulee tuottaa vain metriikkaa tuntevien asiantuntijoiden toimesta tai vähintäänkin heitä konsultoiden. Asiantuntija-arvioitsijoita ja esimerkiksi rekrytointia tekeviä henkilöstöasiantuntijoita on hyvä ohjeistaa asiassa selvästi tutkimusorganisaatioissa ja tutkimusrahoittajien rahoitushakemusarvioinneissa.

Termien osalta suosituksessa olisi tarpeellista määrittää, mitä suosituksessa tarkoitetaan termillä ”metriikka” ja pitäisikö puhua metriikoista tai käyttää termiä ”indikaattori”. Metriikka viitannee määrälliseen mittaamiseen bibliometriikkaa laajemmin, mutta se saattaa tahattomasti yhdistyä vain bibliometriikkaan. Johdannon rakennetta voisi lisäksi selkeyttää, siinä on nyt runsaasti hyvää asiaa, mutta johdanto voisi alkaa esimerkiksi kappaleesta kolme ja päätyä tutkijan arviointiin sen osana. Näin yksittäisen tutkijan arviointi asettuisi selkeästi suurempaan kehykseen.
Suosituksen periaatteet ovat kannatettavia, mutta periaatteisiin saattaisi olla syytä lisätä tasapuolisuuden kohdalle maininta siitä, että tutkimukseen käytettävissä olevilla resursseilla ja tutkimusryhmällä on vaikutus tutkijan tutkimuksen tuotoksiin. Tutkimusryhmä tulee suosituksessa esiin myöhemmin, mutta muutoin arviointi vaikuttaisi pohjaavan pitkälti vain tuotosten tarkasteluun.

Resurssien tarkastelu esimerkiksi metriikan keinoin ei kuitenkaan ole järkevää, mutta arvioinnin lähtökohdaksi resurssien ja tutkimusympäristön kuvaaminen on mahdollista. Esimerkiksi nuoren tutkijan kohdalla kilpailun kovuus saattaa tällä hetkellä johtaa tilanteeseen, jossa erittäin potentiaalinenkaan tutkija ei pääse osaksi tuloksekasta tutkimusryhmää ja erityisesti tutkimusinfrastruktuuri-intensiivillä aloilla hyödyntämään välttämättömiä tutkimuksen edellytyksiä (esim. aineistot, laitteet, fasiliteetit).
Tavoitteen 1 kohdalla lauseen voisi muotoilla seuraavasti: ”Arviointityötä aloitettaessa määritellään myös, mistä kenen näkökulmasta arvioitavien osaamista, asiantuntijuutta ja soveltuvuutta sekä hyvyyttä tai keskinäistä paremmuutta arvioidaan.Tavoitteessa 4 on otettava huomioon, että arvioitsija voi olla tietoinen omasta positiostaan ja oletuksistaan, mutta ei niinkään muiden tai yleisten oletusten ja mielipiteiden vaikutuksista. Lauseen voisi muotoilla esimerkiksi seuraavasti: ”Arvioitsijoiden tulee olla tietoisia omien erilaisten oletusten ja oman position mielipiteiden vaikutuksesta arviointiin.”Tavoitteessa 5 tulisi tieteenalan lisäksi huomioida monitieteisyys ja termi ”monitieteellisyys” korvata kaikkialla suosituksessa termillä ”monitieteisyys”. Monitieteisen (inter/cross) tutkimuksen arviointia ei välttämättä voida vastuullisesti toteuttaa arvioimalla tutkimusta samalla tavalla kuin yhden tieteenalan perinteitä noudattavaa tutkimusta. Tavoitteessa olisi syytä samalla nostaa esiin elämäntilaisiin liittyvät katkot tutkijanuralla, jotka eivät ole esimerkiksi sukupuolisidonnaisia (esim. vanhempainvapaa).Tavoite 6 olisi hyvää jakaa kahdeksi eri tavoitteeksi, joista tutkimuksen sisällöllisen laadun arviointi ja tämän arvioinnin vastuullisuus tulisi olla koko suosituksen keskiössä. Tutkimuksen sisällöllisen laadun arviointi saattaa kaivata myös muunlaista kehitystyötä arvioinnin tueksi, koska tutkimuksen sisällöllistä laatua ei voi arvioida metriikoin. Tutkimuksen vaikuttavuuden arvioinnin osalta on niin ikään nostettava esiin, että vaikuttavuudelle (academic/economic/social impact) ei ole mahdollista kehittää objektiivisia mittareita, joskin sen arvioinnin tukena voidaan hyödyntää erilaisia vaikuttavuuden ymmärrystä lisääviä laadullisia arviointikehyksiä, kuten vaikuttavuuspolut ja käsitettä ”tuottavat interaktiot”, ja käyttää myös proxyina tulos- ja vaikutusindikaattoreita yksikkötasolla ymmärtäen tällöinkin näihin sisältyvät rajallisuudet. Tavoitteesta tulisi joko poistaa kohta 6g ”Yhteiskunnallinen vuorovaikutus” tai osiota tulisi muutoin muuttaa: yhteiskunnallinen vuorovaikutus on osittain päällekkäinen muiden kohtien kanssa. Tutkimuksen vaikuttavuuden ja yhteiskunnallisen vuorovaikutuksen suhdetta tulisi muutoinkin avata, sillä ensimmäinen pitänee sisällään myös jälkimmäisen.

Julkaisujen osalta on hyvä lisätä suositukseen maininta erilaisten julkaisujen sekä myös muun kuin englanninkielisen julkaisemisen arvostamisesta. Lisäksi on syytä kiinnittää huomiota siihen, että julkaisun tekijän rooli julkaisussa saattaa vaihdella paljonkin. Tällöin voitaisiin esimerkiksi ohjeistaa arvioitavaa mainitsemaan sanallisesti kunkin julkaisun kohdalla lyhyesti oman roolinsa julkaisun tekemisessä. Myös muiden tutkimustuotosten (esim. data ja koodi) kohdalla on hyvä noudattaa samaa tapaa nostaa esiin tutkijan rooli tutkimustyössä.

Kohdan 6 osalta tutkijan vastuulliseen arviointiin liittyy vaikeita kysymyksiä jo julkaisemisen avoimuuden kohdalla. Kyse ei kuitenkaan ole siitä, etteikö esimerkiksi julkaisemisen avoimuus olisi tavoiteltavaa tai etteikö sitä tulisi pyrkiä edistämään. Tässä vaiheessa tieteellisen julkaisemisen avoimuuden keskusteluja on jo hyvin selvää, että tutkija ei tee tutkimustyötään irrallaan tiedejärjestelmän rakenteista. Toisaalta tutkija näyttäytyy keskusteluissa usein liiaksikin rakenteiden vankina. Tosiasiassa jokainen tutkija voi aktiivisesti haastaa tiedejärjestelmän rakenteita, mutta oma kysymyksensä kuitenkin on, onko yksittäisiin tutkijoihin kohdistettava vaatimus tiedejärjestelmän rakenteiden haastajuudesta itsessään vastuullista toimintaa tieteen avoimuutta ohjaavien tahojen suunnalta. Tutkijan arvioinnin suositusta ei tulisikaan valjastaa tiedepolitiikan välineeksi avoimuuden edistämisessä, joskin tutkijoiden toiminta esimerkiksi laadukkaan tutkimusaineiston tuottamisessa ja jakamisessa tai avoimen lähdekoodin kehittämisessä ja jakamisessa on kyettävä tunnistamaan akateemiseksi meriitiksi siinä missä esimerkiksi julkaisutkin. Tätä ei kuitenkaan ole syytä tavoitella nykytilanteessa yksilötasolla metriikan keinoin. Avoimuuden tunnistamisen ja sen arvostamisen tulee nousta tutkimusalojen avoimuuden käsityksestä käsin, sillä tiedepolitiikan ”avoin tiede” ei aina tunnista perinteistä avoimuutta avoimuudeksi, joka kuitenkin samalla toteuttaa kaikki samaisen politiikan tavoitteet.

Metriikan kehittämiseen datan avoimuuden kohdalla liittyy niin ikään tutkitusti haasteita. Dataviittausten avulla voidaan kyllä edistää datameritoitumista, mutta datan laadun ja saavutettavuuden ”metriikkaan”, jota suosituksessa mainitaan kehitettävän, liittyy merkittäviä haasteita yksilötason tarkastelussa: vaikka eri tutkimusaloilla on datan jakamista edistäviä yhteisön normeja, on saman alan tutkijoilla tutkimusten mukaan kuitenkin hyvin erilaisia tapoja ymmärtää ”tutkimusaineisto” ja myös hyvin erilaisia tarpeita ja odotuksia datan jakamisen suhteen jopa saman tutkimusryhmän sisällä. Myös datan uudelleen hyödyntämisessä dataan liittyvä kontekstuaalinen hiljainen tieto ja tutkimusalan tuntemus on edellytys datan hyödyntämiselle tutkimuksen laadun näkökulmasta. Etenkin datan avoimuuden osalta on samalla varottava, ettei vahingossa luoda vastaavanlaista kestämätöntä meritoitumisjärjestelmää kuin julkaisujen kohdalla on huomaamatta päässyt käymään. Toistaiseksi nimittäin juuri tieteellisten journaalien linjaukset ja tutkimusalan omat normit ovat osoittautuneet datan jakamista edistäviksi institutionaalisiksi tekijöiksi toisin kuin esimerkiksi tutkimusrahoittajien linjaukset. Tähän järjestelmään liittyy samalla kysymys tutkimuksen laadusta: kuten julkaisujen kohdalla, myös datan kohdalla sisällöllinen laatu on määrää tärkeämpää.

Suosituksessa on kaikkinensa pidettävä mielessä, että avoimen tieteen edistäminen, seuraaminen, metriikat ja arviointi ovat tutkimusorganisaatioiden tasolla hyvin eri asioita kuin yksittäisen tutkijan tasolla tapahtuva meritoituminen ja arvostus eikä näitä tule sekoittaa toisiinsa tai voi vastuullisesti edistää täysin samoilla linjauksilla ja keinoilla. Nyt suosituksessa nämä kaksi tasoa näyttävät menevän huolestuttavasti sekaisin. Avoimuutta ei toisin sanoen tule yksittäisen tutkijan tasolla suosittaa arvioitavaksi määrällisesti edes avointen julkaisujen tai datan osalta, mikäli näin ei jo nyt toimita tutkimusalan perinteiden mukaisesti. Tutkija voi nostaa tutkimustoimintaansa ohjaavia arvoja, kuten avoimuutta, esiin laadullisesti esimerkiksi akateemisessa portfoliossa kuvatessaan tutkimus- ja opetustoimintaansa sekä sitä, miten hän joko suoraan tai välillisesti toimii yhteiskunnan kanssa vuorovaikutuksessa. Samalla tavalla on mahdollista kuvata myös esimerkiksi tutkijan tutkimuksen vaikuttavuutta tai sisällöllistä kontribuutiota. Tutkimuksen avoimuuden kannustimet yksittäisen tutkijan tasolla löytynevät tällä suosituksen kirjoittamisen hetkellä nimenomaan vastuullisuuden näkökulmasta muualta kuin kehitettävistä metriikoista ja esimerkiksi akateemisen meritoitumisen näkökulmasta olisi tärkeämpää mahdollistaa avoimuuden laadullinen huomioon ottaminen ja kehittää tarkastelun tueksi esimerkiksi ”biosketch”-malleja.
Tavoitteen 7 voisi yhdistää tavoitteeseen 8. Kaikessa tutkijan arvioinnissa on lähtökohtaisesti otettava huomioon, että tutkijan toimintaa arvioidaan aina osana tutkimusyhteisöään ja mahdollista tutkimusryhmäänsä sekä jossain tapauksissa esimerkiksi suhteessa työtehtäviensä sisältöihin (esim. henkilökohtaisen suoriutumisen arviointi). Tutkijan toimintaa tiedeyhteisössä säätelevätkin monet tekijät, joten tutkija ei tiedeyhteisössä akateemisesta vapaudesta huolimatta voi toimia täysin vapaasti.

Asiantuntijana toimimista tutkimuksen arvioinnissa ei liene syytä nostaa esiin omana kohtanaan tutkijan toiminnassa tiede- ja muissa yhteisöissä. Kohdassa 7b julkaisutoimintaan osallistuminen ei myöskään oikein avaudu lukijalle: mitä tällä konkreettisesti tarkoitetaan? Julkaisuja, jäsenyyksiä toimituskunnissa vai julkaisujen kirjoittamista? Eikö kohta 7c ole samalla julkaisutoimintaan osallistumista? Listauksessa voitaisiin hyödyntää erilaisen toiminnan jaottelussa esimerkiksi TENK:in tutkijan ansioluettelomallin mukaista luokittelua.
Tavoitteen 7 voisi yhdistää tavoitteeseen 8. Kaikessa tutkijan arvioinnissa on lähtökohtaisesti otettava huomioon, että tutkijan toimintaa arvioidaan aina osana tutkimusyhteisöään ja mahdollista tutkimusryhmäänsä sekä jossain tapauksissa esimerkiksi suhteessa työtehtäviensä sisältöihin (esim. henkilökohtaisen suoriutumisen arviointi). Tutkijan toimintaa tiedeyhteisössä säätelevätkin monet tekijät, joten tutkija ei tiedeyhteisössä akateemisesta vapaudesta huolimatta voi toimia täysin vapaasti.

Asiantuntijana toimimista tutkimuksen arvioinnissa ei liene syytä nostaa esiin omana kohtanaan tutkijan toiminnassa tiede- ja muissa yhteisöissä. Kohdassa 7b julkaisutoimintaan osallistuminen ei myöskään oikein avaudu lukijalle: mitä tällä konkreettisesti tarkoitetaan? Julkaisuja, jäsenyyksiä toimituskunnissa vai julkaisujen kirjoittamista? Eikö kohta 7c ole samalla julkaisutoimintaan osallistumista? Listauksessa voitaisiin hyödyntää erilaisen toiminnan jaottelussa esimerkiksi TENK:in tutkijan ansioluettelomallin mukaista luokittelua.
Toimeenpanosuunnitelmassa on mainittu vastuutahot vain kahden ensimmäisen toimenpiteen osalta. Vastuutahot sekä aikataulu tulee sisällyttää suunnitelmaan kaikkien kohtien osalta.

Turun yliopisto ei katso, että tutkijan vastuullista arviointia tulee arvioida kypsyystasoselvityksen keinoin. Tällaisten selvitysten toteuttaminen vaatii paljon resursseja paitsi selvityksen tekijältä myös selvityksen kohteelta. Nämä resurssit voitaneen hyödyntää paremminkin. Vastuullisen arvioinnin toteutumisen seuranta tulee sisällyttää osaksi toimenpidettä 2: tutkimusorganisaatioiden ja -rahoittajien tulee seurata omien linjaustensa toteutumista. Etenemistä voidaan seurata tarvittaessa opetus- ja kulttuuriministeriön kanssa käytävissä tulossopimusneuvotteluissa. TSV ei lopulta ole taho, jolla olisi mandaatti ohjata tutkimusorganisaatioita eikä sen tällaista roolia tärkeänä riippumattomana tieteenharjoittamista ja tiedepolitiikkaa koskevissa asioissa toimivana asiantuntijaelimenä tulisi ottaakaan.

Toimeenpanosuunnitelman kohdassa 2 riittänee, että tutkimusorganisaatiot ja rahoittajat miettivät, miten he suositusta omassa organisaatiossaan vievät eteenpäin ja panevat toimeen sekä tekevät tutkimusorganisaatiotason linjaukset asiassa. Varsinaisten menetelmien tarkka määrittäminen sen sijaan ei liene tarpeen tai järkevääkään. Tutkijan kannalta on oikein hyvä, että organisaatioilla on määriteltynä vastuutaho, johon he osaavat olla yhteydessä arviointien vastuullisuutta punnittaessa tai siihen sisältyviä puutteita epäiltäessä.

Johdannon kommenteissa on jo todettu, että suositus pitää sisällään oletuksen siitä, että tieteellistä laatua, vaikuttavuutta, yhteiskunnallista vuorovaikutusta tai avoimuutta voidaan vastuullisesti mitata ja että näitä kuvaavien mittareiden kehittäminen yksittäisen tutkijan tasolle olisi toivottavaa. Toimenpiteen 4 osalta kaikki eritellyt osa-alueet ovat sellaisia, joiden määrällinen mittaaminen yksittäisen tutkijan tasolla ei ole suositeltavaa ellei näin jo tutkimusalan perinteiden mukaisesti toimita. Näitä osa-alueita voidaan määrällisesti mitata yksikön tai esimerkiksi tutkimushankkeen tasolla, mutta yksittäisen tutkijan tasolla tulee hyödyntää laadullista arviointia ja esimerkiksi narratiiveja laadullisina kuvaajina. Sama koskee myös opetus- ja ohjaustoimintaa. Esimerkiksi jo yksittäisten kurssien määrällinen arviointi tuottaa suuria haasteita tasavertaisen ja luotettavan datan näkökulmasta: huomioon olisi otettava ainakin laajuus, opettajan vastuun osuus, kurssille osallistuvien määrä, kurssin toteutusmuoto, opetuksen kehittäminen ja kaikkein tärkeimpänä opiskelijoille asetettujen oppimistavoitteiden saavuttaminen. Tutkijan tasolla on löydettävä metriikoita parempia keinoja arvostaa ja tunnistaa muuta kuin julkaisutoimintaa ja samalla pikemminkin vahvemmin nostettava esiin metriikan hyödyntämisen rajallisuudet julkaisutoiminnan ja tutkimuksen laadun tarkastelussa.

Kaiken kaikkiaan toimenpide heijastelee nyky-yhteiskunnalle ominaista liiallista metriikkauskovaisuutta jokseenkin suosituksen tarkoituksen kanssa ristiriitaisella tavalla. Tavoitteena lienee korostaa asiantuntija-arvioinnin ja laadullisen arvioinnin tärkeyttä, ei metriikan kehittämistä.

Toimenpiteet 5 ja 6 eivät ole toimenpiteiden muodossa kirjoitettuja. Nämä tulee kirjata konkreettisiksi toimenpiteiksi, mikäli ne eivät ole linjauksia ja lähtökohtia. Jos kohdat ovat toimenpiteitä, tulee ne vastuuttaa ja aikatauluttaa.

Ohjausryhmän perustaminen lienee tarpeellista, joskin suosituksen toimenpiteet toteutetaan tutkimusorganisaatioissa, joiden tehtävä on myös seurata niiden toteutumista. Suositus on muutoin niin yleisellä tasolla, että sen seuraaminen ohjausryhmän toimesta on mahdotonta ja samalla epätarkoituksenmukaista. Mahdollisesti perustettavan ohjausryhmän tehtäviä tulee pohtia tästä näkökulmasta.
Turun yliopisto haluaa esittää toiveen siitä, että kansallisten linjausten ja suositusten valmisteluun varataan jatkossa riittävästi kommentointiaikaa. Tutkimusorganisaatiot organisoivat kommentoinnin sisäisesti ja johdon on pystyttävä antamaan tiedekunnille ja muille yksiköille aikaa paitsi näiden yksiköiden sisäiseen organisoitumiseen myös linjauksiin ja ohjeisiin perehtymiseen ennen kuin organisaatio kykenee muodostamaan oman näkemyksensä tärkeässä asiassa. Sama aikataulua koskeva haaste tutkimusorganisaatioiden näkökulmasta oli havaittavissa myös esimerkiksi aiemmassa avoimen tieteellisen julkaisemisen kansallisen strategian kommentoinnissa. Turun yliopisto toivoo muutosta vastaavien valmistelujen aikatauluihin, jotta tutkijoilla ja tiedeyhteisöllä on aidosti mahdollisuus ottaa kantaa tärkeisiin linjauksiin ja ohjeistuksiin. Liian tiukat aikataulut antavat helposti vaikutelman, että halutaan ainoastaan täyttää osallistamisen muodolliset vaatimukset.
10
Vaasan yliopistoKoska suositukset koskevat tutkimuksen arvioinnin rakenteita ja prosesseja, olisi tämä syytä tuoda aikaisemmin ja voimakkaammin esiin. On hyvä, että perinteisten kvantitatiivisten mittareiden lisäksi mietitään laadullisia keinoja ja erityisen tärkeää on ottaa huomioon alojen erilaisuus, monitieteisyys, monitieteiset tutkimysryhmät, suomen kielellä julkaiseminen ja tulokset. Tutkimuksen vaikuttavuus, potentiaali ja tulevaisuussuunta osana arviointia on otettava huomioon.Läpinäkyvyys - avoimuus, integriteetti, tasapuolisuus ja kompetenssi ovat hienoja periaatteita paitsi tutkimustyössä, mutta myös tutkijoiden arvioinnissa. Nämä ovat tärkeitä tutkijoiden motivoinnin ja hyvinvoinnin kannalta.Päätöksiä on helpompi ymmärtää ja hyväksyä, kun tavoitteet ja kriteerit ovat julkilausuttuja ja selkeitä.Menetelmien valinnassa on otettava huomioon arviointikohde ja joustavuus.Aina ei ole mahdollista saada kattavia tai edes vertailukelpoisia aineistoja. Tämä on ymmärrettävä ja hyväksyttävä ja mietittivä vaihtoehtoisia menetelmiä aineiston hankintaan.Esteettömyys voi muodostua pienellä alalla tai pienessä yliopistossa haasteeksi, mutta jo tästä tietoisuus lisää tasapuolisuutta.Myös seuraavia voisi olla mukana joko tavoitteessa 6 tai 7:
erilaisissa yhteiskunnan asiantuntijatehtävissä toimiminen, esim. valiokuntien kuulemiset jne. Konsultointitehtävät eri tahoille. Toimeksiantoraportit, -selvitykset ja -tutkimukset. Kehittämishankkeisiin osallistuminen. Tutkijoiden liikkuvuus yrityksiin. Yhteistyö kansalaisryhmien kanssa. Avoimen data hyödyntäminen. Muu julkinen toiminta tutkijan roolissa.
Tässä on hienosti otettu sekä tavoite 6 että 7 monipuolisesti haltuun.Itsearvioinnin ohjeistus ja kriteerien määrittely tulee olemaan organisaatiotasolla haastavaa.Tämä on monien arviointien viidakossa erittäin kannatettava ajatus. Pohdinta siitä, mitä arvioinnilla halutaan saavuttaaa ja mihin sitä käytetään.Tämän kypsyystasoselvityksen toivottaisiin olevan suht kevyt, ettei tule suhteessa arviointikäytäntöjen kehittämiseen liikaa työtä. Vrt. Tavoite 10.
Portfoliomalli ja portaali jäävät tässä hyvin yleisiksi. Mikä on mm. ORCIDin rooli tässä?
Kaikenlainen ja monesta lähteestä tuleva koulutus ja ohjeistus koko tiedeyhteisölle on erittäin tärkeää, muttei saa kuormittaa liikaa tutkijoita.
On hyvä miettiä millä tasolla arviointia tehdään ja käyttää joustavia mittareita. Kaikki eivät sovellu kaikille. Arviointia tapahtuu monessa eri vaiheessa, joten tutkijanuran vaihekin on syytä ottaa huomioon.
EUA:n Roadmap on Research Assesment in the Transition to OA ja kyselyn tulokset ovat tärkeitä myös tälle kansalliselle työlle.
Kirjoittajuuden määritelmä eri aloilla on erilainen, sillä saattaa olla vaikutusta johonkin hyvin jäykkään arviointimenetelmään.
Koska esim. yliopistojen YPJ painottaa tiettyjä asioita, mikä on tämän linjauksen suhde siihen ja tarvitaanko vielä laajempia keskusteluja?
11
HankenEhdotus E1. Tavoitteessa 1 tulisi otsikossa viitata ”arvioinnin tavoitteiden ja kriteerien läpinäkyvyyteen”, pelkän ”arvioinnin tavoitteiden ja kriteerien” sijaan. Ilmaus ”kaikkien tiedossa” tulisi korvata ilmauksella ”arvioitavien tiedossa”. Viimeinen lause ”arviointityötä aloitettaessa määritellään myös, kenen näkökulmasta arvioitavien hyvyyttä tai keskinäistä paremmuutta arvioidaan” tulisi poistaa. Lisäksi tulisi lisätä lause ”Urajärjestelmiin liittyvissä arvioinneissa (esim. tenure track –arvioinnit) arviointikriteerit tehdään tiettäväksi tutkijoille jo rekrytointitilanteessa”.

o Perustelu: Otsikon on hyvä olla kuvaava, mitä tulee kyseisen ohjenuoran sisältöön. ”Kaikkien tiedossa” on aivan liian laaja ja epämääräinen käsite; tärkeintä on, että kriteerit ovat itse arvioitavien tiedossa. Lause ”kenen näkökulmasta” on epämääräinen, eikä tuo lisäarvoa tai -lisäsisältöä kyseiseen kohtaan. Urajärjestelmien kriteerien avoimuutta jo rekrytointitilanteessa on syytä korostaa asiaan liittyvän problematiikan keskeisyyden vuoksi.
Ehdotus E2: Tavoitteessa 2 tulisi lause ”tutkijaa arvioidaan ensisijaisesti laadullisesti” korvata lauseella ”Tutkijan arviointi kohdistetaan ensisijaisesti hänen tutkimustensa laatutason arviointiin, ja laatutasoa arvioidaan sekä määrällisillä kriteereillä (esimerkiksi tutkimusjulkaisuiden määrä tieteenalan arvostetuimmissa julkaisukanavissa) että kvalitatiivisilla kriteereillä (esimerkiksi tutkimusten tieteellinen ja käytännöllinen relevanssi alalla)”. Lause ”jos asiantuntija-arvioinnin tukena hyödynnetään metriikkaa, on määriteltävä selvästi, miten eri arviointitapoja käytetään” tulisi korvata lauseella ”Asiantuntija-arviointien asiantuntijoita pyydetään tekstimuotoisissa lausunnoissaan selvästi ilmaisemaan, millä painoarvolla he ovat kokonaisarvioinnissaan arvottaneet määrällisiä laatumittareita suhteessa toisiinsa, sekä suhteessa kvalitatiivisiin näkökohtiin”

o Perustelu: Ks. em. ehdotuksemme Y1, ja sen perustelut.
Ehdotus E3: Tavoitteessa 3 tulisi poistaa sanat ”ja keskenään vertailukelpoisia”, tai tarkentaa onko kyse arviointitilanteessa olevia eri tutkijoita koskevien aineistojen vertailukelpoisuudesta, vai mistä.

o Perustelu: On epäselvää, mihin ”vertailukelpoisuus” tässä viittaa: (a) eri tutkijoita (esim. rekrytointikandidaatteja) koskevien aineistojen vertailukelpoisuuteen, (b) eri arviointimittarityyppien (esim. journalrankinglistat vs. kvalitatiivinen relevanssi) vertailukelpoisuuteen vai (c) eri arviointimittarien vertailukelpoisuuteen mittarityypin sisällä (esim. eri journalrankinglistat). Vertailukelpoisuutta mielessä (b) erityisesti lienee mahdotonta saavuttaa. Vertailukelpoisuutta mielessä (a) vaikeuttaa osaltaan se, että rekrytointikandidaatit voivat omasta aloitteestaan lähettää erilaisia aineistoja arvioitaviksi (ts. aineistojen vertailukelpoisuus ei ole yksinomaan arvioitsijoiden käsissä). Vertailukelpoisuuteen mielessä (c) voidaan pyrkiä, mutta tähänkin vertailukelpoisuuteen liittyy silti merkittäviä rajoitteita.
Ehdotus E4: Tavoitteessa 4 tulisi esteettömyyden osalta tarkentaa, mikä tekee arvioijasta esteellisen (esimerkiksi TENKin ohjeistuksen mukaan; tai tarkentaen, että esteellisiä ovat: lähisukulaiset ja näiden puolisot, läheisessä ystävyys- tai ihmissuhteessa olevat henkilöt, sekä henkilöt, joiden kanssa arvioitavilla on yhteisjulkaisuita viimeisen viiden vuoden ajalla; joiden kanssa arvioitavilla on käynnissä olevaa tutkimus/julkaisuyhteistyötä; jotka ovat toimineet arvioitavien väitöskirjatason opinnäytetöiden ohjaajina; tai jotka ovat yhteiskirjoittajana joissakin arvioinnin kannalta keskeisimmissä tutkimusjulkaisuissa, vaikka niistä olisi kulunut enemmän kuin em. viisi vuotta). Tavoitteen kohta ”riittävään moninaisuuteen” tulisi poistaa tai sitä tulisi tarkentaa sen osalta, mitä moninaisuudella tarkoitetaan.

o Perustelu: Ohjemaisuuden varmistamiseksi itse ohjenuorassa on hyvä tarkentaa konkreettisesti, mikä tekee arvioijasta esteellisen. Moninaisuus on epämääräinen käsite, ja saattaa johtaa ajatukset sellaiseenkin moninaisuuteen, mikä ei välttämättä ole tarkoituksenmukaista arvioinnissa (esim. diversiteetti iän, etnisyyden tai seksuaalisen suuntautumisen suhteen). Jos moninaisuuskohta halutaan säilyttää, lienee syytä rajata kohta arvioinnin kannalta oleellisimpaan moninaisuuteen: ”riittävään moninaisuuteen erityisesti arvioijien kotimaisuuden vs. kansainvälisyyden suhteen”.
Ehdotus E5. Tavoitteessa 5 tulisi merkittävästi selventää, mitä tarkoitetaan ”tasapuolisuudella” ja ilmauksella ”seuraavien näkökulmien valossa: a) tieteenala, b) uravaihe, c) sukupuoli, etnisyys)”.

o Perustelu: Esimerkiksi rekrytointitilanteessa, jossa täytetään positiota tietyllä tieteenalalla tai se ala-alueella, on mahdoton ajatus, etteikö kandidaatin ala tai ala-alue olisi keskeinen arviointikriteeri (ts. toisten alojen kandidaatteja ei luonnollisestikaan voi katsoa samanarvoiseksi kohdealan tai -ala-alueen kandidaattien kanssa). Sama pätee uravaiheeseen: jos täytetään tietyn uravaiheen positiota, merkittävästi tämän uravaiheen ”alapuolella” olevia kandidaatteja ei voida luonnollisestikaan pitää samanarvoisina ko. tasoa vastaavien kandidaattien kanssa. Jos tavoitteen 5 tarkoituksena on ensisijaisesti pyrkiä siihen, että esim. korkeakouluissa tutkijoiden arviointikriteerit ovat samankaltaisia eri tieteenaloilla (ja luonnollisesti sukupuolesta ja etnisyydestä riippumatta), tämän voi todeta selvästi näillä sanoin (esimerkiksi: ”Kriteerien, menetelmien, asiantuntijoiden ja arvioinnin aineistojen valinnassa varmistetaan, että saman tutkimusorganisaation samaan tarkoitukseen tehtävissä arvioinneissa käytetään samankaltaisia kriteereitä, menetelmiä, asiantuntijoita ja arviointiaineistoja”). Uravaiheen osalta kysymys on monimutkaisempi, sillä asiaan liittyy selvästi kolme asiaa: esimerkiksi (i) rekrytoinnissa avattavan position uravaihe (esim. määräaikainen assistant professor vs. vakinaistettava associate professor), (ii) eri hakijoiden uravaihe ja (iii) hakijoiden mahdollisten urakatkojen huomioonottaminen.
Ehdotus E6. Tavoitteessa 6 ilmaus ”muun muassa seuraavien näkökulmien keskinäistä painoarvoa on pohdittava” on korvattava jollakin selvemmällä ohjenuoralla, esimerkiksi ”tutkimusten laadun ja vaikuttavuuden arvioinnissa arvioidaan määrällisten mittareiden (esim. sitaatioiden määrä; tieteenalan arvostamissa journaaleissa julkaistujen tutkimusten määrä) useampaa kuin yhtä seuraavista:”. Lisäksi alakohta d) ” Tutkimuksen vastuullisuus - esimerkiksi tutkimuseettisten periaatteiden noudattaminen” tulisi poistaa listasta.

o Perustelu. On tehtävä selväksi, että kaikissa arvioinneissa ei välttämättä tarvitse arvioida kaikkia listan seitsemää kohtaa – vaan että riittävään monimuotoisuuteen voidaan päästä jo sillä, että edes muutamaa listan kohdista arvioidaan. Mitä tulee ”tutkimuksen vastuullisuus” -kohtaan, sen sisällyttäminen tähän listaan on erittäin ongelmallista, sillä arvioitsijoiden on jälkikäteen (esim. julkaisuiden perusteella) lähes mahdotonta arvioida, kuinka vastuullisesti itse tutkimus tehtiin ja noudatettiinko siinä eettisiä periaatteita. Lisäksi ei ole lainkaan hyväksi, että ohjenuora vihjaa, että eettisten periaatteiden noudattaminen olisi erityinen meriitti tutkijoille; sen kun pitäisi olla perusoletus ja -vaatimus kaikille tutkijoille kaikessa tutkimuksessa.
Ehdotus E7. Tavoitteessa 7 tulisi tavoitteen 6 tavoin (em. ehdotus E6) konkretisoida ilmaus ”otetaan huomioon arvioinnissa pohtimalla muun muassa seuraavien näkökulmien painoarvoa” esimerkiksi muotoon ”tutkimusten laadun ja vaikuttavuuden arvioinnin lisäksi arvioidaan useampaa kuin yhtä seuraavista tutkijan tiedeyhteisötoiminnan aktiviteeteista:”. Lisäksi kohta ”e) opettaminen ja ohjaaminen” tulisi muuttaa muotoon ”e) tutkimuspohjaisten oppimateriaalien tuottaminen, tutkijakoulutuksen antaminen ja tutkijakoulutuksen opinnäytteiden ohjaaminen”.

o Perustelu: On tehtävä selväksi, että kaikissa arvioinneissa ei välttämättä tarvitse arvioida kaikkia listan kahdeksaa kohtaa – vaan että riittävään monimuotoisuuteen voidaan päästä jo sillä, että edes muutamaa listan kohdista arvioidaan. Mitä tulee ”opettamiseen ja ohjaamiseen”, koska kyseessä on suositus tutkijan arviointiin, ei ole tarkoituksenmukaista sisällyttää kaikkea mahdollista opettamista ja ohjaamista listaan, vaan rajoittua tutkimukseen ja tutkijakoulutukseen liittyvään opettamiseen ja ohjaamiseen.
Ehdotus E8. Tavoitteeseen 8 ei tulisi sekoittaa tutkimusryhmän dynamiikkoja koskevia asioita, vaan tavoitteen pitäisi rajoittua antamaan ohjenuora tieteenalan/tutkimusalan erityispiirteiden huomioonottamiselle. Myös viittaus monitieteellisyyteen tai poikkitieteellisyyteen tulisi poistaa tavoitteesta; tälle pitäisi kirjata erillinen tavoite (esim. uusi tavoite 11).

o Perustelu: Tutkimusryhmään viittaaminen tässä kohtaa johtaa ajatukset mm. siihen, mikä tutkijan kontribuutio on suhteessa muihin kirjoittajiin/tutkijoihin tietyssä yhteisjulkaisussa. Tämä on hyvin eri asia kuin tutkimusalan erityispiirteiden huomioon ottaminen arvioinnissa, mihin tavoitteen 8 tulisi keskittyä. Monitieteellisyys/poikkitieteellisyys taas ansaitsee oman tavoitteensa/ohjenuoransa, sillä tällaisissa tilanteissa ongelmana on juuri päättää, kumman tieteenalan erityispiirteitä arvioinnissa otetaan huomioon vaiko molempien tai ei kummankaan.
Ehdotus E9. Tavoitteen 9 ingressi/otsikko ”Tutkijan omien tavoitteiden huomioiminen” tulisi muuttaa muotoon ”Tutkijan oman itsearvioinnin huomioiminen”.

o Perustelu: Tavoitteen sisältö koskee pääasiallisesti tutkijan omaa itsearviointia. Tutkijan ”tavoitteisiin” viittaaminen otsikossa antaa ymmärtää, että yksittäisten tutkijoiden (esim. rekrytointikandidaattien) arvioinnin tavoitteenasetannassa tai kriteeristössä tulisi ottaa huomioon yksittäisten tutkijoiden ehdottamat omat tavoitteet/kriteerit. Näin ei voi olla. Yksittäisen tutkijan tulee voida ainoastaan esittää itsearvionsa tai näkemyksensä omista meriiteistään arvioivan tahon määrittelemien kriteerien tai tavoitteiden suhteen, ei esittää ”omia” kriteereitään tai tavoitteitaan arviointiin.
Ehdotus E10. Tavoitteen 10 ilmaus ”otetaan huomioon arvioitavan saama hyöty” tulisi muuttaa konkreettisempaan muotoon ”varmistetaan, että arvioitava saa arvioinnin jälkeen palautetta arvioinnin lopputuloksesta sekä aineistoista, jotka arvioitava valmisteli arviointia varten”. Lisäksi tulisi lisätä lause: ”Jo arviointiprosessia suunniteltaessa varmistetaan, että arviointiaineistojen valmisteluun vaadittava työmäärä ei ole kohtuuton”.

o Perustelu: On hyvä antaa konkreettinen ohje toivottavasta asiasta. Arviointiaineistojen valmisteluun vaadittavan työmäärän ohjeistus on reilua arvioitavien kannalta.
Tieteellisten seurain valtuuskunnan avoimen pyynnön (per 2.5.2019) johdosta annamme Hanken Svenska handelshögskolanin tenure track -komitean puolesta seuraavan lausunnon, mitä tulee tutkijan vastuullista arviointia koskevaan suositusluonnokseen.

Ennen alla olevia kommentteja ja suosituksia haluamme kiittää työryhmää luonnoksen kääntämisestä ruotsiksi ja englanniksi. Luonnosta arvioidessamme olemme kuitenkin todenneet, että suositusta on todennäköisesti alun perin hahmoteltu suomeksi, ja ruotsin- ja englanninkielisissä versioissa on sisällöllisiä epäjohdonmukaisuuksia suomenkieliseen nähden (ks. ehdotuksemme Y2 alla). Tämän vuoksi olemme arvioineet ensisijaisesti alkuperäiseksi olettamaamme suomenkielistä suositusluonnosta ja vastaavasti annamme myös lausuntomme alla suomeksi.

Yleiset ehdotukset suositusluonnoksen rakenteeseen ja pääsisältöön

• Ehdotus Y1: Suosituksessa tulisi huolellisemmin ja johdonmukaisemmin käyttää termejä laadullinen ja laatu, sekä näiden termien johdannaisia. ”Laadun” tulee viitata tutkimustuotosten laatuun, jota arvioidaan ja jolle voidaan asettaa sekä määrällisiä että ei-määrällisiä, kvalitatiivisia kriteereitä. On siis huomattava, että laatua voidaan arvioida myös määrällisten mittarien avulla; esimerkiksi tieteenalan laadulliseen parhaimmistoon kuuluvissa journaaleissa julkaistujen tutkimuksen määrällä. Termin ”laadullinen” sijasta tulisi taas selvyyden vuoksi käyttää termiä ”kvalitatiivinen”, ja sen tulisi viitata yksinomaan arvioinnissa käytettävän informaatioon ja analyysien ei-määrällisyyteen (eikä siis itse tutkimustuotosten laatuun, jota varten termi ”laatu” on varattava). Toisin sanoen ”kvalitatiivisen arvioinnin” tulee johdonmukaisesti viitata arviointiin, joka tarkastelee tutkijan yksittäistä tutkimusta tai tutkimuksen kokonaistuotantoa sellaisten kriteerien läpi, joihin ei liity määrällistä/kvantitatiivista laskemista (esimerkiksi tutkijan tutkimusaiheiden teoreettinen tai käytännöllinen merkitys tieteenalalla). ”Kvalitatiivisten arvioiden” osalta on kuitenkin myös huomattava, että esimerkiksi ulkopuolisia asiantuntija-arviointeja ei tule pitää kokonaan laadullisina/kvalitatiivisina, sillä myös ulkopuoliset asiantuntijat käyttävät usein osittain määrällistä/kvantitatiivista informaatiota ja analyysia arvioinneissaan; esimerkiksi arvioiden tutkijan tutkimustuotannon laajuutta julkaistujen tutkimusten määrällä tai sen vaikuttavuutta julkaisuiden sitaatioiden määrällä. Ydinasia ja -lisäarvo ulkoisten asiantuntijoiden tekstimuotoisissa lausunnoissa syntyykin yleisesti ottaen eri kvantitatiivisten mittarien painoarvon välisestä arvottamisesta -- suhteessa toisiinsa, sekä suhteessa kvalitatiivisiin näkökohtiin (esim. em. tutkijan tutkimusaiheiden teoreettinen tai käytännöllinen merkitys tieteenalalla). Sen sijaan, että ulkopuolisten asiantuntijoiden lausuntoihin tai lausuntoprosessiin viitataan laadullisena/kvalitatiivisena, niihin tulisi viitata ”määrällisiä ja kvalitatiivisia kriteereitä arvottavina (tekstimuotoisina) lausuntoina”. (Myöskään lausunnon tekstimuotoisuus ei tietenkään sinänsä tee lausunnosta kvalitatiivista/laadullista, sikäli kun lausuntotekstissä voidaan käsitellä myös monia määrällisiä kriteereitä.)
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
Loading...