| A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Kommentoija | Seurannan tavoitteet, hyöty ja rakenne (osa 1: luvut 1.1 - 1.4). | Seurannan pisteytys ja avoimuuden profiilin muodostuminen (osa 1: luku 1.5). | Tietolähteet ja seurannan tuotanto (osa 1: luvut 1.6 ja 1.7). | Ohjaavien dokumenttien seurannan indikaattorit (osa 1: luku 2.1 ja osa 2). | Yhteistyön seurannan indikaattorit (osa 1: luku 2.2 ja osa 2). | Toimintakulttuurin avoimuuden seurannan indikaattorit (osa 1: luku 2.3 ja osa 2). | Julkaisujen avoimuuden seurannan indikaattorit (osa 1: luku 2.4 ja osa 2). | Aineistojen ja infrastruktuurien avoimuuden seurannan indikaattorit (osa 1: luku 2.5 ja osa 2). | Oppimisen avoimuuden seurannan indikaattorit (osa 1: luku 2.6. ja osa 2). | Avoimen julkaisemisen kokonaiskustannusten seurantamalli (osa 3): | Yleisiä kommentteja | ||||||||||||||||
2 | Itä-Suomen yliopisto | Kohdassa 1.1. Bullet-lista: Tutkijan vastuullinen arviointi asian voisi sanoittaa toisin, eli puhuttaisiin vastuullisesta tutkijan arvioinnista. Nyt kirjoitetussa muodossa piilee väärintulkinnan mahdollisuus. Voisiko toimintakulttuuripallukat yhdistää, kun perusteita näiden jakamiseksi kahdeksi eri pallukaksi ei nähty. | Avoimuuden taso 5 taulukko on vaikealukuinen, voisiko esitystapaa selkeyttää. | Seurannan resurssointi jää epäselväksi, haetaanko sihteeristöön lisäresursseja vai tuleeko tutkimusyhteisön itsensä panostaa rahoitusta tai henkilöresurssia seurannan toteuttamiseen. Seurannan tulosten pitkäaikaissaatavuus, jos tulokset julkaistaan tiedejatutkimus.fi-sivustolla, niin saavatko ne pysyvät tunnisteet ja kuinka kauan ne ovat avoimesti saatavissa ylipäätänsä. Resurssikysymykset voisi avata jo johdannossa. Seuranta ohjaa myös organisaation tietojenkäsittelyä, osittain kannustetaan luomaan omia tiedonkeruujärjestelmiä organisaatioon eikä kannusteta käyttämään kansallisia ratkaisuja, esim. oman aineistokatalogin käytöstä tiedon tallennukseen palkitaan toisin kuin kansalliseen järjestelmään tallentamisesta tai tiedonharavoinnista kansallisista ja kansainvälisistä tietokannoista. | Esimerkiksi A.1. Kysymys 3. ”joiden huomioiminen on dokumentoitu osana organisaation omien ohjaavien dokumenttien laatimista” mitä tällä käytännössä haetaan jää epäselväksi? Mitä dokumentoinnilla tässä yhteydessä tarkoitetaan? A.1. Kysymys 7. OSCAMista voi saada lisäpisteitä, mutta entäs muut, kuten NOR-CAM, joka on konkreettisempi malli OSCAMista, vai katsotaanko mahdolliset OSCAM-johdannaiset tämän alle? | Miten määritellään erikokoiset organisaatiot? Käytetäänkö kokoluokan määrittelyssä henkilöstön, tutkijoiden, opiskelijoiden, rahotuksen määrää tms. vai mitkä ovat määrittelyperusteet. Miten organisaatiossa pystytään selvittämään ketkä osallistuvat työryhmien toimintaan (työryhmiin osallistuminen ei koske vain yksittäistä yksikköä vaan useampia yksiköitä. Yleisesti ottaen UEF pitää hyvänä, että avoimen tieteen eteen tehtävä työ huomioidaan ja tehdään näkyväksi seurannassa. | B.1. Kysymys 4: Mikä on se tukitoiminto – mitä ajetaan takaa? Mitä haetaan kansalaistieteen mahdollistavilla palveluilla? B1. Kysymys 6. Tähän ei ehkä ole yhteistä jaettua ymmärrystä. Olisiko tarpeen miettiä tähän tematiikkaan liittyviä kysymyksiä uudelleen, esim hankkeitta tai aineistoja. B.1. Kysymys 9 vastuullisen po. vastuulliseen; B.3. Kysymys 1. Onko yhteistä näkemystä, mikä on aineiston hallinnan perusteet ja mikä syventävä, moniammatillinen koulutus? Epäselväksi jää myös tuottaako organisaatio koulutuksen itse vai voiko sen hankkia muualta. | Mitä aineistonhallinnan työkalulla tarkoitetaan, tarvitsevatko kaikki tutkijat sitä ja onko se kaikilla aloilla tarpeen?, vai tarkoitetaanko tässä aineistonhallintasuunnitelmatyökalua? Osa 1 s. 15. kohta …määrälliset indikaattorit vuonna 2022. Löytyykö kaikki tieto Metaxista? Miten Metaxia voi hyödyntää avointen materiaalien lataukseen, uudelleenkäyttöön ja viittauksiin. Tiedot voivat olla repositoriossa tai Metax rajoittuu mahdollisesti Fairdata-palveluiden tarjoamaan tietosisältöön. Jos oma aineistokatalogi kerää tiedon kansallisesta portaalista tai muista tietojärjestelmistä, niin kuinka se huomioidaan? Jos ohjataan viemään tiedot suoraan kansalliseen aineistokatalogiin, niin tämä kysymys (B3. Kysymys 6.) johtaa jo ristiriitaisuuksiin mitattavasta tiedosta oma repositorio, keskitetty etsin tms. (eli käytännössä oma aineistokatalogi olisi tuottavampi järjestää kuin tietojen haravointi omaan ympäristöön keskitetystä palvelusta) Organisaatio ei voi avustaa repositorioon laitettavien aineistojen pysyvien tunnisteiden hankkimisessa, koska repositorio tarjoaa tai ei tarjoa pysyvää tunnistetta. Organisaatio voi vain ohjata käyttämään luotettavia repositorioita, joista pysyvät tunnisteet ovat saatavissa. Mistä esirekisteröinnistä on kysymys, tutkimuksen vai tutkimusaineiston? | aoe.fi-palvelun tietojen kattavuus epäilyttää. | Toteutettavissa olevia. Otsikko 2. kohta 4. Ehkä tarpeen tässä tapauksessa tarkentaa mitä datalla tarkoitetaan, kun data voi nyt johtaa kokonaisuuden osalta harhateille. | Kysymyksissä pitäisi olla selvemmin avattu mitä halutaan kuvattavaksi: järjestääkö organisaatio itse koulutusta vai hankkiiko muualta. Useimmissa kysymyksissä kaipaa selventämistä, mitä kysymyksillä halutaan oikeasti mitata. Näyttää siltä, että täytyy tuntea linjausten tai muiden dokumenttien sisältö tarkemmin, vastatakseen kysymyksiin oikein. Tällöin se voi johtaa virhetulkintoihin ja vääristyneisiin tuloksiin. Kun resurssit ovat epäselvät ja osa asioista on sidoksissa eri järjestelmiin, niin onko seuranta kestävällä pohjalla. Onko tämä liian raskas seurantamenetelmä? Sinänsä seurantamalli on kattava ja käy läpi eri avoimen tieteen osa-alueet laajasti. Kolmostason otsikoiden numerointi kaipaa tarkastamista (esim. 2.31). | |||||||||||||||||
3 | Åbo Akademi | Målen, nyttan och strukturen i modellen är godtagbara. Tidtabellen för många av de nya åtgärder som kommer att krävas av organisationer som tar öppen vetenskap på allvar är snäv. | Poängsättningen är saklig. Beskrivningen av nivåerna på s. 8 framstår som något komplicerad men det är acceptabelt med tanke på sakens vikt och att uppföljningen endast görs vartannat år. Eventuella förändringar i poängsättningen besluts av den nationella ledningsgruppen för öppen vetenskap, men här vore viktigt att ha en mekanism för input från högskolorna specifikt och forskningssamfundet i allmänhet. | Målet att använda Metax för att mäta beskriven forskningsdata är sakligt. Dock förutsätts för metadata om forskningsdata som inte publicerats genom Fairdata.fi-servicehelheten (eller annan väg till Metax) att forskare själva matar in metadatan via universitetens CRIS-system först. För små högskolor kan detta vara väldigt resurskrävande i förhållande till nyttan, och med tanke på att rekommendationen bör vara att forskare publicerar sina data i ämnesspecifika internationella repositorier är indikatorn inte optimal. AOE.fi som indikator är problematisk ur den synvinkeln att forskningsverksamhet är internationell och lärare som publicerar eller öppnar sitt läromaterial bör uppmuntras att göra den tillgänglig där en internationell publik rör sig. För Åbo Akademi vars undervisning sällan ges på finska vore ett nordiskt eller internationellt sammanhang mera till gagn och kanske också motiverande för forskare och lärare. Indikatorns finländska hällning riskerar att motarbeta en del av dess syfte att stimulera till att öppna läromaterial på ett hållbart och synligt sätt. | Styrdokumenten är centrala delar i en förändringsprocess. Det är berömvärt att de i Del 2 angivna styrdokumenten är sakliga till urvalet och att hänvisningen till dem är tillräckligt öppen för att inte hindra lärosäten från att styra utvecklingen inom öppen vetenskap på eget sätt, t.ex. mera integrerat sätt i den gängse verksamheten. | 2.2 punkt 1. Måttet deltagande i den nationella koordinationen i proportion till högskolans storlek: Idén är god men för mindre högskolor är deltagande mera kostsamt eftersom en del av koordinationens arbetsgrupper kräver rätt mycket tid. Hur mäts organisationens storlek? | Indikatorerna är sakliga. | Informationen från VIRTA innehåller inte i dagsläget detaljer om omedelbar tillgång när det gäller parallellpublicerade publikationer. s. 14: Open APC också en datakälla som bör användas (inte enbart via VIRTA) eftersom det små högskolor kan vara mindre arbetsdrygt att mata datan direkt till Open APC). Detaljen verkar vara korrekt i enkätdelen. | För forskningsmaterial punkt 2 nämns som mått antingen öppna dataset eller nedladdningar eller citat för forskningsmaterial. Praxisen är ännu inte välutvecklad och varierar starkt enligt forskningsområde. För forskningsinfrastrukturer: indikatorn öppet tillgänglig och tydlig användningspolicy är saklig. Del 2: B3, 1: Det framstår som om kriteriet vore huruvida lärosätet erbjuder en kurs som heter ”Grunderna i forskningsdatahantering”. Men sådant undervisas ofta i mindre helheter t.ex. i termer av ”Hur lagrar jag mina data säkert?” mm. Kriteriet bör formuleras om så att det kan omfatta en samling kortkurser inom temaområdet och också fråga om regelbundenhet i kursutbudet. | AOE är inte godtagbar som enda datakälla. Forskning och undervisning är internationell praxis och lärare bör uppmanas att sprida internationellt. Användning av öppna läromaterial i undervisningen nämns som nr 7 och är i dagsläget för arbetskrävande att utreda och inte heller ett mål i sig. Kvalitativa läromaterial ska användas och öppenhet är ett sekundärt mål. | Uppföljningsmodellen är ambitiös, välgrundad och väl genomarbetad. De föreslagna kriterierna när det gäller tjänster är möjligen för detaljerade med tanke på att målet är att öppen vetenskap blir det nya normala. När tjänsterna som de nu beskrivs i indikatorerna framstår som separata, dvs. inte integrerade i normal verksamhet som det stöd för forskning, universitetspedagogik eller stöd för ansvarsfull forskningspraxis som redan finns kan det medföra att uppföljningens styrande effekt leder mot icke avsedd splittring av servicehelheter riktade till forskare och lärare. Hur beaktas uppföljningstiden i de kvantitativa måtten, när många tjänster som används är nya och många praktiker precis inletts? | |||||||||||||||||
4 | Oulun yliopisto | Luonnoksen johdannossa tuodaan selkeästi esiin seurantamallin rakenne ja merkitys. Tekstiä voisi kuitenkin hieman tiivistää, termien käyttöä yhtenäistää ja kieliasuun voisi kiinnittää lisää huomiota. Esim. kohdassa 1.2 olisi parempi käyttää “tukena ja benchmarkkauksena” sijaan vaikkapa “tukena ja pohjana vertailuanalyyseille” ilmaisua. Lisäksi toistoa voisi vähentää esim. poistamalla 1.3 Seurannan kohdistuminen -luvusta maininnat seurannan tarkoituksesta. | Tekstissä korostetaan, etteivät avoimen tieteen sihteeristön resurssit riitä seurannan toteuttamiseen ja organisaatioiden resursseja tarvitaan myös. Toivomme, että mallin toteutusta mietitään niin, että siitä koituu mahdollisimman vähän lisätyötä organisaatioiden muutenkin tiukilla oleville tutkijoille ja tukipalveluille. | Haluamme kiinnittää huomiota kaikkiin seurantamallin kyselyllä kerättäviin indikaattoreihin: kerättävissä indikaattoreissa on erityisen tärkeää muotoilla indikaattoria kuvaava teksti/kysymys mahdollisimman yksiselitteisesti. Vain näin voidaan varmistaa, että indikaattori ymmärretään samalla tavalla, eikä piste-eroja synny erilaisten tulkintatapojen vuoksi. Alla oleva esimerkki koskee pisteytyksen B-osion kohtia (B.1.5, B.1.5, B.2.1, B.3.2, B.4.1), mutta sama määrittelyiden epämääräisyys koskee lukuisia muitakin indikaattoreita, joiden tulkinnasta riippuen voi organisaatio saada hyvinkin erilaisen määrän pisteitä, esimerkiksi tässä tapauksessa lisäpisteitä voisi tulla 0-4. “...on järjestetty organisaatiossasi? a. Keskitetty sähköpostiosoite tai puhelinnumero 2 pp b. Yksikkökohtainen palveluneuvonta 3 lp c. Henkilökohtainen palveluneuvonta 4 lp d. Ei mitään” Pisteytyksen kohdassa A.1.3: “Valitse alla olevista kansallisista ja kansainvälisistä linjauksista ja suosituksista ne, joiden huomioiminen on dokumentoitu osana organisaation omien ohjaavien dokumenttien laatimista: Avoimen tieteen ja tutkimuksen julistus 2020–2025 4 pp” puuttuvat muut mahdolliset kansalliset sekä kansainväliset linjaukset. | Pisteytysosiossa ovat indikaattorikohtaiset pisteet jääneet tarkentamatta. Pistetyksessä kiinnittää huomiota erityisesti se, että indikaattorina käytetään asiantuntijoiden määrää kansallisissa asiantuntija- ja työryhmissä. Määrään voi helposti vaikuttaa ja osallistumisen tasossa on jo nykyisin suuria eroja. Myös erilaisten yhtesityöhankkeiden osalta erot voivat olla suuria vaikkapa hankkeen tavoitteissa ja koossa. | Huomio kiinnittyy yhteiskehittämisen puuttuminen seurantamallista, vaikka se on mukana pisteytyksessä. Mallissa olisikin syytä tarkentaa mitä yhteiskehittämisellä tarkoitetaan. C.1 Yhteistyö -osuudessa yhteiskehittämisen yhdistäminen vastuullisen arvioinnin kanssa arvioitavaksi kokonaisuudeksi ei ole mielestämme toimiva ratkaisu. B.1 Palvelut -kohdassa on puolestaan yhdistetty Kansalaistiede ja yhteiskehittäminen. Ehdotamme, että vastuullinen arviointi on oma arvioitava kokonaisuutensa. Mikäli yhteiskehittäminen halutaan yhdistää muihin kokonaisuuksiin, niin kansalaistiede ja yritysyhteistyö ovat siihen sopivampia kokonaisuuksia. | Kohta: Tulevaisuuden näkymät ja ehdotetut kehitettävät indikaattorit: Avoimeen vertaisarviointiin osallistuneet tutkijat. On erittäin hankalasti seurattava ja kerättävä tieto erityisesti kansainvälisten julkaisujen osalta. Kohta 2.4: Saatavuuden kustannukset (esim. julkaisuarkistojen kulut, lisenssit, tilausmaksut), -> mikä on lisenssistä tuleva kustannus? | Tässä luvussa, kuten myös luvussa 1.5 on aineistot ja infrastruktuurit yhdistetty samaan. Puhutaan tutkimusinfrastruktuuresta, ilmeisesti myös datainfrastruktuureista (infrastruktuuri) ja toisaalta aineistoista ja niihin liittyvistä palveluista. Mielestämme tämä ei ole toimiva ratkaisu ja suosittelemme vahvasti erottamaan tutkimusinfrastruktuurit omaksi kokonaisuudeksi. Huomio kiinnittyy myös siihen, että tutkimusmentelmien osuus seurantamallissa ja sen indikaattoreissa on hyvin pieni. Kohta 2.51: Tulevaisuuden näkymät ja ehdotetut kehitettävät indikaattorit, ehdotamme lisättäväksi seurannan kohteen “Datoihin linkittyvien julkaisujen lukumäärä”. Toivomme myös, että esim. alakohtia 4. ja 6. kuvattaisiin tarkemmin. Lisäksi toivomme yhdenmukaisuutta termien käyttöön, sillä nyt tekstissä mainitaan mm. aineistot, data ja tutkimusaineisto. | Pisteytys: B.4 Indikaattorin kuvaukset kohdissa 1. - 4. ovat liian tulkinnanvaraisia ja mahdollistavat sen vuoksi suuret piste-erot organisaatioiden välillä. Kohdassa 7. kuvattua seurantaa on mahdotonta toteuttaa kattavasti ainakaan monitieteisessä yliopistossa. C.4. kohdat 3. ja 4. On käytännössä mahdotonta saada kartoitettua kattavasti yliopiston eri yksiköiden kansallisia ja kansainvälisiä yhteistyöhankkeita oppimisen avoimuuden osalta. | Miten huomioidaan monimuotoiset aineistot ja niiden tieteellisyys? Opetuksen tarpeisiin hankitaan yhä enemmän paketteja, jotka sisältävät kirjoja, artikkeleita, videoita, verkkokursseja, harjoitustehtäviä. Miten huomioidaan kokonaiskustannuksissa esim. opetukseen liittyvät interaktiivisia alustoja sisältävät anatomiset kuvastot? Ei-avoimeen julkaisemiseen liittyvien kustannusten seurantaan ja erittelyyn liittyy valintaan vaikuttavia tulkintamahdollisuuksia ja vaatii käsityötä. Lisäksi mietityttää painetun aineiston kokonaiskustannusten arvioinnin mielekkyys, kun e-aineistojen puolella jää mahdollisesti merkittävä osa tietoaineistokustannuksista huomioimatta. | Oulun yliopisto kiittää mahdollisuudesta kommentoida seurantamallin luonnosta. Malli tuo kiitettävästi esille seurannan kannalta tärkeimmät kokonaisuudet ja se voi toimia hyvänä kannustimena mm. kehitettäessä organisaatioiden palveluja. Luonnokseen sisältyy kuitenkin myös haasteellisia kohtia. Merkittävin huolenaiheemme on seurannan kautta saadun tiedon luotettavuus. Seurantaluonnoksessa esitellään monia erilaista mittaria, joiden koostaminen vaatii paljon aikaa, mutta sisältää silti mahdollisuuden virhetulkintoihin. Käytettäväksi ehdotetut mittarit eivät ole yksiselitteisiä, joten näkemyksemme mukaan organisaation menestys on vahvasti kiinni mittareiden tulkinnasta. Kuten jo aikaisemmin totesimme, vaatii seurantakysely organisaatiolta tukipalveluresursseja. Pelkkä valmiiden tietojen kerääminen ei riitä, vaan organisaatiossa olisi tehtävä opetus- ja tutkimushenkilöstölle kyselyitä koskien mm. erilaisia yhteistyöhankkeita. Vaikka yhteistyöhankkeet ovat tärkeitä toiminnan kehittämisen kannalta, on niiden kattavaa seurantaa vaikea toteuttaa. Lisäksi pyydämme kiinnittämään huomiota käytetyn terminologian johdonmukaisuuteen. | |||||||||||||||||
5 | Taideyliopisto | Taideyliopisto pitää hyvänä, että kansallista seurantaa tehdään ja valmistelu on ollut perinpohjaista. Kohdassa 1.3. mainitaan toimijoiden erilaisista ominaispiirteistä ja siitä miten on tunnistettu riski, että se kohtelee eriarvoisesti korkeakouluja, on Taideyliopiston kannalta todellinen. Taideyliopisto toivoo vielä mietittävän, mihin esimerkiksi Taideyliopisto Suomessa ainoana pääasiallisesti taiteellista koulutusta ja tutkimusta antavana yliopistona rinnastetaan, jotta seurannan tulokset näyttäytyvät riittävän reiluina. | Taideyliopisto pitää hyvänä, että pisteytystä on mietitty tarkkaan ja yritetty suhteuttaa edes osin organisaation kokoon. | Tietolähteet on otettu mukaan laajasti. Jää mietittäväksi, tarjoaako nyt esitetty kattaus täysin kattavaa kuvaa joidenkin alojen repositorioista, jotka saattavat olla paljolti kansainvälisiä (esimerkkinä taiteellinen tutkimus). | Hyvä, että kyselyssä tehdään näkyväksi organisaatioiden itse hankkimat aineistot, sekä ne aineistot, joita tilataan FinELibin kautta. Taideyliopisto pitää kannatettavana, että myös joillekin organisaatioille ominaiset ns. ei-tieteellisen aineiston kustannukset (kuten taiteelliseen tutkimukseen hankittava aineisto) tuodaan kyselyssä esiin. | Taideyliopisto katsoo, että osa 2 (kysely) on varsin perusteellnen ja todella kattava, indikaattoreita on tuotu esiin monipolvisesti. Asiaa on pohdittu monesta näkökulmasta ja se tuo esiin aika nopeasti kunkin organisaation tilanteen avoimen tieteen kehityksessä. Samalla kun kyselystä on tehty monipuolinen, se helposti muodostuu raskaaksi. Kerraten on huomautettava vielä siitä, että kyselyn pisteytyksessä on hyvä ottaa huomioon vielä paremmin organisaatioiden erityisyys ja mahdollisesti kansallisesti ainutkertainen asema suomalaisessa tutkimuskentässä. | ||||||||||||||||||||||
6 | Tampereen yliopisto | Seurannan tavoite 1.1 Kansallisella tasolla tehtävä avoimen tieteen kehityksen seuranta on tarpeellinen toimenpide osaltaan varmistamassa, että tunnistamme kansallisella tasolla myös tutkimusorganisaatioiden keskeiset vahvuudet ja jatkokehittämiskohteet. Se, että avoimen tieteen seurannan arvot ovat läpinäkyvät, on hyvä lähtökohta mallin kehittämiselle ja toteuttamiselle. 1.2 Seurannan hyöty ja tuki tutkimusyhteisölle: Aiemmilla kansallisilla avoimen tieteen seurannoilla on ollut merkitystä ohjaamassa myös tutkimusorganisaatioiden kehittämistoimia. Haastavana kohtana näyttäytyy seurannan käyttötarkoitus vertailuun ja tässä yhteydessä olisi tarpeen avata ja pohtia kommentoitavaa luonnosta tarkemmin sitä, mitä tarkoitetaan samanlaisilla organisaatioilla ja mitä vertailulla tavoitellaan. Esimerkiksi yliopistojen kesken suhteuttaminen yksin kokoon ei vielä riitä. Mitkä voivat olla ei-tarkoituksenmukaisen vertailun riskit rahanjakokriteereitä kehittäessä ja sovittaessa? Tukeeko tämä seurantatapa tutkimusyhteisön tavoitteiden, palveluiden ja toiminnan kehittämistä, jos siihen kytkeytyy riski myös kytköksestä rahanjakoon? Onko mahdollista, että seurantamalli johtaisi tällöin heikommalla tasolla olevien tutkimusorganisaatioiden kehitysedellytysten heikkenemiseen ja paremmin sijoittuvien aseman vahvistamiseen? Seurannan kohdistuminen 1.3: Luonnoksesta ei selviä, miksi organisaatioita tulee tai kannattaa vertailla – etenkin kun luvussa 1.2 benchmarking ja vertailu ovat eri kohdissa (eri ”hyötyinä”). Lauseen ”Seuranta on tarkoitettu avoimen tieteen kansallisen tilan seuraamiseen sekä organisaatioille itsearvioinnin työkaluksi” loppu kuuluu oikeastaan edelliseen alalukuun. Avoimen toimintakulttuurin palveluiden ja kannustimien näkökulmasta tutkimusorganisaation avoimuuden toimien toteutuminen on kuitenkin kytköksissä siihen, miten tutkijat ovat motivoituneet avoimeen tieteeseen. Tässä näyttäytyy haasteena samanlainen problematiikka kuin JUFO-tasoluokkien käytön ohjeissa – tasoluokkia ei saa käyttää tutkijoiden arviointiin, mutta samalla näin kuitenkin tiedetään tehtävän. Seurantakohteiden välinen järjestys näyttäytyy myös haastavana. Tässä vaiheessa ei katselmoida kansallisten palveluiden kypsyyttä ja avoimen tieteen kansallista arkkitehtuuria laativa kansallinen työryhmäkin on vasta aloittamassa toimintansa. Työjärjestyksestä juontuvana riskinä näyttäytyy, että seurannan kohdentaminen tutkimusorganisaatiotasolle saattaa viedä epätarkoituksenmukaisesti huomiota kansallisten palveluiden kehittämisestä tai niiden roolin vahvistamisesta. Luonnos jättää osin avoimeksi mitä voimme todeta tutkimusorganisaatioiden seurannan perusteella, jos meillä ei ole ensin muodostettu riittävää yhteisymmärrystä kansallisten ja tutkimusorganisaatiotason palveluiden tavoitteista, sisällöistä ja työnjaosta. Luonnos jättää myös avoimeksi miten eri tieteenalapainotukset otetaan huomioon organisaatioita vertailtaessa. Ovatko kaikki yliopistot lähtökohtaisesti siis samanlaisia ja siten täysin vertailtavissa? (Esimerkiksi monografioiden julkaiseminen avoimesti ei ole kuitenkaan mahdollisuuksiltaan samalla tasolla kuin tiedeartikkelien (jossa siinäkin esiintyy tieteenalakohtaisia eroja), ja monografiajulkaiseminen korostuu humanistisilla ja yhteiskuntatieteellisillä aloilla. Myös tutkimuksen, tutkimusaiheiden ja tieteenalojen välillä on dataintensiivisyydessä paljon eroja.) Seurannan rakenne 1.4 Seurannan eri osa-alueet heijastavat ylätasolla hienosti avoimen tieteen laajaa sisältöä ja Suomessa tehdään tässä laajassa yhteistyössä erityisen hienoa edistämistä kansainvälisestikin vertaillen. Tutkimusorganisaatioissa avoimen tieteen kehittämistarpeet ja -alueet voivat tulla kuitenkin myös yllättäen seurannassa määriteltyjen indikaattorien ulkopuolelta. Riskinä voi olla, että tutkimusorganisaatiot keskittyvät liikaakin indikaattorimittareiden pistemäärien tavoitteluun herkemmän sisällöllisen ja myös lähemmin tutkimusprofiilit huomioon ottavan kehittämistyön jäädessä vähemmälle huomiolle. Lisäksi jos käytettävät kriteerit vaihtelevat suurestikin joka arviointikausi, näyttäytyy myös yksittäisen tutkimusorganisaation kehityksen seuranta haastavana. Voisiko siis ajatella, että kansallinen seurantataso keskittyisi vain keskeisimpiin ja vakiintuneisimpiin – kansallisten linjausten myötä jo määriteltyihin - indikaattoreihin, ja tutkimusorganisaation oman sisäisen seurannan tueksi tarjotaan valikoimaa laajemmasta paletista? Tarjoammekin alla myös ideoita indikaattorien lisäämisestä sillä tausta-ajatuksella, että tämä kansallinen seurantamalli eriytettäisiin niukempaan kansalliseen seurantaan ja tutkimusorganisaatioille tarjottaisiin oheen lokalisoitava malli sisäisesti toteutettavaan seurantaan ja oman AT-portfolion rakentamiseen. Avoimen tieteen kysely joka toinen vuosi vie resursseja organisaatioissa. Voisiko seurantasykli olla pidempi ja noudattaa Avoimen tieteen ja tutkimuksen julistuksen ja sitä täsmentävien osalinjausten aikataulua? Siinä välissä voisi rohkaista organisaatioita itsearviointiin. Useinhan organisaatioilla on oma avoimen tieteen linjauksensa, jonka on tarkoituskin päivittyä hitaammin, kuin sen toteutumista varmistavan toimenpideohjelman. On erittäin kannatettavaa, että avoimessa tieteessä ja tutkimuksessa kehittymistä seurataan niin laadullisin kuin määrällisin indikaattorein, ja että määrällisissä indikaattoreissa käytetään kansallisia tietolähteitä, erityisesti tutkimustietovarantoa, aina kun mahdollista. Samalla on kuitenkin huolehdittava, että määrällisin indikaattorein ei tarkastella laadullista tarkastelua edellyttäviä asioita. Toivommekin seurantamallia vielä paikoin vakavasti harkittavan ja jatkokehitettävän - mikä on seurantakohteiden tarkoituksenmukaisin etenemisjärjestys, seurannan toistotiheys, rikastamisen yksityiskohtaisuus ja indikaattoreista johdettavissa olevat päätelmät (ml. vertailtavuus). | Avoimuuden tuloksellisuuden arviointia voi arvioida vasta ensimmäisen kierroksen jälkeen, koska laskentatavassa on paljon muuttujia, joiden keskinäistä yhteyttä ei ole vielä konkreettisemmin mahdollista havaita. Seurantamallin jatkokehittäminen voisi merkittävästi hyötyä siitä, että se toteutettaisiin ensin läpinäkyvästi pienellä organisaatio-otannalla, jonka perusteella olisi vielä mahdollista tarvittaessa jatkokehittää mallia. Pyramidikuviota olisi hyvä hiukan täydentää, jotta se sitoutuisi muuhun tekstiin. Se, mitä kutsutaan ”avoimuuden profiiliksi”, viittaa alaluvussa 1.4. määriteltyihin avoimuuden osa-alueisiin. Vastaavasti ”avoimuuden indikaattorit” viittaavat avoimuuden edistämisen tapoihin/keinoihin. Lisäksi pyramidissa esiintyy ensi kerran kombinaatio ”aineistot ja infrastruktuurit”, joka toistuu useasti. Ongelmana on, että tällaista osa-aluetta ei ole määritelty aiemmin, vaan alaluvussa osa-alue on ”tutkimusaineistojen ja menetelmien avoimuus”. Ongelmaksi asia tulee siksi, että menetelmien avoimuudesta seurantamalli käytännössä vaikenee kokonaan. Silti termiä ”osa-alueet” käytetään myös kombinaatiosta data+infrat. Menetelmien avoimuus pitäisi olla mukana edes 2024 tai pidemmälle tulevaisuuteen katsottaessa. | Seurannan tietolähteet ovat pääosin kannatettavia. Joitain rikasteita (erit. organisaatioiden oman seurannan ja portfolion rakentamisen tueksi) on esitetty tarkemmissa alakohdissa. | Luonnos ei vielä kerro kovinkaan tarkasti siitä, mitä sisällöllisiä asioita ohjaavien dokumenttien seurannassa tarkastellaan, ja malli näyttäytyy tältä osin pikemminkin yksinkertaistaviin monivalintavastauksiin perustuvana. | On hienoa, että yhteistyö on mukana tutkimusorganisaatioiden seurannassa. Pelkkä lukumäärä ei kuitenkaan kerro siitä, missä määrin yhteistyötä tosiasiallisesti tehdään ja miten vaikuttavaa kunkin tutkimusorganisaation antama panostus on ollut. Yhteistyötahojen laskeminen näyttäytyykin kyseenalaisena, jos ei ole tietoa yhteistyön laadusta ja toteutumisesta. Nämä ovat toki vaikeita asioita mitata. Aktiivisille organisaatioille tulee ehkä näistä ansaittuja lisäpisteitä, mutta tässä voi organisaatio myös käytännössä olemattomillakin toimenpiteillä nostaa pistekertymäänsä todellisen vaikutuksen jäädessä muutoin varsin merkityksettömäksi. Kohta “Organisaatioiden väliset kansalliset ja kansainväliset yhteistyöhankkeet avoimuuden edistämiseksi suhteutettuna organisaation kokoon.” olisi hyvä vielä täsmentää, jotta eri organisaatiot tuottavat lähtökohdiltaan mahdollisimman tasalaatuisin kriteerein seurannassa käytettävää tietoa. | Seurantamallin kommentoinnissa ei ole vielä käytettävissä toimintakulttuurin avoimuuden linjausta. Työjärjestys olisi niin tässä kuin muissakin yhteyksissä nähdäksemme hyötynyt siitä, jos ensin olisi varmistettu tekeillä olevien linjausten ja osalinjausten käytettävyys seurantamallityön pohjana. | Seurantamallissa otetaan huomioon julkaisemisen laaja spektri. Siinä pyritään tavoittamaan erityyppisten avointen julkaisujen kokonaismäärällinen kehittyminen, saatavuus ja jakautuminen julkaisutiedonkeruun avoimuuden luokkien mukaisesti; rinnakkaistallennettu, avoin saatavuus, hybridi, viivästetty avoimuus. Indikaattoritasolla olisi hyvä tuoda tekstissä eksplisiittisesti esille, että tarkastelu kohdentuu välittömästi avoimina (ei embargoa) oleviin vertaisarvioituihin ja vertaisarvioimattomiin tieteellisiin julkaisuihin huomioiden ammatilliset ja yleistajuiset julkaisut sekä näiden erilaiset avoimuuden luokat, ja opinnäytteet (mm. väitöskirjat, lisensiaattityöt, diplomityöt, pro gradut ja syventävät työt). Näin kumuloituu tietämys siitä, miten avoimuus eri julkaisutyyppien ja avoimuuden eri luokkien osilta jakautuu ja kehittyy, ja tietoa voidaan verrata kansainväliseen avoimuuden kehitystrendiin. Samalla saadun tiedon perusteella voidaan havainnoida avoimen julkaisemisen kehittämiskohteita ja suunnata niihin tarvittaessa uusia palvelumuotoja. Mahdollistavatko nyt luodut indikaattorit tuomaan esiin haasteita tai toimenpiteitä, joita tarvitaan kartoittamaan ja edistämään yhtäläisiä avoimen julkaisemisen mahdollisuuksia tutkimusalasta, rahoituspohjasta tai tutkijauran vaiheesta riippumatta (Tutkimusjulkaisujen avoimen saatavuuden suositukset tutkimusorganisaatioille (2020))? Indikaattorit (osa 2) tuovat esille erilaisia organisaation kehittämiä palveluita julkaisujen avaamiselle huomioiden PAS myös opinnäytteiden (mm. väitöskirjat, suositeltu julkaisukanavan) osalta. Avoimien julkaisukanavien ja aineistojen käytön edistämisen sekä kehitystyön seurannan kautta pyritään toimintakulttuurin ja avoimen julkaisemisen muutokseen. Tämä voi osaltaan auttaa luomaan uusia julkaisukanavia tieteenaloille, joille ei ole kehittynyt etabloituneita uusia avoimia julkaisukanavia (=yhtäläisten avoimet julkaisemisen mahdollisuudesta tutkimusalasta, rahoituspohjasta riippumatta). (Osa 1) Kansallisen avoimuuden kehittymisen indikaattorit 2022 kysymys 3. on monitulkintainen: ”Suomalaisten tutkijoiden käyttämien kotimaisten ja ulkomaisten julkaisukanavien avoimuus (välittömästi avoimet ns. Gold OA -kanavat, ja kanavat, jotka sallivat vertaisarvioidun version rinnakkaistallentamisen ilman viivettä). Tietolähde: JUFO-portaali". Tulkinnallisesti termi käyttäminen näyttäytyy haastavana tässä yhteydessä. Mitä tässä yhteydessä tarkoitettaisiin julkaisukanavan käyttämisellä? Olisiko tarkoitus kerätä tietoa tutkijoiden käyttämien julkaisukanavan avoimuudesta, esim. viittausanalyysi eli tutkijan x artikkelissa käyttämät lähteet ja niiden tutkiminen, kuinka moni lähteistä on avoimesti saatavissa? Vai olisiko tarkoituksen kerätä Jufo-portaalista tietoa siitä, minkälaisissa avoimissa ulkomaisissa ja kotimaisissa julkaisukanavissa suomalaiset tutkijat ovat julkaisseet? Halutaanko tehdä hienovaraisempaa avoimuuden tyypitysanalyysiä julkaisukanavista, kuin julkaisutiedonkeruun kautta on saatavilla (VIRTA)? Mahdollistaako Jufon tietomalli hienosyisen jakautumisen avoimuuden eri kategorioihin (esim. diamond, täysin avoimet = Gold), hybridit, rinnakkaistallennuslinjauksen välittömän avoimuuden kontekstissa (avoimien julkaisukanavien laatuanalyysi). Mikäli termiä käyttäminen ei haluttaisi vaihtaa, pitäisikö avata kysymyksessä jollakin tavalla, mitä käyttäminen tässä yhteydessä voisi tarkoittaa? Olisiko mahdollista esittää kysymysmuodossa indikaattori? Muutama ehdotus: Kuvaus (tässä voisi olla termi, joka kuvaa, kuinka hienosyisestä analyysistä on kysymys), minkälaisissa avoimissa julkaisusuissa suomalaisten tutkijat ovat julkaisseet / Suomalaisten tutkijoiden tutkimusjulkaisujen avoimuuden jakautuminen. Organisaatioiden tasomäärittelyyn käytettävät määrälliset indikaattorit julkaisujen avoimen saatavuuden seuraamiselle vuonna 2022: Aikaisemmin dokumentissa puhutaan rinnakkaistallenteista ilman embargoja. Virtaan menevät avoin-tiedolla myös embargolliset. Kommentit, osa 2, B2 Palvelut: Julkaisut Julkaisukanavaa valitessa on otettava usein huomioon niin oman tutkimuksen kannalta keskeisen kohderyhmän tavoittaminen, oman organisaation julkaisemista ohjaavat dokumentit sekä mahdollisen rahoittajan asettamat vaatimukset julkaisun avoimuudelle. Näiden lisäksi on huomioitava myös avoimesta julkaisemisesta mahdollisesti aiheutuvat kirjoittajamaksut ja niiden rahoitusmahdollisuudet. Seurantamalli ei nykyisessä muodossaan nähdäksemme riittävästi huomioi tutkijoiden tarvetta julkaisusuunnitelmien laatimiselle samalla tavoin kuin se huomioi aineistonhallintasuunnitelmat ja niiden laatimisessa tarvittavat tuki- ja neuvontapalvelut. Osiossa ei myöskään kiinnitetä huomiota organisaatioissa henkilöstölle tarjottavaan avoimeen julkaisemiseen liittyvään koulutukseen, kuten tehdään kohdassa B3 Palvelut: Aineistot ja infrastruktuurit aineistonhallinnan osalta. Pelkän tuen tarjoaminen ei riitä muuttuvassa toimintaympäristössä, vaan sen lisäksi tarvitaan eri henkilöstöryhmien sekä opiskelijoiden tarpeisiin räätälöityä koulutusta avoimen julkaisemisen käytännöistä ja ilmiöistä. | On hyvä, että seurannassa on otettu huomioon tutkimusaineistojen ja infrastruktuurien merkitys avoimessa tieteessä ja seuranta nähdään tutkimusaineistojen avoimuutta linjaavan osalinjauksen tapaan tukemassa hyvää ja vastuullista aineistonhallintaa. Tämän tavoitteen kanssa on nähdäksemme kuitenkin ristiriitaista pyrkiä vuonna 2024 seuraamaan avointen tutkimusaineistojen osuutta eri organisaatioita vertaillen. Keskeisten metatietojen avoimuus on selkeä ja kannatettava tavoite, mutta jos seuranta kannustaa itse tutkimusaineistojen mahdollisimman laajaan avoimuuteen, sisältää se myös riskejä. Hyvään ja vastuulliseen aineistonhallintaan sisältyy jo periaate, että tutkimusaineisto avataan silloin, kun se on hyvän ja vastuullisen aineistonhallintatavan mukaista. Jos arvioimme organisaatioita palkiten siitä mitä enemmän on tuotettu avoimia tutkimusaineistoja, voi se rohkaista valitsemaan tutkimusaiheita ja -menetelmiä, jotka suosivat avointa dataa, sen sijaan, että rohkaisemme kullekin tutkimuskysymykselle tarkoituksenmukaisiin menetelmiin ja vastuulliseen avaamiseen. Tarkoituksenmukaisuus voi hyvin perustelluista syistä tarkoittaa siis myös sitä, että vain keskeinen metatieto on avattavissa. Tutkimusaineiston avoimuus ei myöskään ole mustavalkoinen valinta, vaan hyväksyttyjä avaamisen asteita ja tapoja on useita. Tulevaisuuden seurantanäkyminä esitetyissä kohteissa korostuukin onnistuneemmin hyvän aineistonhallintatavan tukemisen ja toteuttamisen seuranta, ja olisikin tärkeää kansallisella AT-seurannalla rohkaista myös kansallisia toimijoita kehittämään tässä tarvittavia palveluita. Viittausten ja käyttölukujen seuranta eri organisaatioita vertaillessa näyttäytyy myös ongelmallisena. Mitä kertoo se, että tutkimusinfrastruktuuri on paljon käytetty? Onko laajaan käyttöön suunniteltu aina arvokkaampi kuin pienemmälle potentiaaliselle käyttäjäryhmälle kehitetty tutkimusinfrastruktuuri? Tässäkin olisi tarkoituksenmukaisempaa tarkastella sitä, miten hyvin tutkimusaineistot ja tutkimusinfrastruktuurit ovat viitattavissa ja muutoinkin FAIR-periaatteiden mukaisia, kuin itse viittauslukuja. Luonnoksesta ei myöskään riittävästi selviä, mihin infrastruktuureilla ja tutkimusinfrastruktuureilla viitataan, ja Suomen Akatemian määritelmä ei näyttäydy tässä yhteydessä riittävänä. Näemme tässäkin kohtaa tarpeellisena jatkopohtia, mitä numeraalinen seuranta voi tavoittaa ja onko kaikki yhteen niputettu myös yhteismitallista ja käytettävissä vertailuun. Palveluihin kohdistetut indikaattorit näyttäytyvät pääosin tarkoituksenmukaisina. Kyseessä on aineistojen avoimuuden kontekstissa menossa erityisen suuri kulttuurimuutos, joka vaatii aikaa – ja ensisijaisesti palveluiden kehittämistä niin kansallisella kuin organisatorisella tasolla, ja myös niin tutkimuksen kuin sen edellytystenkin kansainvälisyys huomioon ottaen. Vasta hyvän ja riittävän kattavan palvelutason saavuttamisen jälkeen on ajankohtaista katselmoida organisaatiotasolla kypsyyttä tutkijoiden tuotosten kautta. - Heikko suoriutuminen tuotostasolla kuvastaa todennäköisesti paljonkin sitä, että tarvittava palveluinfrastruktuuri ei ole vielä kyllin kattava ja kypsä mahdollistaakseen tutkijoiden toteuttaa hyvää aineistonhallintatapaa (ja sitä myötä vastuullista avoimuutta) tai ne voivat olla sinänsä jo varsin hyvät, mutta aikaa niiden käyttöönottoon ei ole vielä kulunut riittävästi. Toki toteumien tarkastelu kertoo jo nyt jotain lähtötasosta, mutta kun kansallisesti tarvittavat ratkaisut ovat vielä osin hyvinkin kesken ja eri tieteenalojen ja datatyyppien tarpeet on vielä epätasaisesti niissä huomioitu, niin arvioinnin kohdentuminen näissä yksittäisiin tutkimusorganisaatioihin näyttäytyy myös ongelmallisena. Seuranta saattaa tässä muodossa rohkaista myös ei-tarkoituksenmukaiseen rajallisten resurssien kohdentamiseen tilanteissa, joissa organisaatioiden kannattaisi ponnistella tukeakseen paitsi eri tieteenalapainotustensa mukaisten datatyyppien elinkaarta, niin myös laajempia kansallisia ratkaisuja, eikä siis niinkään pyrkiä ratkaisemaan kaikkea tarvittavaa organisatorisesti. Merkittävä osa tutkimuksesta tuotetaan kuitenkin myös kansallisessa ja kansainvälisessä yhteistyössä, ja sen tarpeita kommentoitava seurantaluonnos ei nykymuodossaan nähdäksemme riittävästi tavoita. Tässäkin kohdassa puutteena näyttäytyy myös se, että tarjolla on vain monivalintatyyppisiä vastausvaihtoehtoja. Niiden lisäksi olisi hyvä varmistaa, että organisaatioiden mahdollisesti käynnistämät toimenpiteet - myös yhteistyössä kansallisesti tai kansainvälisesti - voisivat tulla kartoitetuksi. | Osa 1 Seurantamalliluonnos luku 2.6 Ehdotuksia tekstin muokkaamiseen: • Alun tekstiä voisi muokata esim. Opetuksen ja oppimisen avoimuus on uusi avoimen tieteen arvioinnin osa-alue. Sen seurantaa on tarkoitus kehittää tulevaisuudessa. Suomessa kerättyä aikaisempaa seuranta-aineistoa on niukasti. Seurantamallin keskeinen tavoite on löytää oppimisena avoimuuden mittaamiseen kannalta relevantit indikaattorit. • Oppimateriaalien avoimen saatavuuden osalinjauksessa asetetaan tavoitteita avoimien oppimateriaalien määrästä ja laadusta (pois selkeästä kasvamisesta) sekä avoimien oppimateriaalien hyödyntämisestä korkeakoulu- ja tutkimusyhteisössä ja sen ulkopuolella. • 2.61 Avoimet oppimateriaalit Mitä oikeastaan tarkoitetaan oppimisen ja opetuksen avoimuudella? Indikaattoreissa mainitaan opetuksen avoimuus, mutta miten se määritellään? (- Luonnoksessa esim. "Opetuksen avoimuus mahdollistaa monipuolisen opetusaineistojen ja -käytäntöjen jakamisen.") Oppimateriaalien lisäksi voidaan jakaa esimerkiksi opetussuunnitelmia, tuntisuunnitelmia, kurssitöitä, arviointimatriiseja, palautekäytäntöjä ja osaamistavoitteita. Opetuksen avoimuus mahdollistaa yhteiskehittelyn eri asiantuntijoiden kanssa. Opetuksen avoimuus kattaa myös opiskelijoiden osallistamisen kurssisisältöjen tuottamisessa. Seurannan kohteeksi osalinjauksessa määritellään erityisesti kansallinen Avointen oppimateriaalien kirjasto (aoe.fi), johon oppimateriaaleja voi tallentaa tai linkittää. Luonnoksesta ei vielä selviä, miten huolehditaan datan kattavuudesta ja onko käytettävissä kyllin laaja tietopohja muista relevanteista portaaleista jne. Opetuksen avoimuuden tarkastelussa tulisi nähdäksemme pyrkiä huomioimaan esim. avovastausvaihtoehdoin jos avoimia oppimateriaaleja on julkaistu muualla kuin aoe.fi (esim. mahdollisissa oppiainekohtaisissa kansainvälisissä portaaleissa). Luonnos herättää tässäkin kohdassa myös kysymään, mitä seurattavat luvut oikeastaan kertovat. Mittaavatko ne kyllin sitä mitä on tarkoitus? Luonnoksesta ei selviä, kuinka huomioidaan erilaiset materiaalit. Jos on tallennettu ppt-kalvoja tai opetusvideo versus jos on tallennettu kokonainen kurssi (esim. Moodle/MOOC-oppimisympäristössä), on näiden vaatima työmäärä ja todennäköisesti saatava hyötykin hyvin erilainen. Jos halutaan seurata kehitystä nimenomaan määrällisesti, niin toivoisimme kiinnitettävän huomiota erilaisten tuotosten tarpeelliseen eriyttämiseen seurannassa. Voisiko siis kerätä dataa erikseen: montako kurssia, montako kirjaa, montako ppt-esitystä, videota jne? On tärkeää, että seuranta tukee tarkoituksenmukaista kehityssuuntaa. Ilman laadullisempaa tarkastelua ja pohjatyötä määrällinen seuranta näyttäytyy liian pelkistetyltä. - Minkälaiset materiaalit oikeastaan kannattaa tallentaa Avointen oppimateriaalien kirjastoon? Ennen numeraalista seurantaa näemme siis ehdottoman tarpeellisena ottaa huomioon riittävästi myös laatuasiat (oppimateriaalin laatu, tehdäänkö vertaisarviointia jne). Nähdäksemme opetuskäytäntöjen jakaminen on tärkeää, ja oppimateriaalin lisäksi hyvä avoimen tieteen käytäntö olisi tallentaa myös ohjeet/vinkit oppimateriaalin käyttöä varten. Entä huomioidaanko seurantamallissa jatkossa minkälainen rooli opiskelijoilla on oppimisen avoimuudessa? (- Kurssitöiden jakaminen, osaavatko hyödyntää ja löytää avoimia oppimateriaaleja jne.) Entä kuinka tässäkin avoimen tieteen osa-alueessa huomioidaan tieteenväliset erot? Osalle tieteenaloista avoimet oppimateriaalit sopivat hyvin. Esimerkiksi tietojenkäsittelytieteessä on tarjolla paljon mm. Mooc-kursseja ja esimerkiksi lääketieteessä on paljon sensitiivistä oppimateriaaleja, joita jaetaan oman tieteenalakäytänteen ja -luonteen mukaisesti mm. https://www.medigi.fi/ -portaalissa. Entä kuinka huomioidaan opettajan aktiivisuus käyttää muiden tekemiä valmiita avoimia oppimateriaaleja opetuksessa, jotka on julkaistu kansainvälisillä alustoilla kuten https://www.merlot.org/merlot/? Mallin jatkokehittämisessä voisi ottaa huomioon myös tiedonhaun: Kuinka huomioidaan taito etsiä avoimia oppimateriaaleja? (- Sekä opettajien että opiskelijoiden.) SPARC Europe/Open Education on toteuttanut muutaman kerran kyselyn (kyselylomake sivulla 57) https://openresearch.community/documents/open-education-in-european-libraries-of-higher-education_final Tätä voisi hyödyntää jatkokehittämisessä lisäten myös laadullista seurantaa: esim. kuinka opetuksen ja oppimisen avoimuutta on edistetty organisaatiossanne? Vaihtoehtoina: järjestetty koulutusta, seminaareja, tietoiskuja, laadittu ohjeita ja oppaita. & Mitkä ovat olleet kolme keskeisintä haastetta opetuksen ja oppimateriaalien avoimuudelle? Entä kolme keskeisintä hyötyä opetuksen avoimuudessa? Kommentit osa 2 • B4 Palvelut: Oppiminen "7. Avoimien materiaalien hyödyntäminen. Valitse alla olevista vaihtoehdoista kaikki ne avoimet materiaalit, joiden hyödyntämistä opetuksessa suositellaan seurataan." -> seurataan, po. suositellaan | Johdantoon liittyvää Avoimen julkaisemisen kokonaiskustannusten arvioinnin luonnoksen johdannossa puhutaan kokonaiskustannusten nykyistä vastaavasta tasosta. Mikä on tämä nykyistä vastaava taso? Onko se tarkoitus määritellä tulevan kyselyn perusteella vai mistä vuodesta on kyse? Kommentit lukuun 1: kokonaiskustannusten muodostuminen ja tietolähteet Voisiko luvut 1 ja 2 yhdistää samaksi luvuksi? Molemmat ovat johdannonomaisia. Nyt taulukko 1: yhteenveto seurattavista kustannuksista ja tietolähteistä, josta puhutaan luvussa 1, on vasta luvussa 2 ja taulukon nimi on mainittu vasta taulukon alla. Voisiko jo luvun 1 toisessa kappaleessa eritellä, mitkä kustannukset (myöhemmin mainittu: painetut) eivät liity avoimeen julkaisemiseen. Kokonaiskustannusmalliluonnoksessa käytetään termiä ”könttäsumma” tässä kohtaa ja myöhemminkin, olisiko parempi termi esim. kokonaissumma? Kommentit lukuun 2. Kerättävien tietojen pohjalta määriteltävät asiat Luvun alussa johdanto liittyen kohtiin 1-5 olisi tarpeen. Mitä ko. kohdat ovat? Ne näyttävät liittyvän myös lukuun 1. Taulukon kohdassa: Lisenssi- ja tilausmaksut (ei-FinElib) kohdassa 1) ja 2) voisi olla selvennystä, esim. siihen tarkoittaako kohta 1): suoraan välittäjältä/kustantajalta hankitut yksittäiset e-lehdet ja e-kirjat ja kohta 2) esim. kokotekstitietokantoja, e-lehdet, e-kirjat, konferenssijulkaisut. Taulukon OA-julkaisumaksut (ei-FinELib) -kohdassa voisi harkita transformatiivisten sopimusten OA-kiintiöiden loppumisen jälkeen maksettujen kirjoittajamaksujen erottelua omaksi kohdakseen, jotta nähtäisiin FinELibin OA-kiintiöiden merkitys kirjoittajamaksujen määrälle. Tälle oma alakohtansa kohtaan 3.3? Avoimen julkaisemisen kirjoittajamaksut koskevat myös muita organisaation maksamia avoimen julkaisemisen kirjoittajamaksuja. Nyt samassa kohdassa ilmoitetaan sekä FinELibin transformatiivisten sopimusten kiintiöiden loppumisesta johtuvat kirjoittajamaksut että sellaisille kustantajille maksettavat kirjoittajamaksut, joiden kanssa ei ole FinELibin neuvottelemaa sopimusta. Voisiko tässä taulukon kohdassa avata käsitteet APC ja BPC? Sisältääkö Painetut aineistot -kohta niin painetut kirjat, lehdet kuin kausijulkaisutkin? Taulukon: Avoimen julkaisemisen infrastruktuureiden ja alustojen jäsenyys- ja tukimaksut sekä kustantajien OA-jäsenohjelmat (FinElib) -kohtaan kaivattaisiin erittely a) avoimen julkaisemisen infrastruktuureiden ja alustojen jäsenyys- ja tukimaksut b) kustantajien OA-jäsenohjelmat tai perustelu miksi ei eritellä? Lyhenne OLH voisi aukaista tässä kohtaa ja myös myöhemmissä kohdissa. Taulukon Avoimen julkaisemisen infrastruktuureiden ja alustojen jäsenyys- ja tukimaksut sekä kustantajien OA-jäsenohjelmat (ei-FinElib) – kohtaan liittyen, voisiko eritellä toisaalta infrastruktuureiden ja alustojen ja toisaalta jäsenmaksujen tiedot, kuten yllä? Mitä lasketaan organisaation oman tieteellisen OA-kustannustoiminnan (HUP, TUP jne.) kustannuksiin? Pitäisikö eritellä omaksi alakohdakseen? Kuuluuko Avoimen julkaisemisen tukipalvelut sekä kirjoittajamaksujen käsittelyyn liittyvä asiantuntijatyö -kohtaan myös hankinnan tekemä työ OA-sopimusten kanssa, esim. sopimusneuvottelut? Saisiko tähän kohtaan selvennystä? Kommentit lukuun 3: Avoimen tieteen seurantakyselyyn tulevat kysymykset avoimen julkaisemisen kokonaiskustannuksista Luvun 3, 3.3 kysymyksiin liittyen kyselytaulukossa on käytetty termiä kirjoittajamaksu, samoin yllä aikaisemmin, mutta tässä on käytetty termiä käsittelymaksu. Voisiko lyhenteet APC ja BPC avata? Luvussa 3, 3.6 sanotaan: Mikäli organisaatiolla on oma julkaisuarkisto, lasketaan rinnakkaistallentamisen kustannukset kertomalla julkaisuarkiston kustannukset rinnakkaistallenteiden suhteellisella osuudella (esim. 0,3 x kaikki julkaisuarkistoon vuositasolla tallennetut uudet julkaisut). On hyvä täsmentää, mikä on oma julkaisuarkisto. Entä mitä em. laskukaava tarkoittaa? Voisiko sitä selventää? Voisiko tässä kerätä vain työmääräarvion, ilman kustannustietoa? - Erityisesti pienissä tutkimusorganisaatioissa palkkatieto muuttuu helposti GDPR-tiedoksi. | Kiitämme mahdollisuudesta kommentoida AT-seurantamalliluonnosta. Siinä näkyy hienosti aiempia kansallisia seurantamalliversioita laajempi näkemys avoimen tieteen sisällöistä ja myös ohjauksen ja palveluiden merkitys avoimen tieteen edistämisessä. Näemme kuitenkin vakavaakin jatkokehittämisen tarvetta mm. seurannan etenemisjärjestyksessä erityisesti kansallisten ja organisatoristen palveluvastuiden ja –tarjonnan määrittelyssä. Tähän tarpeeseen osaltaan vastaa kansallisen avoimen tieteen koordinaation piirissä 11/2021 käynnistyvä Avoimen tieteen arkkitehtuuri -työryhmä. Lisäksi näemme tarvetta pohtia vielä eri ilmiöiden seurannassa määrällisen ja laadullisen tarkastelun roolia ja kohdennusta, sillä nyt kommentoitava luonnos näyttää pelkistävän usealla eri osa-alueella laadullista tarkastelua edellyttäviä kohteita liian numeeriseksi mittaamiseksi. Toivoisimme seurannan ottavan nyt kommentoitavaa luonnosta paremmin huomioon myös tieteenalakohtaiset avoimuuden mahdollisuudet. Organisaatioita vertailtaessa esimerkiksi yliopiston koko ei riitä suhteuttamaan yliopistojen tuloksia ja takaamaan vertailtavuuden. Esitetyt seurantakohteet ovat pääosin kannatettavia, mutta moni niistä ei nähdäksemme sovellu kuitenkaan käytettäväksi eri organisaatioiden väliseen vertailuun. Lisäksi toivoisimme jatkokehittämisessä otettavan huomioon esitetyn seurantatavan työllistävä vaikutus. Toivoisimme vielä harkittavan, miten avoimen tieteen laaja spektri voitaisiin tavoittaa kansallisessa seurannassa harvemmilla indikaattoreilla ja pitemmällä seurantasyklillä riittävästi, ja voisiko sitten sen lisäksi tarjota mm. tutkimusorganisaatioille omaan itsereflektioon käytettävää laajempaa indikaattoripalettia. Tämä voisi olla omiaan kannustamaan organisaatioita seuraamaan aiempaa herkemmin avoimen tieteen kehitystä ja kehittämistä, ja jättäisi paremmin tilaa kohdistaa voimavaroja ja huomiota myös eri tieteenalakohtaiset painotukset ja strategiset tavoitteet huomioon ottaen. Seurannan toteuttamista ei tulisi kiirehtiä liiaksi, vaan varmistaa ensin itse seurantatavan kypsyys. Nykyisessä luonnoksessa on jo nähtävissä paljon hyvää kehittämistyötä, mutta se ei näyttäydy vielä valmiina otettavaksi käyttöön. | ||||||||||||||||
7 | LUT Yliopisto, LAB ammattikorkeakoulu | - Seurantamalli on pitkä, raskas ja sisältää vaikeita lauseita ja termejä. Olisi helpompi viedä asioita eteenpäin organisaatioon, jos ei tarvitsisi ensin "suomentaa" seurantamallia. - Julkaisutyypeistä puuttuu osa, vaikka ne ovat osa erityisesti ammattikorkeakoulujen arkea ja vievät resursseja. - Seurantamallissa ei ole huomioitu tarpeeksi organisaatioiden erilaisuutta, kokoa ja resursseja (esim. yhteiskirjastot, erityyliset palvelumallit, henkilöiden määrä vs. htv). - Ei ole loogista, että saa saman verran pisteitä, jos toimenpide on valmis tai kehitteillä. Voisi olla esim. valmis: 10pistettä, kehitteillä: 5pistettä. - Voiko olla samalla seurantamalli ja apuväline? Ristiriita, jos käytetään omaan kehittämiseen ja vertailuun. - onko luotettavaa avoimuutta, jos kaikki kehittäminen on pisteistä kiinni? - Aineistojen avoimuuden mittaaminen on melko heikosti tuotu seurantamallissa esiin. - Mikä on kannustin? Mitä organisaatio saa, jos nousee avoimuuden tasolla korkealle? - Motivoiko kysely/seurantamalli kehittämään avoimuuden palveluita ja edistämään avoimuutta? - Avoimuuden hinta vs. resurssit? - Osassa yksi nimetään keskeisimmäksi tietolähteeksi tiedejatutkimus.fi ja sieltä saatavat tiedot. Osan kaksi mukaan automaattisesti kerätään tiedot vain Virran julkaisuista. Ristiriita? Voisi kertoa realistisen tilanteen selkeämmin, että mitä ja mistä otetaan ja milloin. - On hyvä, että kysely kehittyy, mutta miten säilytetään vertailukelpoisuus - rinnakkaistallennuksen laskukaava voisi olla selkeämpi, jotta kaikki ymmärtävät täyttää samalla tavalla - jos osio 3 ei liity arviointiin ja siitä ei tule pisteitä, miksi se on samassa paketissa? Voisi olla erillinen, jotta ei hämää. - millä perusteella organisaatio on pieni/keskikoko/suuri? Huomioidaanko tässä organisaation tyyppi? Toivomme, että avoimesti kerrotaan kriteerien perustelut. - aineistojen ja oppimisen avoimuuden kokonaiskustannuksista ei kysytä tarkemmin - Läpinäkyvyyttä ja avoimuutta kyselyn kriteereihin, perusteluihin ja vastusten tulkintaan. - erityisen tärkeänä pidämme sitä, että huomioidaan organisaation koko, resurssit, erityispiirteet. Toivomme, että kyselyn avulla voisi aidosti nähdä realistisen kuvan avoimuuden resursseista ja hinnasta. | ||||||||||||||||||||||||||
8 | Jyväskylän yliopisto | Luku 1.2. Seurannan hyöty ja tuki tutkimusyhteistöille Kohta: Seuranta tukee suomalaista tutkimusyhteisöä seuraavin tavoin: 5. Seuranta tarjoaa organisaatioille yhden osan sopimusneuvotteluissa käytettävien indikaattorien valintapalettiin. Seurannan tuloksia ei ole tarkoitettu käytettäväksi rahoituksen jaon perusteena. Positiivista on, että seurantamalli on portaittainen eli se kehittyy lähivuosien kuluessa ja seurannasta saatujen kokemusten karttuessa. Kokonaisuudessaan voi tosin miettiä, onko ensimmäinen porras vuonna 2022 liiankin kunnianhimoton. On erittäin tärkeää, että käytetään mahdollisimman laajasti jo muutenkin kerättävää tietoa ja indikaattoreiden tuloksia, joita suoraan käytetään myös sopimusneuvottelujen rahoituksen jaon perusteena. Tarkoitetaanko tässä, että itse Avoimen tieteen seurannan tuloksia ei suoraan käytetä rahoituksen jaon perusteena vaikkakin samoja indikaattoreita toisaalla rahoituksen jaon perusteena käytetäänkin. Epäselvää on myös se, että onko sopimusneuvotteluiden indikaattoreiden valintapaletti kuitenkin sama samantyyppisille organisaatioille, esimerkiksi korkeakouluille yhteinen ja tutkimuslaitoksille yhteinen. | Kohta: Osassa indikaattoreista pisteytys saattaa olla suhteellinen organisaation kokoon sillä tavoin, että pienemmän organisaation on suurta helpompi saada maksimipisteet indikaattorin kohdalla. ‘Saattaa olla’ jättää kysymyksiä: onko vaiko eikö ole suhteellinen organisaation kokoon? Jos oikeasti organisaatioita suhteutetaan koon mukaan, on se varmasti parasta sanoa suoraan. Selvyyden vuoksi voisi myös olla hyvä, että mainittaisiin selkeämmin ne kohdat, joissa organisaation koko vaikuttaa pisteytykseen. | On erittäin tärkeää, että käytetään mahdollisimman laajasti jo muutenkin kerättävää tietoa ja indikaattoreiden tuloksia, joilla kuvataan tieteen ja tutkimuksen tilaa Suomessa. Edelleen tiedon julkistaminen ja monikäyttöisyyden lisääminen jo itsessään edistää avoimuutta ja toivottavasti vähentää rinnakkaista työtä. Seurannan toteuttaminen sisältää merkittävän epävarmuustekijän. Dokumentissa viitataan tutkimusyhteisöltä vaadittaviin resursseihin, jotta seuranta ylipäätään olisi mahdollista toteuttaa. Mitä tämä tarkoittaa sekä yksittäisen organisaation tai “tutkimusyhteisön” (mitä sillä tässä tarkoitetaankin) kannalta? Miten asiaa edistetään ja onko yhteinen resursointi realistista toteuttaa siten, että ensimmäinen arviointi olisi vuonna 2022? Seurannan näkökulmasta on edelleen syytä varautua jatkuvuuteen ja vuoden 2024 seurantakyselyn toteuttamiseen. Tällöin resursseja tarvitaan myös sen arviointiin, kuinka organisaatioiden tilanne vuoden 2022 kyselyn vastausten perusteella on kehittynyt ja esimerkiksi miten aiemmassa kyselyssä kuvatut toimenpiteet ovat toteutuneet. Esimerkkinä aivan ensimmäinen kysymys, jossa pyydetään kuvaamaan organisaation avoimen tieteen ohjaavan dokumentin tilaa ja jossa peruspisteet on mahdollista saada toteamalla, että ohjaava dokumentti valmistuu 12 kuukauden kuluessa. Varmennetaanko asia seuraavassa kyselyssä jollakin tavalla? | Yleinen kommentti organisaation ohjaavista dokumenteista ja niiden suhteesta kansalliseen avoimen tieteen koordinaatioon koskien koko seurantamallia: jos organisaatio on sitoutunut Avoimen tieteen ja tutkimuksen julistukseen, lienee selvää, että organisaatio on tällöin sitoutunut myös kaikkiin julistusta toteuttaviin lukuisiin aladokumentteihin, ilman että niitä erikseen jokaista mainitaan organisaation omissa dokumenteissa, saati että niiden sisältöjä siellä laajemmin toistettaisiin. Viittamme tällä osaan 2, seurannassa käytettävään kyselyyn, jossa yhdeksi keskeiseksi arvioitavaksi kohdaksi on nostettu se, miten kansallisten ja kansainvälisten ohjaavien linjauksia ja suositusten huomioiminen avoimen tieteen edistämisessä on organisaatioissa dokumentoitu. Mitä dokumentoinnilla tässä tarkoitetaan? | Onko osallistujien määrä eri avoimen tieteen koordinaation yhteistyöryhmissä todella tarkoituksenmukainen tapa mitata yhteystyötä? Toisaalta tunnistamme myös yhteistyön mittaamisen vaikeuden. Avoimen tieteen koordinaation yhteistyöryhmien haasteena on tähänkin saakka ollut se, että osallistumisen tavat ovat hyvin erilaisia: osa henkilöistä oikeasti tuo ryhmään asiantuntemustaan ja edesauttaa merkittävilläkin työpanoksilla ryhmän tavoitteen saavuttamista, kun taas toiset ovat ryhmän jäseninä enemmän nimellisesti ja passiivisesti. Seurannassa molemmilla tavoilla saavutetaan sama pistemäärä. On myös toivottavaa, että seuranta ei ala ohjata (etenkään isompia) organisaatioita siihen suuntaan, että yhteistyöryhmiin sijoitellaan passiivisiksi jäseniksi kaikki kynnelle kykenevät pisteiden toivossa. Mikäli ryhmien koko kasvaa vielä nykyisestä, se alkaa varmasti jo vaikuttaa toimintaedellytyksiin, eikä ainakaan lisää toiminnan tehokkuutta. Jos yhteistyön mittaristo halutaan säilyttää tämäntyyppisenä, on kuitenkin tervetullutta se, että edellä mainituista syistä osallistujien ja yhteisten projektien määristä saa ainoastaan lisäpisteitä | Vastuullinen tutkijanarviointi on erittäin merkittävässä osassa toimintakulttuurin avoimuutta. Korostuuko sen asema jo liikaakin? Eikö toimintakulttuurin avoimuudella ole mitään muita indikaattoreita? Onko muita suosituksia, joita tässä on otettava huomioon ja joita ei ehkä muuten huomioida? Kyselyssä onneksi viitataan myös avoimen tieteen ohjeistukseen ja palvelujen kirjoon ja miten palveluita tarjotaan tutkijan uran eri vaiheissa tai esimerkiksi onko kansalaistieteeseen liittyviä palveluita. Näin selkeästi täydennetään vastuullisen tutkijanarvioinnin korostunutta osuutta. | Kansallisen avoimuuden kehittymisen indikaattorit 2022: Kohta 1: Rinnakkaistallenteiden (OKM:n julkaisutiedonkeruun tyypit A, B ja C, sekä avoin saatavuus) määrä ja osuus julkaisemisesta, sekä niiden kehitys: Onko kyseessä välittömästi avoimet rinnakkaistallenteet vai rinnakkaistallenteet yleensä? Kohta 3: Suomalaisten tutkijoiden käyttämien kotimaisten ja ulkomaisten julkaisukanavien avoimuus (välittömästi avoimet ns. Gold OA -kanavat, ja kanavat, jotka sallivat vertaisarvioidun version rinnakkaistallentamisen ilman viivettä). Mitä tarkoitetaan sanalla ‘käyttäminen’? 2.43 Julkaisupalvelut: Kyselyllä kerättävät organisaation tasomäärittelyyn vaikuttavat keskeiset indikaattorit, kohta 3: Avoimen julkaisemisen kannusteet ja arviointi Sanaa ‘arviointi’ voisi täsmentää, mistä arvioinnista on kyse? | Onko ensimmäiseen seurantaan vuodelle 2022 laadittu indikaattori liiankin kunnianhimoton ja tavoitteeton? Ja mitä pelkkä aineistonhallinnan työkalun olemassaolo kertoo? Tutkijoillahan on mahdollista käyttää esimerkiksi kaikille maksutta avoinna olevia aineistonhallintatyökaluja ja niillä on mahdollista saavuttaa yhtä hyvä tuloksia kuin organisaation omassa hallinnassa olevilla työkaluilla. Eikö se, mitä aineistonhallintatyökalulla pystytään saamaan aikaan, ole kuitenkin tärkeämpää kuin se, onko organisaatioilla työkalu? Määrälliseksi indikaattoriksi jo vuoden 2022 arvioinnissa on mahdollista ottaa Metax-tietokannassa olevien tutkimusaineistojen metatiedot. Tällä indikaattorilla voidaan samalla lisätä Metax-tietokannan käyttöä. Kansallisen avoimuuden kehittymisen indikaattori vuonna 2022: 1. Pitkäaikaissäilytys (Esim. CSC:n PAS-palveluun tai organisaation omaan palveluun siirrettyjen tietoaineistojen ja julkaisujen määrä sekä niiden prosenttiosuudet kaikista tietoaineistoista ja julkaisuista). Kertooko pitkäaikaissäilytys oikeasti avoimuuden kehittymisestä kansallisella tasolla? Mielestämme ei, vaan siinä puhutaan kokonaan eri asiasta. Pitkäaikaissäilytys on monin tavoin sekä resurssi- että valintakysymys. Jos pitkäaikaissäilytykseen siirrettyjen tietoaineistojen prosenttimäärää seurataan, niin onko korkea prosenttimäärä hyvä vai huono asia? Korkea prosenttimäärä voi kertoa, että avoimia tietoaineistoja ja julkaisuja on hyvin vähän, vaikkakin niistä osa on pitkäaikaissäilytyksessä. Toisaalta suhteellisen matala prosenttimäärä voi kertoa, että organisaatio on pyrkinyt laajasti avaamaan aineistonsa, joiden pitkäaikaistalletus on sinänsä maltillista. Organisaatioiden tasomäärittelyyn käytettävät määrälliset indikaattorit aineistojen avoimen saatavuuden seuraamiselle vuonna 2024: Kohta 2: Avointen aineistojen/datasettien määrä metatietojen perusteella TAI avointen materiaalien lataukset, uudelleenkäyttö (julkaisuissa) ja viittaukset. Miksi nämä kaksi indikaattoria on haluttu laittaa ehdolliseksi? Ne mittaavat eri asioita ja hyvin voivat olla erillisinä kysymyksiä. Tulevaisuuden näkymät ja ehdotetut kehitettävät indikaattorit: Kohta 4: Esirekisteröintien seuranta Mitä esirekisteröinneillä tarkoitetaan ja kuinka niitä voidaan hyödyntää indikaattorina? | 2.62 Oppimisen ja oppimateriaalien avoimuuden palvelut Kyselyllä kerättävät organisaation tasomäärittelyyn vaikuttavat keskeiset indikaattorit vuonna 2022: Kohta 7: Avoimien materiaalien hyödyntäminen opetuksessa. Mittari on sinällään hyvä, mutta miten tätä voidaan mitata ja miten tietoa tulisi kerätä? Toki jos etenkin joku isommista organisaatioista keksii tähän tavan, voi hyvällä syyllä antaa sille organisaatiolle tästä kohdasta täydet pisteet. | Avoimen julkaisemisen kokonaiskustannusten seurantamallista ei kommentoitavaa. Kyselylomakkeella on lukuisia kohtia, joita on todella haastavaa mitata ja se, vastaako organisaatio kyseiseen kohtaan ‘kyllä’, on puhtaasti omantunnon kysymys. Hyvänä esimerkkinä Palvelut: Julkaisut -osiossa oleva kohta: 7. Avoimen julkaisemisen kehitystyö. Valitse kaikki ne vaihtoehdot, joilla organisaatiosi tukee avoimen julkaisemisen kehittämistä. a. Uusien avointen julkaisutapojen ja -alustojen seuranta 1 lp Uskoisimme kaikkien organisaatioiden seuraavan kehitystä tällä saralla. Toki on selvää myös kysymysten asettelun vaikeus: on olemassa useita osa-alueita, joilla ei ole löydettävissä mitään konkreettisempaa mittaria kuin organisaation vakuuttelut siitä, että asia on hoidossa. Tämä tulisi kuitenkin ottaa huomioon seurannan tuloksia tulkittaessa: suuri osa kyselystä saattaa jäädä näennäiseksi jokaisen organisaation vastatessa kysymyksiin ‘kyllä’. Samoin yleisenä ongelmana kyselylomakkeella on useassa kohtaa skaalauksen puuttuminen. Sama pistemäärä on mahdollista saavuttaa hyvin eritasoisella toiminnalla. Kaikissa palveluihin liittyvissä kohdissa voisi olla syytä selventää, mitä tarkoitetaan ‘yksikkökohtaisella palveluneuvonnalla’. Tässä yhteydessä voi olla syytä pohtia myös kumpaa tavoitellaan, yksikkökohtaista vai keskitettyä palveluneuvontaa? Monissa avoimen tieteen ja esimerkiksi avoimen julkaisemisen palveluissa on erittäin tärkeään nostaa asiantuntijan yksityiskohtaista osaamista, joka on käytännössä mahdollinen vain keskitetyissä palveluissa verrattuna siihen, että esimerkiksi palveluneuvonta on yksiköittäin jonkun henkilön vastuulla, joka ei välttämättä voi keskittyä avoimen tieteen yksityiskohtiin, vaikka toisaalta sitten tunteekin yksikkönsä tieteenalat ja tutkijat paremmin. B.2 Palvelut: Julkaisut 8. Työ ja ura. Valitse alla olevista vaihtoehdoista kaikki ne tavat, joilla organisaatiosi kannustaa henkilökuntaansa avoimen julkaisemisen edistämiseen. a. Avoimet julkaisut ovat meritoitumiskriteeri rekrytoinnissa, palkkauksessa ja urapolulla 2 pp Tutkimusta tekevät organisaatiot kiinnittävät voimakkaasti huomiota tutkimuksen laatuun, mikä näkyy luonnollisesti myös meritoitumiskriteereissä. Tapa, jolla asia lomakkeella ilmaistaan, herättää kysymyksen: onko avoimuus = laatu? Näinhän asia ei puhtaasti ole. Jos avoimet julkaisut esitettäisiin tässä kohtaa “yhtenä meritoitumiskriteerinä”, se voisi edistää asiaa paremmin kuin nykyinen muotoilu. | Kokonaisuutena seurantamallit ottavat erittäin hyvin huomioon kunkin osa-alueen tilanteen avoimuuden näkökulmista ja mallit reflektoivat hyvin tutkimusorganisaatioiden tilannetta ja niitä kysymyksiä, joita parhaillaan kehitetään. Osassa arvioitavia kohteita on jonkin verran vaikeuksia luoda sellaisia ohjaavia indikaattoreita, joiden kautta tutkimusedellytykset paranevat. Määrällisten indikaattoreiden arvot (esimerkkinä pitkäaikaissäilytykseen päätyvien aineistojen lukumäärä) voivat riippua tutkimuspoliittisesti monista muista asioista kuin avoimuuden tavoitteet ja toisaalta laadulliset seurantakysymykset voivat osittain riippua siitä, kuinka vastaajaorganisaatiossa kysymys tulkitaan. Kauttaaltaan kuitenkin seurantamalli indikaattoreineen ja kysymyksineen varmasti edistää sekä yksittäisen tutkijan että koko tutkimusyhteisön tutkimustulosten laatua ja vaikuttavuutta. | ||||||||||||||||
9 | Aalto-yliopisto | On hyvä, että seuranta kohdistuu nimenomaan organisaatioihin, ei tutkijoihin. Seurannassa on hyvin tunnistettu organisaatioiden erilaisuus ja mukautettu rakennetta sen mukaan. Tavoite seurannan rakentamisesta kehittyvien tietovarantojen perustuvaan tiedon tuottamiseen on erittäin kannatettava. Organisaatiotason ohella tuloksia ja vision toteutumista voi seurata myös kansallisella tasolla, ts. miten Suomi kehittyy avoimen tieteen maana. Kyselyn avulla tietoa saadaan resurssien käyttämisestä julistuksen mukaisiin toimenpiteisiin ja näin voidaan arvioida ja vertailla organisaatioiden sitoutumista julistukseen ja linjauksiin. 1.3 luvussa todetaan, ”Tutkimuskentän moninaisuuden vuoksi seurantaa on perusteltua tehdä riittävän yleisellä tasolla.” Tähän toteamukseen nähden osa kyselyn kysymyksistä olivat liian yksityiskohtaisia eivätkä niinkään pyrkineet seuraamaan avoimen tieteen edistymistä vaan kartoittamaan esim. kirjastojen työtehtäviä tai erilaisia yhteistyöprojekteja. Pitäisikin pohtia tarkoin, mitä hyötyjä tiedon keräämisestä on ja kenelle. Jo tämän kyselyn kommentointiin meni runsaasti työtunteja | Pisteytyksen mukauttaminen organisaation koon ja tyypin perusteella on oikeudenmukainen menettely, varsinkin kun indikaattorit mittaavat laajalti resurssien käyttöä palveluihin ja yhteistyöhön. Suunniteltu mekanismi avoimuuden asteen määrittelyyn, profiilin rakentamiseen ja tason muodostumiseen on hyvä. Prosentit tuovat asteen määrittelyyn joustavuutta, profiili huomioi avoimuuden eri osa-alueet ja yksinkertainen tasonumero toimii yksinkertaiseen vertailuun. Koska avoimen tieteen kehitykseen dedikoitua henkilökuntaa on vähän, henkilöresurssien vähäisyys vaikuttaa siihen, että kehittämistoimet painottuva vaihtelevasti eri osa-alueille. Profiilin rakentaminen auttaa tekemään näkyväksi, mikä avoimuuden osa-alue tarvitsee lisäresursseja. | On erittäin kannatettavaa siirtää seurannan paino kyselystä datavarannoista saataviin tietoihin. Tietovarantojen osalta tiedon laatuun ja kattavuuteen tulee kiinnittää huomiota, kun niitä käytetään indikaattoreina. Esimerkiksi Metax sisältää vain osan tutkimusaineistojen kuvailutiedoista, ne tiedot, jotka löytyvät kansallisista tietolähteistä. Kansainvälisten data repositorioiden käyttö lisää vaikuttavuutta ja tukee visiota Suomen kansainvälisestä avoimuuden edelläkävijyydestä. Olisi tärkeää huomioida nämä indikaattoreissa, jotta seurannan ohjaava vaikutus tukisi vision toteutumista. Huolimatta toiveesta automatisoida seurannan tiedon tuotanto, kysely on usein ainoa keino tiedon keräämiseen. Tämän vuoksi kannattaa tarkoin miettiä, millaisella kysymyspatteristolla saadaan riittävät tiedot avoimen tieteen seurantaa. Olisiko järkevää aloittaa vähemmällä määrällä relevantteja kysymyksiä ja tuoda vaihtuvia kysymyksiä kysymyspatteristoon sitä mukaa, kun organisaatioiden kypsyystaso kehittyy? (vr. EUA:n kysely, jonka sisältö muuttuu joka vuosi sen perusteella, miten avoin tiede on kehittynyt). | On hyvä kerätä tietoa organisaation ohjaavista dokumenteista ja niiden seurannasta. Varsinkin toimeenpano ja tulosten seuranta on tärkeää. | Tämä indikaattori selvittää lähinnä, miten paljon henkilökunnan aikaa menee avoimen tieteen kehittämiseen muualla kuin omassa organisaatiossa. Itse kyselyssä (C.1,2,3,4 Yhteistyö) on runsaasti yksityiskohtaisia kysymyksiä, joissa keskitytään keräämään tietoja henkilöiden tai projektien määrästä. Eikö yhteistyön tulokset olisi kuitenkin kiinnostavampi tieto? Palvelupuolella ei ole juuri aikaa osallistua muuhun yhteistyöhön kuin siihen, mikä tapahtuu avoimen tieteen koordinaation alla. Akateemisen puolen yhteistyöstä on työlästä saada tietoja. | Tässä osassa tulee yksityiskohtaisi kommentteja kysymyksiin ja niiden muotoiluihin: Kommentti lukuun 2.31: Avoimuus-meriittinä on hankala käsite. Pitäisi olla huolellinen muotoiluissa, että avoimen tieteen edistämisestä ei tule omaa ”tieteenalaansa”. Kysymys A 1/3: Valitse alla olevista kansallisista ja kansainvälisistä linjauksista ja suosituksista ne, joiden huomioiminen on dokumentoitu osana organisaation omien ohjaavien dokumenttien laatimista Kommentti: Mitä huomioiminen tarkoittaa? Linjaus mainitaan ja siihen on viitattu? Entä jo oma dokumentaatio on tehty ennen kansallisen linjauksen valmistumista? Kysymys 4/3: Tietoa saatavissa kysyttäessä, mutta ei rakenteista seurantaa Kommentti: Kannattaa määritellä tarkemmin, mitä rakenteinen seuranta on. Kysymys 6: Linkki organisaation vastuullista arviointia ohjaavaan dokumenttiin (jos julkinen) Kommentti: Huono kysymys/muotoilu – jos ohjeistus ei ole julkinen, ”ei saa pisteitä”, vaikka ohjeistus olisikin. Monessa organisaatiossa tämä ohjeistus saattaa olla osa sisäistä HR-ohjeistusta ja sitä ei voi julkaista. Kysymys 7: Valitse alla olevista vaihtoehdoista kaikki kansainväliset ja kansalliset linjaukset ja suositukset tai niiden osia, joista organisaatiossasi on dokumentoitu, miten ne huomioidaan vastuullisen arvioinnin edistämisessä: Kommentit: Voiko c-kohdan OSCAM avata ja linkittää sivustolle? Miten b) ja d) eroavat toisistaan? Nehän ovat ymmärtääkseni saman asian ”osia”, kuvattuna vähän eri tavalla; ja jos vastaa b):hen ei; myös d) on ei.-> double penalisation; eli ei ole järkevää kysyä näitä erikseen Kysymys 8: Miten organisaatiossasi seurataan arviointia ohjaavien dokumenttien täytäntöönpanoa muuten kuin kansalliseen seurantaan osallistumisella? Kommentti: Tässä on riskinä, että henkilökuntaa kuormitetaan tarpeettomasti. Mikäli arviointi on osa tietyin väliajoin tapahtuvaa oman toiminnan itsearviointia, esim. ”vastuullinen arvioija” -akkreditointia, työkuorma ei ole liian korkea. Jatkuva arviointia ja tiedonkeruu loisivat kuitenkin liian työllistäviä seurantakriteereitä. B. 1. Palvelut Kysymys 8: Arviointitiedon keruu Kommentti: Kysymyksen vaihtoehtoina on lueteltu TENK CV:n meriittilistaus. Voisiko vain kysyä suoraan, käytetäänkö organisaatiossa TENK CV:tä? Kysymys 9: Vastuullisen arvioinnin ohjeistus Kommentti: Näistä vaihtoehdoista ei tule juuri lisäarvoa. Kyllä/ei vaihtoehto olisi parempi. | Tässä osassa tulee yksityiskohtaisi kommentteja kysymyksiin ja niiden muotoiluihin: Kansallisen avoimuuden kehittymisen indikaattorit 2022: 3.Suomalaisten tutkijoiden käyttämien kotimaisten ja ulkomaisten julkaisukanavien avoimuus (välittömästi avoimet ns. Gold OA -kanavat, ja kanavat, jotka sallivat vertaisarvioidun version rinnakkaistallentamisen ilman viivettä). Tietolähde: JUFO-portaali Kommentti/kysymys: Tarkoitetaanko välittömällä avoimuudella tässä sitä, että kustantaja sallii käsikirjoituksen välittömän rinnakkaistallennuksen avoimella lisenssillä (esim. CC-BY) vai välittömän rinnakkaistallennuksen säilyttäen itse tekijänoikeudet? Lisäksi, puhutaanko tässä rinnakkaistallentamisesta yliopistojen julkaisuarkistoon ja/tai tieteenalakohtaiseen arkistoon? Näitä voisi olla hyvä täsmentää. Määrälliset indikaattorit julkaisujen avoimen saatavuuden seuraamiselle vuonna 2022: 1. Välittömästi avoimien tieteellisten vertaisarvioitujen ja vertaisarvioimattomien julkaisujen määrä ja osuus julkaisemisesta, kehitys (OKM:n julkaisutiedonkeruun tyypit A, B ja C, sekä avoin saatavuus OA/hybridi kanavissa ja rinnakkaistallenteina). Tietolähde: VIRTA. 2. Avoimesti saatavilla olevien ammatillisten ja yleistajuisten julkaisujen määrä ja osuus (OKM:n julkaisutiedonkeruun tyypit D ja E). Tietolähde: VIRTA Kommentti: Tarkoittaisiko muutos sitä, että vuodesta 2022 lähtien julkaisutyyppien B-E avoimuutta seurataan osana VIRTA-tiedonkeruuta? ”Virallisen” ts. OKM-raportointiin kuuluvan VIRTA-tiedonkeruun laaduntarkastus on hidasta ja aiheuttaa paljon töitä. Jos kaikkien julkaisutyyppien avoimuus pyritään toteuttamaan rinnakkaistallenteina, käsityön määrä on melkoinen. Mikäli kaikki julkaisut siirretään esim. tiedejatutkimus portaaliin, laadun varmistamisen työkuorma nousee väkisinkin. Tulevaisuuden näkymät ja ehdotetut kehitettävät indikaattorit: 1.Avoin vertaisarviointi, esim. avoimeen vertaisarviointiin osallistuneet tutkijat, avoimesti vertaisarvioidut julkaisut, avointa vertaisarviointia hyödyntävät kotimaiset julkaisukanavat 2.Ennakkojulkaisujen (pre-print) määrä ja käyttö (Vaatii VIRTA-palvelun kehittämistä) Kommentit: Mikäli avoimesta vertaisarvioinnista on saatavissa jossakin vaiheessa luotettavaa tietoa automaattisesti, tämä voisi toimia indikaattorina avoimen tieteen toimintatapojen leviämiselle. Onko tavoitteena tilastoida pre-printit vain niiden julkaisujen osalta, jotka eivät ole muilla tavoin avoimia vai kaikkien julkaisujen tasolla? Jos kaikki pre-printit tilastoitaisiin, niin tästä syntyisi yliopistoille iso urakka, jonka mielekkyyttä kannattaa pohtia. Pre-printtien raportointi on työlästä myös, koska pre-print versio vs. post-print versio on hankala päätellä pre-print arkistoissa. Mikäli pre-printtejä ryhdytään seuraamaan systemaattisesti, tietojen tuonti VIRTA-palveluun pitää automatisoida. B.2. Palvelut Kysymys 2: Julkaisujen avaaminen Kommentti: Kuuluvatko nämä kysymykset varsinaisesti avoimen julkaisemisen kysymysten joukkoon? Kysymykset liittyvät tavallisiin kirjastotehtäviin. Kysymys 4: Pitkäaikaissäilytys Kommentti: Miten määritellään pysyvä säilytys? Onko organisaation oma julkaisuarkisto pysyvä säilytyspaikka? Kannattaa määritellä kysymyksessä. | Tässä osassa tulee yksityiskohtaisi kommentteja kysymyksiin ja niiden muotoiluihin: Ohjelmistojen seurannan väline puuttuu toistaiseksi. OKM:n julkaisutiedonkeruussa on tietoa ohjelmistoista (I-luokka), mutta tällä hetkellä niitä raportoidaan hyvin vähän Kommentti: I-luokan määrittely on vielä kesken, toki työn alla OKM:llä. Siksi I-luokan sisältö on vielä sekalainen. Ohjelmistoja merkitään myös datasetteihin. Kansallisesti kannattaisi määritellä, minne ohjelmistot ja koodit jatkossa merkitään. Organisaatioiden tasomäärittelyyn käytettävät määrälliset indikaattorit aineistojen avoimen saatavuuden seuraamiselle vuonna 2022: 1.Tarjoaako organisaatio aineistonhallintaan työkalun kaikille tutkijoille? Kommentti: Mikä kelpaa aineistonhallinnan työkaluksi? Verkkolevy? Fairdata Qvain? Aineistonhallintasuunnitelmien työkalu (DMPTuuli)? Vastaavaa indikaattoria ei löydy Osan 2 kyselystä. Organisaatioiden tasomäärittelyyn käytettävät määrälliset indikaattorit aineistojen avoimen saatavuuden seuraamiselle vuonna 2024: 1.Metatiedot: onko aineistoilla avoimesti saatavilla oleva metadata? Tietolähde: Metax Kommentti: Jotta Metax olisi toimiva tietolähde, organisaation CSC:n pitää haravoida tutkimusaineistoja ja metadatoja maailmalta. Mikäli näin ei tehdä, vain osa metadatoista saadaan kerättyä. Tutkimusorganisaatioissa suositellaan usein datojen ja metadatojen tallentamista tieteenalakohtaisiin arkistoihin tai Zendoon, joten suuri osa tutkimusdatasta sijaitsee Suomen ulkopuolella. 2.Avointen aineistojen/datasettien määrä metatietojen perusteella TAI avointen materiaalien lataukset, uudelleenkäyttö (julkaisuissa) ja viittaukset. Tietolähde: Metax Kommentti: Lataustieto kerääntyy tällä hetkellä vain siihen arkistoon, missä itse data sijaitsee. Ehkä jatkossa toisin. Viittauksien seuraaminen on erittäin mielenkiintoinen indikaattori datan uudelleenkäytölle ja viittauskäytännöt ovat toivottavasti vakiintuneet 2024. Tämän indikaattorin ei tarvitse olla vaihtoehtoinen avoimien aineistojen määrän kanssa, vaan molemmat voivat olla mallissa mukana rinnakkain. Kansallisen avoimuuden kehittymisen indikaattori vuonna 2022: 1.Pitkäaikaissäilytys (Esim. CSC:n PAS-palveluun tai organisaation omaan palveluun siirrettyjen tietoaineistojen ja julkaisujen määrä sekä niiden prosenttiosuudet kaikista tietoaineistoista ja julkaisuista). Kommentti: Onko tutkimusaineistojen pitkäaikaissäilytys relevantti avoimuuden mittari? Fairdata PAS-palveluun siirretyt aineistot eivät ole avoimesti saatavilla. Pitkäaikaissäilytys on avoimuudesta erillinen tehtävä, jonka kukin organisaatio ratkaisee käyttämällä PAS-ratkaisua tai jotakin muuta ratkaisua. Tulevaisuuden näkymät ja ehdotetut kehitettävät indikaattorit: 1. DMP-seuranta: DMP-määrät, niiden arviointi organisaatioissa Kommentti: DMP-määrä mittaa erityisesti tietyille rahoittajille kirjoitettujen hakemusten määrää. Rahoittajat edellyttävä DMP-kommentointipalvelua, joten toimiiko sekään hyvänä indikaattorina? Ehkä DMP:den jakautuminen sen mukaan, kirjoitetaanko myös laitoksille/tutkimusryhmille heidän omaa toimintaansa ohjaavaa DMP:tä tai kirjoittavatko tohtoriopiskelijat DMP:n antaisi paremman kuvan siitä, miten hyvin DMP:t on otettu käyttöön organisaatiossa. 2. FAIR-periaatteiden noudattaminen Kommentti: Vaikeasti mitattava indikaattori. Yhden datasetin kohdalla voidaan tarkastella, onko metadata, PID, lisenssi, käytetäänkö sanastoja, onko datasetti luotettavassa repositoryssä jne., mutta koko organisaation tutkimusdatajoukon tarkastelu on mahdotonta ilman automatisoitua työkalua. 3. Menetelmien ja ohjelmistojen avoimuuden seuranta Kommentti: Miten ja missä menetelmien avoimuutta seurattaisiin? Tiedot ovat tällä hetkellä ympäri maailmaa eri alustoilla ja repositoryissä. Myös se, minne ohjelmistoja merkitään ja miten niiden avoimuutta seurataan on auki. 4. Esirekisteröintien seuranta Kommentti: Osa tieteenaloista harrastaa jo tutkimusten esirekisteröintiä, mutta suurimmalle osalle tämä on täysin uusi käytäntö. Miten ja missä esirekisteröintejä seurattaisiin? 5. Kuvailevan metadatan avoimuus Kommentti: Eikö tämä ole jo indikaattoriehdotus vuodelle 2024. Tämä liittyy lisäksi FAIR periaatteiden noudattamiseen. 6. Linkitetty data ja/tai PID-graph Kommentti: Tätä indikaattoriehdotusta kannattaa kehittää ja avata enemmän; mitä tällä tarkoitetaan? . Yleiskommentti: Kannattaako edes yrittää seurata näin monenlaisia asioita? Mikäli tietojen tuontia ei saada automatisoitua, tästä tulee erittäin työllistävää. B.3 Palvelut Kysymys 6: Tutkimusaineiston julkaiseminen. Ohjeistus, että kaikki tutkimushankkeet julkaisevat vähintään aineistojen metatiedot viimeistään tutkimuksen julkaisemisen yhteydessä joko organisaation omassa tai organisaation suosittelemassa ulkopuolisessa, kotimaisessa aineistokatalogissa Kommentti: Miksi metatiedot pitää löytyä kotimaisesta katalogista? Tutkijat käyttävät todennäköisesti ulkomaisia repositoryjä. 2.5.2. Infrastruktuurien indikaattorit Organisaatioiden tasomäärittelyyn käytettävät määrälliset indikaattorit infrastruktuurien avoimen saatavuuden seuraamiselle vuonna 2024: Tutkimusinfrastruktuurien ja käyttöpolitiikkojen näkyvyys tutkimustietovarannossa. Tietolähde: Tutkimustietovaranto Kommentti: Hyvä indikaattori ja suhteellisen helppo seurattava. Nykyinen lomake, jolla tietoja toimitetaan tutkimustietovarastoon kannatta uusia, jotta tietojen syöttäminen on helpompaa. Tulevaisuuden näkymät ja ehdotetut kehitettävät indikaattorit: Tutkimusinfrastruktuurien käyttöasteen seuranta: viittaukset ja viittauskäytänteet. Kommentti: Hyvä indikaattori. Kannattaa kehittää viittaamista infrastruktuureihin. EOSC:issa kehitteillä olevat mittarit, standardit ja/tai suositukset sekä tietovarannot, jotka sisältävät tietoja kaiken kokoisista infrastruktuureista, esimerkkinä Open Iris. Kommentti: Epäselvä indikaattori. 2.5.3 Aineisto- ja infrastruktuuripalvelut Kyselyllä kerättävät organisaation tasomäärittelyyn vaikuttavat keskeiset indikaattorit vuonna 2022: 1. Aineistojen avoimuuden mahdollistava koulutus Datakoulutusryhmä kerää tietoja datakoulutuksista ja tiedot pitäisi olla valmiina keväällä 2022. Voisiko tätä tiedonkeruuta käyttää hyväksi? 2. Tukipalveluiden organisointi 3. Tukipalveluiden saatavuuden tasapuolisuus 4. Avoimien aineistojen palveluiden kattavuus 5. Avoimien aineistojen julkaisemisen tuki ja infrastruktuurit 6. Aineistojen avaamisen kannusteet 7. Infrastruktuurien avaamisen palvelut ja seuranta Indikaattoreista moni (esim. koulutus, organisointi, palveluiden kattavuus) mittaa resurssien käyttöä ja palveluiden olemassaoloa, mutta ei kerro tuloksista tai saavutettavista hyödyistä. Palveluiden kattavuutta mitatessa kannattaa huomioida myös kansalliset ja kansainväliset palvelut. Jokaisen organisaation ei tarvitse itse tarjota jokaista palvelua. Osan 2 kysymyksistä esimerkiksi B.3.6 huomioi tämän hyvin mainitsemalla "oman tai jaetun aineistokatalogin". B.3. Palvelut. Kysymys 11.Tutkimustietovaranto. Listataanko organisaation avoimet infrastruktuurit tutkimustietovarantoon? 1. Aina 3 lp 2. Joskus 1 lp 3. Ei koskaan Kommentti: Kysymyksen muotoilu on kummallinen. Eihän infrastruktuureja synny joka päivä, miten niitä joskus tai aina lisättäisiin. Olisiko kyllä/ei vastaus vaihtoehto sopivampi. | 3.1. Kustannukset tieteellisistä e-lehdistä, e-kirjoista ja kokotekstitietokannoista. Vastaukseen sisällytetään 1) yksittäiset tilaukset; ja 2) FinElib-sopimusten ulkopuoliset lisenssi- ja tilausmaksut.” Kommentti: Mikä on näiden ero? Kummassakin puhutaan FinELib-tilausten ulkopuolisista tilauksista; onko tarkoitus puhua kertaostoksista ja vuositilauksista? 3.1 Jako “tieteellisen” ja “ei-tieteellisen” välillä tehdään kustantajan tai pääasiallisen sisällön perusteella siinä määrin kuin mahdollista. Kommentti: Jako tieteellisiin ja ei-tieteellisiin tulee olemaan mahdoton tehdä: emme tilastoi kirjahankintoja kustantajakohtaisesti tai sisältökohtaisesti niin, että tämän voisi määritellä. Myöskään satojen lehtitilausten jako tieteellisiin ja ei-tieteellisiin kuulostaa hankalalta lisätyöltä; ne voidaan otsikon mukaan jaotella, mutta tarkempaa analyysiä ei kukaan ehdi tehdä. 3.4. Painetut aineistot: Kuinka paljon organisaatio maksoi painetuista aineistoista vuonna 2020? Kommentti: Tämä onnistuu kirjastopalvelujen tilaamien aineistojen osalta. Jos halutaan oikeasti tieto koko organisaatiotasolla, pitää huomioida myös tutkijoiden ja laitosten omat hankinnat ja tähän tietoon on pääsy vain harvoilla. Tässä pitää määritellä, puhutaanko kirjaston hankinnoista vai oikeasti koko organisaation hankinnoista. 3.8. Kotimaiset tieteelliset kausijulkaisut: Kuinka paljon organisaatio maksoi kotimaisista tieteellisistä lehdistä sekä niissä julkaisemisesta (tilausmaksut ja kirjoittajamaksut) vuonna 2020? Tieteelliseksi lasketaan Jufo-tasoluokkiin 1 - 3 kuuluvat kausijulkaisut. Kommentti: Kotimaiset tieteelliset kausijulkaisut: tämä on taas puhdasta käsityötä, ensin listataan kotimaiset tilaukset ja sitten jokaiselle etsitään Jufo. Mahdollista tehdä, kun kotimaisia tilauksia silloin, kun on vähän. | Seurantamallissa mainituille indikaattoreille (Osa 1) ei aina löytynyt selkeää vastinetta kyselystä (Osa 2) tai kysymyksiä on turhan monta. Indikaattoreiden linkitys julistuksen ja linjausten tavoitteisiin voisi olla selkeämmin esillä. | |||||||||||||||||
10 | Turun Yliopisto | Seurantamallin tavoitteet ja tunnistetut hyödyt ovat yleisellä tasolla kannatettavia. Johdannossa olisi kuitenkin hyvä vielä tuoda esiin lisää motivointia, miksi seurantaa on tarpeellista tehdä esitetyllä tavalla. Yleisesti tiedekunnissa ajatellaan, että tiedeyhteisö lisää avoimuutta ilman erityistä seurantaa ja vertailua. Tämän kaltaisen laajan ja työlään seurannan toteuttamiseen tulisi esittää selkeät perusteet. Tiedeyhteisön suurimpana huolenaiheena on esitetyn seurantamallin raskas ja monimutkainen pisteytys ja rakenne. Onko varmuutta, että tuottaako esitetty malli avoimen tieteen kansalliselle toiminnalle ja sen kehittämiselle todellista lisäarvoa toteuttaa seurantaa näin yksityiskohtaisella tasolla. Olisiko mahdollista ajatella, että seurantamalli linkittyisi johonkin muuhun arviointitoimintaan, jota organisaatioista jo tehdään. Tiedeyhteisöstä nousi myös huoli siitä, pystyykö tällä seurantamallilla varmistamaan johdannossa esitetyn päämäärän toteutumisen vai kiinnittääkö seurantamalli liikaa huomiota organisaatioiden kykyyn järjestää toimintaansa ennalta määritellyllä tavalla, joka saattaa vaikuttaa siihen, ettei uusia toimintatapoja synny. Seuranta varmasti antaa tärkeää tietoa tutkimusyhteisölle avoimen tieteen keskeisistä ilmiöistä ja avoimen tieteen kehityssuunnista. Nämä asiat toki vaikuttavat tieteen ja tutkimuksen parissa toimivien organisaatioiden strategisiin painopisteisiin ja lisääntynyt tieto avoimesta tieteestä voi edesauttaa avoimuuden huomioimista näiden organisaatioiden strategiassa. Eli luvussa 1.2. pitäisi tarkentaa mitä tarkoitetaan tutkimusyhteisön strategisilla tavoitteilla. Lisäksi luvussa 1.2. olisi syytä täsmentää, mitä organisaatioiden vertailulla tavoitellaan. Kuka vertailua tekee, millä tavoin ja miksi. Luvun 1.3 alkuun olisi hyvä lisätä, että seuranta on tarkoitettu avoimen tieteen kansallisen tilan kartoittamiseen seuraamisen ja itsearvioinnin tuen lisäksi. Seurantaan liittyvällä tiedonkeruulla on mahdollisuus muodostaa käsitys siitä, miltä kansallisesti avoimen tieteen tila näyttää ja sitä voidaan mahdollisesti verrata myös kansalliseen avoimen tieteen tilaan. Tämä toki vaatii sitä, että indikaattorit kansalliseen seurantaan on valittu siten, että saman kaltaista tietoa on kerätty kansainvälisesti esim. EUA:n toimesta (vrt. EUA Open Science Survey). Luvussa 1.4. esitetty seurannan rakenne vaikuttaa nykyisellään erittäin raskaalta ja monimutkaiselta. Olisi syytä miettiä, miten sitä olisi mahdollista keventää ja selkeyttää. | Seurannassa käytetyt indikaattorit vaikuttavat kehittymättömiltä ja avoimuuden profiilien ja avoimuuden kokonaisarvion pisteytys on nykymuodossaan monimutkainen ja mielivaltainen. Seurantamalli tuottaa myös nykymuodossaan tarpeettomia kategorisointeja, jotka voivat olla pitkällä aikavälillä haitallisia avoimen tieteen kehittymiselle. Luvussa 1.5. esitetty pistejärjestelmä, joka tuottaa avoimuuden profiilin ja tason on liian monimutkainen, joka vaikuttaa siihen, että seurantamalli ei tunnu läpinäkyvältä ja yksiselitteiseltä. Huolena on, että kyselylomakkeessa annettuja subjektiivisia arvioita käytetään organisaatioiden välisessä vertailussa, jolloin koko seuranta asettaa organisaatiot kilpailutilanteeseen, jossa pisteiden kerääminen muodostuu sisältöä tärkeämmäksi. Tällä saattaa olla haitallisia vaikutuksia avoimen tieteen edistymiselle pitkällä aikavälillä. | Luvussa 1.6. on maininta, että tutkimustietovarantoon kertyvää tietoa avoimen tieteen kehityksestä seurataan jatkuvasti ja kooste julkaistaan vuosittain. Tässä epäselväksi jää, miksi tämä tiedonkeruu tehdään erillisenä avoimen tieteen seurantakyselystä. Miksi on tarpeellista kerätä tietoa vuosittain eikä kyselyntapaan kahden vuoden välein ja mihin tietoa käytetään. Seurantamallin kehittämisessä tulisi tarkasti pohtia mallin suoraviivaistamista ja sen myötä lisäresurssien tarpeellisuutta. Seurantamalliin liittyvässä dokumentissa olisi hyvä kuvat tarkemmin mihin konkreettisiin tehtäviin lisäresursseja tarvitaan. | Näihin indikaattoreihin saattaisi olla hyödyllistä miettiä saman tapaisia kysymyksiä likert-asteikkoineen, joita on käytetty EUA:n Open Science Survey –kyselyssä. Tällöin vertailtavuus kansainväliseen tasoon olisi mahdollista. | Yhteistyön indikaattorit ovat suppeat. Kansalliseen avoimen tieteen koordinaatioon osallistuneiden asiantuntijoiden määrä voi toki kansallisen koordinaation kannalta olla mielenkiintoinen asia, mutta sen merkitys avoimen tieteen edistämisessä jää epäselväksi. Ymmärrettävästi kansalliseen työhön halutaan sitouttaa laaja joukko toimijoita, mutta se ei ole kenenkään etu, että organisaatiot alkavat nimeämään kansallisiin työryhmiin asiantuntijoita, jotta tässä seurannassa on mahdollista saada pisteitä. Tämä vaikuttaa suoraan työryhmien toimintaan ja toiminnan laatuun heikentävästi, mikäli työryhmissä on nimettynä paljon sellaisia henkilöitä, joilla ei ole aikaa, halua tai tarvittavaa tietopohjaa osallistua työryhmien toimintaan. Tähän liittyen olisi syytä miettiä myös mahdollisuutta kysyä kuinka moni organisaation jäsen on osallistunut kansainvälisten toimijoiden (kuten esim. RDA:n, Knowledgde Exchangen, LIBERin tai EOSC:n) alaisiin työryhmiin avoimuuden palvelujen kehittämiseksi. Tämä toki vaatii organisaatioilta paljon selvitystyötä, mutta sen avulla olisi mahdollista hahmottaa laajempaa näkökulmaa kehittämistyöhön. Yhteistyön indikaattorit eivät myöskään anna mahdollisuutta tuoda organisaation erityispiirteitä esille. Erilaisilla organisaatioilla on varmasti erilainen lähestymistapa siihen, miten ne ovat mukana kansallisissa ja kansainvälisissä yhteistyöhankkeissa. Tämän kaltaisiin hankkeisiin osallistuminen riippuu organisaation strategisesta suuntautumisesta ja tieteenalojen välisistä eroista ja ei siksi ole verrattavissa oleva asia. Olemassa olevat indikaattorit eivät huomioi mm. yritysyhteistyötä. | Avoimen tieteen seurantamalli on toimintakulttuuriin sisältyvien tutkijan arvioinnin indikaattorien myötä varsin vahvasti linjassa Euroopan komission Human Resources Strategy for Researchers (HRS4R) hankkeen tavoitteiden kanssa. Toimintakulttuurin avoimuuden indikaattoreihin olisi hyvä lisätä myös yritysyhteistyötä kartoittavat indikaattorit. Avoimen tieteen seuranta lähestyy tieteen avoimuutta hyvin monipuolisesti ja kattavasti eri akateemisen maailman toimintoja huomioiden, mutta siinä ei huomioida tieteen rahoituksen avoimuutta. Jos tieteen rahoituksen avoimuus on tämän seurantamallin kannalta relevantti seurattava, myös se ja sen indikaattorit voisivat sopia tähän Toimintakulttuurin avoimuuden alle. | OpenAPC -palveluun toimitetut tiedot eivät tällä hetkellä ole kovin kattavia ja sen toimivuus indikaattorina on sen vuoksi rajallinen. | Aineistot ja infrastruktuurit -kohdassa erityisesti infrastruktuurien käyttöastetta ja listaamista tutkimustietovarantoon koskevien kysymysten vertailukelpoisuus organisaatioiden välillä edellyttäisi, että kaikilla organisaatioilla on yhdenmukainen käsitys siitä, minkä tasoisista kokonaisuuksista tässä puhutaan. Ei ole myöskään tarkoituksenmukaista, että kaikki infrastruktuurit listataan saman tasoisina tutkimustietovarantoon. Tässä tarvitsee olla yhteinen linja sovittuna. Olisiko tässä kohdassa tarkoitus myös kysyä kyselylomakkeella avattujen metadatojen / datasetttien määriä. Nämä on mainittu luvussa seurantamallin esittelyssä, mutta niitä ei ole huomioitu tässä kyselylomakkeessa. | Tavoitteena ei varmaankaan ole saada kaikkia oppimateriaaleja avoimiksi (vrt. tutkimusjulkaisut), joten määrällinen tavoite ei tässä ole toimiva mittari. | Avoimen julkaisemisen kokonaiskustannuksiin liittyvä tietojen keruu vaikuttaa työläältä ja olisi hyvä liittää yleiseen kirjastotilastointiin, joka antaisi tarkemmat raamit tilastoinnin yhdenmukaiselle kirjaamiselle. Vaikka tälle tiedonkeruulle olisi selkeät raamit, kokonaiskustannuksia koskeviin kysymyksiin vastaaminen vaatii runsaasti työtä organisaatioissa ja tietoja tulee yhdistää useista eri lähteistä. Tällä hetkellä järjestelmiin tallennettavat tiedot eivät sopivalla tavalla yhdistettynäkään välttämättä tuota luetettavia lukuja, koska ovat arvioita tietyistä asioista. Tämän vuoksi nykymuotoisesta kyselylomakkeesta ei voi suoraan sanoa, ovatko esitetyt indikaattorit suhteessa tavoitteeseen aidosti vertailukelpoisia eri organisaatioissa ja mittaavatko ne tarpeeksi luotettavasti tutkimusjulkaisujen saatavuuden kokonaiskustannuksia. Avoimen julkaisemisen kokonaiskustannusten seurantamallin yhteydessä ei ole myöskään tuotu esille, mihin kerättäviä tietoja on tarkoitus käyttää ja millä tavoin. Nyt on vain mahdollista arvailla, että voiko taustalla olla esim. ajatus, että kun avoin saatavuus kasvaa, painettujen julkaisujen hankintakustannukset vastaavasti pienenevät. Se, käykö näin, on kuitenkin sidoksissa organisaation tutkimusaloihin; esim. monitieteisissä yliopistoissa on tieteenaloja, joihin näin suoraviivaista päättelyä ei voi soveltaa. Erityisenä haasteena avoimen julkaisemisen kokonaiskustannusten seurannassa on avoimen julkaisemisen tukipalveluiden ja asiantuntijatyön kustannuksien laskeminen. Organisaatioiden resursointia tukipalveluihin ja asiantuntijatyöhön on vaikea muuttaa yksiselitteisesti mitattavaksi ja vertailtavia tietoja ei voida saada selville laskemalla mekaanisesti henkilötyövuosia. Useissa organisaatiossa näitä tehtäviä hoidetaan osana suurempaa ja moniammatillista tehtäväkokonaisuutta ja kokonaishenkilötyövuodet ovat parhaimmillaankin vain arvio. Epäselväksi jää, miten tällainen arvio kuvaa avoimuuden kehittymistä tai palvelun laatua? Mikäli tämän kaltaiseen malliin kuitenkin päädytään, vaatii malli vahvaa perustelua ja yhteisesti sovittuja ja kyselyssä ohjeistettuja käytäntöjä. | Kaikissa kolmessa osassa on kielellisesti vielä huolimattomuuksia. Käytetty kieli on koukeroista ja käsitteiden käytössä tulisi olla systemaattinen. Lisäksi monimutkaiset lauserakenteet erityisesti kyselyssä (osa 2) vaikeuttaa kysymyksiin vastaamista, koska paikon on vaikea ymmärtää mihin kulloinkin ollaan vastaamassa. Avoimen tieteen seurantamallin kyselyosuuden (osa 2) kysymyksiin ja vastausvaihtoehtoihin kokonaisuudessaan sisältyy huomattavaa tulkinnanvaraisuutta, mikä heikentää tulosten vertailukelpoisuutta. Kysymysten ja vastausten tulisi olla yksiselitteisempiä. Esimerkiksi: Useammassa kohdassa organisaation tarjoamien palveluiden tasoa koskevissa kysymyksissä vaihtohehtona on "henkilökohtainen palveluneuvonta". Epäselväksi kuitenkin jää, mitä tämä tarkoittaa ja miten se poikkeaa muista vastausvaihtoehdoista (keskitetty sähköpostiosoite, yksikkökohtainen palveluneuvonta). Tuleeko jokaisella tutkijalla olla henkilökohtainen avustaja, jolla on myös asiantuntemus ao. substanssista? Vaihtoehto "yksikkökohtainen palveluneuvonta" on myös epäselvä. Mihin yksiköllä viitattaan eri organisaatioissa? Vaatiiko vaihtoehto, että jokaiselle yliopiston laitokselle tai tiedekunnalle on erikseen palkattu henkilö, jolla on asiantuntemus ao. substanssista? Lisäksi vertailtavuuteen liittyvä ongelma muodostuu myös silloin, jos tarkoituksena on kahden vuoden välein muuttaa kyselyä. Pitkittäisseurannassa kysymyksenasetteluiden pitäisi olla saman muotoisia ja tuottaa sama lopputulos, jotta eri vuosina kerättyä aineistoa voidaan verrata keskenään. Tämä tietenkin vaikuttaa siihen, että kysely tulee nyt huolellisesti testata, jotta siihen valitut indikaattorit todella mittaavat sitä, mitä halutaan mitata. Seurannan ja indikaattorien näkökulmasta tärkeintä olisi miettiä, mitä mitataan ja mitä hyötyä siitä on sekä sitä, mitä kysytty asia todellisuudessa kertoo ja miten se auttaa organisaatioita kehittymään. Parhaimmillaan kyselylomakkeen avulla olisi mahdollista kartoittaa avoimen tieteen käytäntöjen kehittymistä osaksi erilaisten organisaatioiden toimintakulttuuria ja strategiaa. Seurantakyselyn avulla voisi jopa olla mahdollista kyetä tunnistamaan sellaisia avoimen tieteen osa-alueita, joiden toteuttamisessa organisaatiot ovat onnistuneet erityisen hyvin, mutta myös sellaisia, joiden käytännön toteuttaminen vaatii suurempia rakenteellisia muutoksia lähitulevaisuudessa. Tämän kaltaisten indikaattorien luominen edesauttaisi avoimen tieteen toimintakulttuurin ja käytäntöjen kehittymistä erilaisissa organisaatioissa ja auttaisi paremmin ymmärtämään, miten tulevaisuudessa tulisi tukea korkeatasoista ja avointa tutkimusta. | ||||||||||||||||
11 | Helsingin yliopisto | Helsingin yliopisto kannattaa avoimen tieteen kansallisen seurannan kehittämistä. On olennaista, että seuranta nojaa avoimen tieteen kansallisen koordinaation linjauksissa esitettyihin tavoitteisiin. Tällöin tutkimusorganisaatioilla on, ainakin periaatteessa, tiedossa se tavoitetila, joka arviointia ohjaa tällä hetkellä ja lähitulevaisuudessa. Lisäksi on tärkeää, että seurantamallissa on otettu huomioon organisaatioiden erilaisuus ja pyritty kehittämään indikaattoreita joustavaan suuntaan. Jatkossa esitetyt kommentit koskevat pääosin seurantaan käytettävien indikaattoreiden soveltuvuutta ja tiedonkeruun reunaehtoja Helsingin yliopiston kohdalla. Alla kuitenkin kootusti kolme yleisen tason kysymystä, jotka liittyvät keskeisesti seurannan tavoitteisiin, hyötyyn ja rakenteeseen: Seurannan toteutuksen aikataulu: Onko ensimmäisen arviointikierroksen toteuttaminen jo vuonna 2022 mielekästä, kun esimerkiksi tutkimustietoavarantoa koskeva lainsäädäntö on edelleen kesken ja organisaatiot eivät ole saaneet tiedonsiirtoprosesseja kaikilta osin valmiiksi? Kansalliset vs. kansainväliset tutkimuspalvelut: Ongelmaksi voi muodostua se, että avoimuuden astetta tutkimusaineistojen ja oppimateriaalien osalta arvioidaan vain kotimaisten tietovarantojen avulla (CSC:n palvelut). Tämä voi Helsingin yliopiston kaltaisen kansainvälisen organisaation kohdalla vinouttaa tiedonkeruuta, kun isoja alueita jää kyselyn ulkopuolelle. Helsingin yliopiston piirissä tehtävä tutkimus painottuu kansainväliseen yhteistyöhön useilla tieteenaloilla, jolloin tutkimuksen käyttämät palvelut sijaitsevat usein muualla kuin Suomessa. Näihin kuuluvat esimerkiksi EOSC:in ja OpenAiren tarjoamat palvelut ja niissä avatut tutkimusaineistot. Seurannan hyöty (1.2.) Seurantaa ei ole kuvauksen mukaan tarkoitus käyttää organisaatioiden rahoituksen jaon perusteena, mutta miten organisaatioiden on tarkoitus hyödyntää omaa avoimen tieteen profiiliaan/tasoaan sopimusneuvotteluissa? Kohtaa ”Seuranta tarjoaa organisaatioille yhden osan sopimusneuvotteluissa käytettävien indikaattorien valintapalettiin” tulisikin tarkentaa. | Onko näin yksityiskohtainen pisteytys tarkoituksenmukaista avoimen tieteen edistymisen seurannassa? Eikö tärkeämpää ole katsoa trendejä, eli että tilanne kehittyy parempaan suuntaan. Esimerkiksi erikokoisia yliopistoja, joissa tukitoiminnot on organisoitu eri tavoin, ei välttämättä ole järkevää vertailla samoilla mittareilla. Organisaation koosta ja luonteesta riippuu myös se, millainen balanssi on ydin- ja tukitoiminnan välillä. Liian tarkka pisteytys tuottaa myös toisenlaisia ongelmia, mitä tulee käytettyjen indikaattoreiden päivitykseen. Päivitys jollain aikajänteellä lienee tarpeellista, mutta tässä on omat riskinsä: jos indikaattoreiden pisteytyskriteerit muuttuvat liikaa, tämä voi pahimmillaan poistaa aikasarjojen käyttökelpoisuuden. Tuloksena on tilanne, jossa pisteytys ei välttämättä palvele organisaatioiden välistä eikä niiden sisäistä vertailua. Reunaehdot pisteytyksen muuttamiselle on mietittävä tarkasti. Kun ottaa huomioon, että seurantamalli pohjaa kansalliseen Avoimen tieteen ja tutkimuksen julistukseen, jonka tavoitteisiin on sitoutunut yli 60 kansallista tutkimusorganisaatiota, niin onko tarpeen määritellä sellaista nollatasoa (1), jossa organisaatio ei saa pisteitä eli ole edennyt lainkaan avoimuudessa? Tulisiko arvioinnin lähtötaso olla korkeammalla, esimerkiksi asteella 2 (vähintään 30% peruspisteistä). | (1.7.) Tutkimusaineistojen kuvailutietojen laatiminen METAX:iin tuo lisätyötä organisaatioon, mikäli tiedot olisivat muutoin saatavissa luotettavissa kansainvälisissä palveluissa. | Tässä osiossa painottuu vahvasti kansallinen kehitystoiminta. Suuren kansainvälisen yliopiston avoimen tieteen osa-alueilla työskentelevä henkilöstö toimii usein myös kansainvälisillä foorumeilla, mikä tulisi myös huomioida paremmin. Luonnoksessa arvioidaan ainoastaan yhteistyöhankkeita, ei esimerkiksi osallistumisia kehittämistyöryhmiin ja verkostoihin. | Avoimen tieteen palvelut muodostavat monessa tutkimusorganisaatiossa ison, useita eri palveluita käsittävän kokonaisuuden, joten ei ole mielekästä kysyä yhtä sähköpostiosoitetta tai puhelinnumeroa. Kysymyksen pitäisi olla muotoa ”tärkeimmät palveluosoitteet”, tms. Lisäksi tukitoiminnat on tyypillisesti järjestetty siten, että niissä on useita eri tasoja, eli on yhdistetty sekä henkilökohtainen että muu yksikkötason palvelu tarpeen mukaan. Yleinen kommentti palveluiden seurannan indikaattoreista: Tukitoimintojen automatisaatiota ei kyselyssä ole otettu huomioon lainkaan. Onko henkilökohtainen apu, jota saa esim. viikon vasteajalla, tutkijan näkökulmasta parempi kuin palveluosoite, chat-palvelu tai robotti, joka vastaa heti? | Pitkäaikaissäilytyksen (2.51) osalta esitetty arviointikriteeri ”Esim. CSC:n PAS-palveluun tai organisaation omaan palveluun siirrettyjen tietoaineistojen ja julkaisujen määrä sekä niiden prosenttiosuudet kaikista tietoaineistoista ja julkaisuista” on Helsingin yliopiston osalta mahdoton. Kun ottaa huomioon, että PAS-palvelun käyttöönotto alkoi vasta vuonna 2020, pelkkä siirrettyjen aineistojen ja julkaisujen määrä riittäisi vuonna 2022 tehtävään arviointiin. (2.52) Infrastuktuurit, ehdotettu indikaattori ”tutkimusaineistojen käyttöasteen seuranta: viittaukset ja viittauskäytänteet” voi olla ogelmallinen. Miten tämä indikaattori käytännössä tehdään vertailukelpoiseksi eri alojen ja organisaatioiden välillä? Viittaukset ja viittauskäytänteet voivat kertoa isojen kansainvälisten tutkimusinfrastuktuurien sisäisesti sopimista periaatteista, kansallisten infrakonsortioiden sisäisistä periaatteista, organisaatiokohtaisista linjauksista tai yksittäisen infrastruktuurin linjauksista organisaation sisällä. Merkittävimmät tutkimusinfrastruktuurit ovat usein useamman organisaation yhteisiä, tai erillisiä hallinnollisia yksiköitä. Seurantamalli soveltuu parhaiten yliopiston omiin infrastruktuureihin. Niissäkin voi olla esimerkiksi kansainvälisiä sitoumuksia, jotka säätelevät infrastruktuurin toimintaa ja tutkimusaineistojen saavutettavuutta. Aineisto- ja infrastruktuuripalveluiden keskeiset indikaattorit (2.53): Mitä tukipalveluiden organisointi ja tukipalveluiden saatavuuden tasapuolisuus tarkoittavat tutkimusinfrastruktuurien kohdalla? Tuskimusinfran itsensä toteuttamia tukipalveluita vai organisaation palveluita saavutettavuuden parantamiseksi? Tätä olisi hyvä täsmentää. | Avoimien oppimateriaalien käytön seurantaa ei ole mainittu palveluiden yhteydessä, vaikka vastaava indikaattori löytyy avoimista julkaisuista ja tutkimusaineistoista. Asialla on kuitenkin merkitystä, sillä sen avulla saadaan tietoa avoimien oppimateriaalien vaikuttavuudesta. Herää kysymys, vinouttaako tällaisen indikaattorin puuttuminen tiedonkeruuta, jos mitataan ainoastaan oppimateriaalien määrällistä avaamista mutta ei lainkaan avoimen materiaalin käyttöä? | Kysely on laaja, eikä kaikkea tietoa saada automaattisesti, jolloin vastaaminen vaatii runsaasti lisää resursseja organisaatioiden jo nyt tiukkaan mitoitetuilta avoimen tieteen tukipalveluilta. Esimerkiksi avoimien julkaisujen tiedonkeruussa joudutaan tiedot kokoamaan monelta taholta (FInelib-toimisto, kysely, OpenAPC) ja ne joudutaan yhdistämään, mikä aiheuttaa lisätyötä. Tietoja ei myöskään suuressa yliopistossa pystytä tuottamaan luotettavasti, koska osa maksuliikenteestä kulkee tutkijoilta ohi organisaation maksuvalvonnan. Onko painettujen aineistojen kustannusten seuranta (3.4) tarpeen avoimen julkaisemisen kokonaiskustannuksen seurantamallissa? Luonnoksesta puuttuu tieto siitä, mihin julkaisuseurantaa koskevat tiedot on tarkoitus koota. | Vastuullisen arvioinnin hengessä myös tutkimusorganisaatioille tulisi seurantamallissa antaa tilaa itsearvioinnille, kuten omien vahvuuksien, erityispiirteiden ja kehittämiskohteiden läpikäynnille. Organisaatioiden itsearvioinnilla tulisi olla jokin painoarvo seurantamallissa. Vastuullinen arviointi edellyttää myös, että käytettävässä tiedonkeruussa olevat rajoitteet tulee tuoda tuloksia raportoitaessa esiin. Koska tiedonkeruun malli on uudenlainen, organisoivan tahon on järkevää järjestää tilaisuuksia, joissa kyselyn mahdollisia ongelmakohtia voidaan käsitellä yhdessä, onhan kyseessä koko kansallista tiedeyhteisöä koskeva asia. | ||||||||||||||||||
12 | Lapin yliopisto | Kohta 1.2 Onko tässä ristiriita? millä tavalla seurannan tuloksia käytetään sopimusneuvottelussa ellei rahoituksen jaon perusteena? “Seuranta tarjoaa organisaatioille yhden osan sopimusneuvotteluissa käytettävien indikaattorien valintapalettiin. Seurannan tuloksia ei ole tarkoitettu käytettäväksi rahoituksen jaon perusteena.” Hyvää: hyödynnetään ja painotetaan indikaattoreita ja aineistoja, jotka ovat saatavilla ja vertailukelpoisia. Laadullinen kyselyosio on edelleen myös tärkeä väline erityisesti käynnissä olevan kehityksen arvioinnissa. Pitää huolehtia siitä, ettei kyselystä tule liian kuormittava. Huomioitava myös pienten organisaatioiden mahdollisuudet. Aikataulusuunnitelma (seurannan vuosisykli, s.9) vaikuttaa toimivalta. | Pisteytys on mutkikas. Jopa siinä määrin, että se voi hämärtää tavoitetta, johon pyritään. Olisi harkittava pisteytyksen yksinkertaistamista. Mihin lisäpisteet vaikuttavat? Miksi on tarve erottaa peruspisteet ja lisäpisteet? Tasojen ja asteiden välinen suhde on epäselvä. Myös tasolta toiselle siirtymisen kriteerit ovat monimutkaiset. Vaihtoehtoiset tavat tasojen saavuttamisessa lisäävät osaltaan monimutkaisuutta. Avoimuuden tasojen määrittelyä voisi yksinkertaistaa. Avoimuuden tasot tulisi myös avoimesti pystyä ennalta aukikirjoittamaan: mitä tarkoittaa, että organisaatio on avoimuuden tasolla 0 tai avoimuuden tasolla 5? | Kannatetaan olemassa olevien tietolähteiden mahdollisimman tehokasta hyödyntämistä mutta laadullista tarkastelua kokonaan unohtamatta. | Pisteytettävistä ohjaavista dokumenteista voisi koota avoimesti selkeämmän listauksen. Indikaattoreihin liitettyjen peruspisteiden ja lisäpisteiden merkitys jää hämäräksi. | Yksinkertainen asia on kysytty monimutkaisesti ja pisteytetty vielä mutkikkaammin. | - Yksikkökohtainen palveluneuvonta on nostettu pisteytyskriteeriksi useammassa kohdassa. Jää epäselväksi/kyseenalaiseksi miksi yksikkökohtainen palveluneuvonta antaa lisäpisteitä, esim. suhteessa keskitettyyn palveluneuvontaan. - Palvelujen pisteytyksen yksityiskohtaisuus (esim. Avoimen tieteen juridiikkaan keskittynyt palvelupiste /sähköpostiosoite tai puhelinnumero) voi olla tarpeettoman tarkkaa arviointia tavoitteisiin nähden | Selkeä ja selvästi kehittynein osio. | Mitä dokumentissa tarkoitetaan aineistonhallinnan työkaluilla? Tietolähdettä ei ole mainittu. Indikaattorissa on mainittu “työkalu” yksikössä. Tulisi määritellä mitä työkaluilla tarkoitetaan. | Indikaattorit mittaavat oppimisen avoimuutta ja niissä on hyvin otettu esiin avoimuutta edistävien tuentarpeiden laaja-alaisuus, vaikka oppimisen avoimuus on avoimen tieteen kehityksessä vielä suhteellisen alkuvaiheessa olevan osa-alue. Ottaako seuranta ja pisteytys huomioon, että indikaattoreissa mainitut palvelut ja kannustimet ovat merkittävässä määrin kansallisiin hankkeisiin kytkeytyviä, eivätkä pelkästään organisaatiokohtaisia (esim. Digivisio 2030)? | Kattava. Osa vastauksista jää väistämättä arvioksi. | Suunnitelma seurannasta on perusteellinen ja yksityiskohtainen, ehkä liiaksikin. Yleisenä kommenttina huolestuttaa seurannan kuormittavuus ja työllistävyys erityisesti pienissä organisaatioissa. Malli on tarkoitettu selvästi myös ohjaavaksi. Onko pisteytys turhankin monimutkainen tähän tarkoitukseen? Pisteytyksen kokonaisuus ei hahmotu kovin selkeänä. Pisteytyksen monimutkaisuus hämärtää arvioinnin läpinäkyvyyttä. Jää epäselväksi mihin lisäpisteet vaikuttavat? Yksityiskohtaisuus kuitenkin antaa näkökulmia ja tukee organisaation kehitystyötä. Suunnitellun kehittämisen, monitoroinnin ja seurannan työläys suhteessa resursointiin: luonnoksessa todetaan, että nimetyn vastuutahon resursointi ei mahdollista suunnitellun seurannan toteutusta ilman lisäresursointia. | ||||||||||||||||
13 | ||||||||||||||||||||||||||||
14 | ||||||||||||||||||||||||||||
15 | ||||||||||||||||||||||||||||
16 | ||||||||||||||||||||||||||||
17 | ||||||||||||||||||||||||||||
18 | ||||||||||||||||||||||||||||
19 | ||||||||||||||||||||||||||||
20 | ||||||||||||||||||||||||||||
21 | ||||||||||||||||||||||||||||
22 | ||||||||||||||||||||||||||||
23 | ||||||||||||||||||||||||||||
24 | ||||||||||||||||||||||||||||
25 | ||||||||||||||||||||||||||||
26 | ||||||||||||||||||||||||||||
27 | ||||||||||||||||||||||||||||
28 | ||||||||||||||||||||||||||||
29 | ||||||||||||||||||||||||||||
30 | ||||||||||||||||||||||||||||
31 | ||||||||||||||||||||||||||||
32 | ||||||||||||||||||||||||||||
33 | ||||||||||||||||||||||||||||
34 | ||||||||||||||||||||||||||||
35 | ||||||||||||||||||||||||||||
36 | ||||||||||||||||||||||||||||
37 | ||||||||||||||||||||||||||||
38 | ||||||||||||||||||||||||||||
39 | ||||||||||||||||||||||||||||
40 | ||||||||||||||||||||||||||||
41 | ||||||||||||||||||||||||||||
42 | ||||||||||||||||||||||||||||
43 | ||||||||||||||||||||||||||||
44 | ||||||||||||||||||||||||||||
45 | ||||||||||||||||||||||||||||
46 | ||||||||||||||||||||||||||||
47 | ||||||||||||||||||||||||||||
48 | ||||||||||||||||||||||||||||
49 | ||||||||||||||||||||||||||||
50 | ||||||||||||||||||||||||||||
51 | ||||||||||||||||||||||||||||
52 | ||||||||||||||||||||||||||||
53 | ||||||||||||||||||||||||||||
54 | ||||||||||||||||||||||||||||
55 | ||||||||||||||||||||||||||||
56 | ||||||||||||||||||||||||||||
57 | ||||||||||||||||||||||||||||
58 | ||||||||||||||||||||||||||||
59 | ||||||||||||||||||||||||||||
60 | ||||||||||||||||||||||||||||
61 | ||||||||||||||||||||||||||||
62 | ||||||||||||||||||||||||||||
63 | ||||||||||||||||||||||||||||
64 | ||||||||||||||||||||||||||||
65 | ||||||||||||||||||||||||||||
66 | ||||||||||||||||||||||||||||
67 | ||||||||||||||||||||||||||||
68 | ||||||||||||||||||||||||||||
69 | ||||||||||||||||||||||||||||
70 | ||||||||||||||||||||||||||||
71 | ||||||||||||||||||||||||||||
72 | ||||||||||||||||||||||||||||
73 | ||||||||||||||||||||||||||||
74 | ||||||||||||||||||||||||||||
75 | ||||||||||||||||||||||||||||
76 | ||||||||||||||||||||||||||||
77 | ||||||||||||||||||||||||||||
78 | ||||||||||||||||||||||||||||
79 | ||||||||||||||||||||||||||||
80 | ||||||||||||||||||||||||||||
81 | ||||||||||||||||||||||||||||
82 | ||||||||||||||||||||||||||||
83 | ||||||||||||||||||||||||||||
84 | ||||||||||||||||||||||||||||
85 | ||||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||||
100 |