A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | AB | AC | AD | AE | AF | AG | AH | ||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | KOMMENTOIJA | Tutkimusrahoittajien avoimen tieteen käytännöt -työkalu | Suositus avoimen tieteen kansallisten infrastruktuurien kehittämiseksi ja ylläpitämiseksi | Suositus tutkimusorganisaatioiden avoimen tieteen palveluiden resursointiin | Keinoja tutkimusyhteisön ulkopuolisen rahoituksen tuotosten avaamiseksi | Tarvitaanko muita lyhyen aikavälin suosituksia? | Suositus Avoimen tieteen kehittämisrahaston perustamiseksi | Korkeakoulujen rahoitusmallin kehittäminen | Tutkimusjulkaisemisen kustannusten tasapainottaminen | Millä tavoin tekoälyn kehitys vaikuttaa tutkimusjulkaisemisen rahoitustarpeisiin tulevaisuudessa? | Tarvitaanko muita pitkän aikavälin suosituksia? | Johdantoa, lukuohje ja tiivistelmä | Tiekartan kokonaiskuva ja rakenne | Yleiset kommentit | |||||||||||||||||||||
2 | Helsingin yliopisto | Yleistä: tiekartan lukuohjeessa suosituksen osa ”Tutkimusrahoittajien avoimen tieteen käytännöt” on suunnattu kommentoitavaksi ainoastaan tutkimusrahoittajille, vaikka siellä on useita kohtia, jotka koskevat myös tutkimusorganisaatioita. Avoimen tieteen käytännöt -työkalu on erittäin tarpeellinen erityisesti säätiöille, jotka rahoittavat merkittävän määrän tutkimuksesta, mutta eivät yleensä huomioi suoraan avointa tiedettä. Avoin julkaiseminen: Varsinkin pienempiä rahoittajia ajatellen avoimen julkaisemisen taso 3 on varsin haasteellinen. Samoin rahoittajan läpinäkyvyyden tason 3 saavuttaminen ei ole realistinen kuin kaikkein suurimmille tutkimusrahoittajille. Tutkimusaineistojen ja -menetelmien avoimuus: “Tutkimusaineistojen ja -menetelmien avoimuus lisää tieteellisen tutkimuksen luotettavuutta ja toistettavuutta” (s. 12) tulisi muuttaa muotoon ”Tutkimusaineistojen ja -menetelmien avoimuus on edellytys tieteellisen tutkimuksen luotettavuudelle ja toistettavuudelle.” Pelkkä tutkimusjulkaisu ei mahdollista tutkimuksen toistettavuutta. Taso 1 kuvaa lähinnä nykytilannetta. Mikäli se jää suositukseen, se antaa rahoittajille viestin siitä, että tämä taso on riittävä. Vasta taso 2 edistää avoimuutta. Aineistonhallintasuunnitelman toimittaminen rahoittajalle on usein turhaa, jos sitä ei rahoittajan toimesta arvioida kuten tutkimussuunnitelmia. Tehokkaampaa on, jos rahoittaja vaatii suorituspaikan sitoumuksen aineistonhallintasuunnitelmaan, jolloin suorituspaikka tarkistaa suunnitelman realistisuuden ja samalla voidaan arvioida projektin tuen tarvetta. Tasolla 3 rahoittajan ei välttämättä tarvitse itse toteuttaa seurantaa, vaan edellyttää seurantaa ja raportointia suorituspaikalta. Tällä velvoitteella voitaisiin perustella tiettyjen palveluiden rakentaminen. Rahoittajan tulisi edellyttää suorituspaikalta avoimen tieteen käytännöt mahdollistavia palveluita, joita voidaan tuottaa tutkimusrahoituksen yleiskustannuksiin varatusta osuudesta. Yksittäisen tutkijan on esimerkiksi vaikea noudattaa FAIR-periaatteita, mikäli tarjolla ei ole niitä noudattavia palveluita. FAIR-periaatteiden on hyvä näkyä myös tutkijoiden tavoitteissa, mutta paineen kohdistaminen tutkijoihin ei tuota toivottua tulosta. Tutkimusinfrastruktuurien rahoituksessa FAIR-painotus on merkittävämpi. | Suositukset infrastruktuurien kehittämiseksi ja ylläpitämiseksi jäävät melko yleiselle tasolle. Kappaleessa käytännössä suositellaan varmistamaan kansallisille infroille riittävä rahoitus ja hakemaan hakerahoitusta uusiin infrastruktuureihin. Helsingin yliopisto omistaa kaksi sivujen 15–16 taulukossa mainittua tutkimusinfrastruktuuria. Suosituksen mukaiset tutkimusinfrastruktuurien ylläpitämisen ja kehittämisen tavoitteet löytyvät jo yliopiston strategiasta. Suosituksen sanoitus (avoimen tieteen infrastruktuurit/avoimuuden infrastruktuurit) on ongelmallinen, sillä avoimuus on usein tutkimusinfrastruktuurin toimintaperiaate, mutta ei syy siihen, miksi se on olemassa. Taulukossa ei ole eroteltu sitä, onko mainittu infrastruktuuri FIRI-rahoitusta saava, eri tutkimusaloja tukeva infrastruktuuri vai nimenomaan avoimen tieteen edistämiseen luotu, kaikille palveluita tarjoava infrastruktuuri. Myös kansainväliset infrastruktuurit ovat olennainen osa kokonaisuutta. Keskittyminen vain kansallisen tahon kehittämiseen ei riitä: tutkimusorganisaatioiden aikaa ja resursseja tarvitaan myös laajempiin, kansainvälisiin infrastruktuurihankkeisiin. Taulukossa olisi hyvä avata infrastruktuurien koko nimet. Esim. Laji.fi = Suomen Lajitietokeskus, jonka toimintaan tulisi lisätä myös tutkimusaineistojen ja -menetelmien avoimuus (koko tutkimusinfrastruktuuri palvelee lajitiedon jakamista avoimesti) sekä oppimisen avoimuus. DMPTuuli tuodaan esiin esimerkkinä infrastruktuurien ongelmakohdista, vaikka sen pitäisi olla esimerkki yhteisesti kehitetystä ja yhteistyössä rahoitetusta DMP-työkalusta ja siihen liittyvästä asiantuntijapalvelusta. Konsortion pystyttäminen vaati paljon työtä, mutta kun se on tehty, toiminnan ylläpitäminen ei vaadi suuria ponnistuksia. | Onko suosituksessa tarpeen yksilöidä näin tarkasti avoimen tieteen palveluita? Vastaavat suositukset palveluista on jo annettu aiemmissa kansallisissa linjauksissa ja suosituksissa, palvelut on kuvattu avoimen tieteen viitearkkitehtuurissa ja tämän lisäksi avoimen tieteen seurannassa kysytään samat kysymykset palveluista ja yhteistyöstä joka toinen vuosi. Tutkimusorganisaatiot ovat toiminnassaan autonomisia, joten ne arvioivat itse oman palvelutarpeensa ja sen vaatiman resursoinnin. Osa avoimen tieteen palveluista rahoitetaan perusrahoituksella, mutta myös ulkopuolisen tutkimusrahoituksen yleiskustannusosuuksista. On tärkeää, että rahoittajat edellyttävät, että suorituspaikka huolehtii peruspalveluista. Tämä kannustaa tutkimusorganisaatiota ohjaamaan osan yleiskustannusosuudesta avoimen tieteen palveluihin. Monia avoimen tieteen palveluita (kuten datanhallintasuunnitelmien kommentointi ja tarkastaminen) tuotetaan juuri tutkimushankkeille, jotka ovat saaneet organisaation ulkopuolelta tulevan tutkimusrahoituksen. Sivuilla 18–19 oleva taulukko sisältää sekä liikaa että liian vähän informaatiota, ja siksi sen käyttökelpoisuus on rajallinen. Avoimen tieteen palveluihin on listattu asioita, jotka eivät sinne kuulu, kuten tieteellisen kirjoittamisen tuki tai tutkimusmenetelmien käytön tuki. Nämä ovat tutkimusalakohtaisia asioita, joiden toteutuminen ei liity välttämättä avoimeen tieteeseen lainkaan. Julkaisemisen tuessa ei mainita organisaatioiden omia avoimia julkaisupalveluita, vaikka niitä on jo useammassa yliopistossa. Viittaus HTK:hon samassa yhteydessä on epäselvä. Myös edistyneemmällä tasolla olevat palvelut vaativat panostusta pysyäkseen mukana kehityksessä ja pystyäkseen vastaamaan asiakkaiden muuttuviin ja moninaisiin tarpeisiin. Siksi kappale kehitysnopeudesta tulisi jättää pois. Tavoitetaso on liikkuva maali, joten nopeakaan kehitys ei tarkoita, että kaikki tarvittavat palvelut olisivat valmiina 5–7 vuoden kuluttua. Kehityksen tärkeimpänä hidasteena ei ole aina rahan vaan myös osaavan henkilöstön puute. Suositus avoimen tieteen edistämisestä työsuunnitelmissa: Suosituksella tavoitellaan sinänsä kannatettavasti avoimen tieteen aktiivisuuden tuomista näkyväksi, mutta siinä on joitakin perustavia ongelmia. Kuten suosituksessa todetaan, avoimuus on jo integraalinen osa tieteen tekoa, joten siihen kuuluva aika on hankalasti erotettavissa muusta opetus- ja tutkimusajasta. Työsuunnitelmia ei nykyisellään juurikaan seurata, joten toimenpiteellä olisi erittäin pieni vaikutus. Avoimen tieteen aktiivisuus ja osaaminen kannattaakin tuoda esiin tuotosten ja erilaisten tehtävien kautta, mikä taas liittyy vastuullisen tutkijanarvioinnin edistämiseen. Tutkimusorganisaatioiden välinen resurssien jakaminen: Kannatamme yhteystyön kehittämistä, mutta se on helpointa toteuttaa olemassa olevien rakenteiden kautta. Yhteistyöosiossa myös painotetaan maantieteellisen läheisyyden tarvetta, mikä ei ole välttämätöntä. DMP-konsortio mainitaan suosituksessa yhteistyön esimerkkinä, mutta kallein ja merkittävin konsortion hankinta on asiantuntijuus ja vasta toisena tulee DMPTuuli-työkalu. Konsortion hankkima asiantuntijatuki auttaa kaikkien konsortiossa mukana olevien organisaatioiden tutkimusdatapalveluita. Resurssien jakaminen tutkimuksen kolmannen sektorin kanssa: Tutkimusorganisaatiot rahoittavat jo nykyiselläänkin merkittävästi seurojen toimintaa. Organisaatiot tilaavat seurojen julkaisuja. Seuroissa vapaaehtoisina työskentelevät ovat usein yliopiston palkkalistoilla ja voivat siten käyttää yliopiston avoimen tieteen palveluita, osallistua koulutuksiin, verkostoitua, ym. Usein seurojen työssä mukana olevat saavat käyttää tähän osan työajastaan. Kappaleesta saa sen virheellisen kuvan, että tutkimusorganisaatiot osallistuisivat vain rinnakkaistallennukseen. | Suosituksen otsikkoa pitäisi vielä muokata, koska kyse on tutkimustuotoksista eikä ”rahoituksen tuotoksista”. Yritysyhteistyössä on monia reunaehtoja, jotka rajoittavat avoimuutta, kuten patentit ja liikesalaisuudet. Kuten suosituksessa on todettu, tutkimustuotosten avaamiseen on paremmat edellytykset kolmannen sektorin toimijoiden kanssa. Tutkijoiden näkökulmasta tärkeää on tutkimusorganisaatioiden tarjoama tuki tekijänoikeuskysymyksiin ja lisensointiin. Suositus tekijänoikeuksien säilyttämisestä sisältää kuitenkin sen riskin, että tutkimustuloksia ei sitten avattaisi lainkaan. Tämä on vastoin avoimen tieteen yleistä tavoitetta: avoimet aineistot ja muut tutkimustuotokset, jotka on lisensoitu tavalla, joka mahdollistaa jatkokäytön ja aineistojen tekijään viittaamisen. | Jos ministeriö ei ole valmis aidosti lisäämään panostustaan avoimuuden tukemiseen, niin rahasto olisi vain uusi tapa ohjata yliopistojen ja korkeakoulujen perusrahoitusta, mikä synnyttäisi uusia ongelmia. Jos kehittämisrahaston pääomat koottaisiin tutkimusorganisaatioiden rahoituksesta, niin tulos olisi nollasummapeliä. Jos yliopistojen aineistorahoja tai rahoitusosuuksia leikattaisiin, yliopistojen pitäisi puolestaan leikata perustoiminnoistaan, eli rahoitus siirtyisi itse tutkimuksen teosta ja sen mahdollistavista palveluista yksittäisiin projekteihin. Uusi rakenne toisi myös lisää hallintokuluja ja byrokratiaa. Yliopistot osaavat itse ohjata avoimuuden tukemiseen käytettävät rahat, ilman että siitä päättää joku erillinen taho tai pahimmassa tapauksessa muiden intressiryhmien edustajat. Yliopistojen budjetit eivät voi olla lähtökohtaisena rahoittajina kaikkien osapuolten toiveille. Avoimen tieteen infrastruktuurien tukeminen: tässä törmätään samaan ongelmaan kuin infrastruktuureja koskevassa luvussa edellä. Tutkimusinfrastruktuureja tuetaan jo FIRI-rahoituksella, mitä rahaston perustaminen tarkoittaisi niiden kohdalla? Avoimen tieteen infrastruktuurien kehitystä voitaisiin tukea esim. osana FIRI-rahoitusta, mikäli avoimen tieteen palvelut aidosti tunnistettaisiin olennaiseksi osaksi tieteen tekemistä. Konsortio esitellään suosituksessa esimerkkinä raskaasta mallista, vaikka mallin toimivuus on kiinni koordinaatiosta ja järkevistä säännöistä. Nykyisiä konsortioita kannattaa hyödyntää ja miettiä, voisiko näiden kautta hankkia muita palveluita tai tehdä muunlaista yhteistyötä. Vaikka yhteistyö on tärkeää, myös kilpailu tuo edistystä. Yliopistot kilpailevat keskenään ja yksi kilpailutekijä on paremmat tutkimusedellytykset ja tukipalvelut. Vaikka hyvät avoimen tieteen palvelut luotaisiinkin alkuperin kilpailun vuoksi, edistävät nekin lopulta yhteistä etua. | Vakaan ja ennustettavan perusrahoituksen turvaaminen on paljon olennaisempaa kuin uusien avoimuuden indikaattorien luominen. Avoimen tieteen indikaattoreiden tulisi olla sellaisia, jotka kohtelevat tutkimusaloja tasapuolisesti. | Keskustelu ja yhteisen tahtotilan luominen on tärkeä asia, mutta keskustelun olisi syytä olla jatkuvaa. Lisäksi epätasapaino vaivaa myös sitä, miten avoimen julkaisemisen haasteet on suosituksessa esitetty. Suosituksessa esitetään vahvasti nk. timanttimallisen avoimen julkaisemisen vakiinnuttamista. Timanttimalli ei monestakaan syystä ole realistinen kaikenkattavaksi avoimen julkaisemisen tavaksi. Malli edellyttää toteutuakseen organisaatioiden rahallisen tuen julkaisijoille, mutta sen rahoittamiseen ei ole olemassa yhden koon ratkaisua. Yleensä yliopistot vastaavat kaikista timanttimallisen julkaisemisen kuluista, jolloin yliopistojen maksutaakka kasvaisi entisestään. Tutkijalla on vapaus valita kanava, jossa hän haluaa julkaista ja valintaan vaikuttavat monet seikat, kuten tieteenalan käytännöt ja esimerkiksi julkaisufoorumiluokitus. Timanttimallinen julkaiseminen, johon rahat haluttaisiin suunnata, ei ole vielä niin kattava kustannusmuoto, että se pystyisi vastaamaan kaikkiin tutkijoiden tarpeisiin. Suosituksessa mainitut kotimaiset tiedekustantajat ovat heterogeeninen joukko, johon kuuluu tieteellisiä seuroja (jotka pääsääntöisesti julkaisevat avoimesti perimättä kirjoitusmaksua), mutta myös näihin liittyviä tai täysin erillisiä kustantamoita, joiden tulot tulevat pääosin julkaisujen myynnistä. Yhteisen rahoitusmallin luominen ansaintalogiikoiltaan erilaisille organisaatioille on haastava tehtävä. Tiekartassa ei oteta mitään kantaa siihen, miten tämä julkaisumalli rahoitettaisiin ja millä kriteereillä. Suosituksessa esitetään virheellisiä ja värittyneitä väitteitä rinnakkaistallentamisesta, joka on vakiintunut, tutkijoille tasaveroinen ja tutkimusrahoittajien hyväksymä maksuttoman avoimen julkaisemisen muoto. Rinnakkaistallennus on tutkimusorganisaatiolle keskeistä julkaisujen pitkäaikaisen saatavuuden turvaamiseksi. Rinnakkaistallentamisen ja timanttimallin välille ei kannata rakentaa tarpeetonta vastakkainasettelua, koska ne vastaavat erilaisiin avoimeen julkaisemiseen liittyviin tarpeisiin. Kirjastojen tehtävänä on tukea tutkijoita avoimessa julkaisemisessa ja tarjota pääsy tutkijoiden tarvitsemiin tiedonlähteisiin. Avoimen julkaisemisen arvo on laajasti tunnustettu, mutta on hyvä huomioida, että aineistojen hankinta ja avoimen julkaisemisen tukeminen ovat tarvelähtöistä toimintaa, jota kukin organisaatio toteuttaa omien mahdollisuuksiensa mukaan. Yliopistokirjastojen tehtävä on palvella yliopistojen tutkimusta, eikä sitä voi tehdä olematta yhteistyössä suurimpien tutkimusjulkaisijoiden kanssa. FinELib-konsortiota koskevat kohdat vaativat tarkennusta: “Suomen kontekstissa keskeisessä roolissa tässä ovat FinELib-konsortion jäsenet, joiden kautta valtaosa tutkimusjulkaisemiseen käytettävistä rahoista kulkee” (s.31). Konsortion jäsenet maksavat FinELib-sopimukset, rahat eivät ‘kulje niiden kautta’. Rahat kasautuvat isoille toimijoille, koske ne julkaisevat suurimman osan nykyään tehtävästä tutkimuksesta. Rahoituksen siirtäminen isoilta kansainvälisiltä kustantamoilta pienille kotimaisille toimijoille tai timanttimallille ei tarjoa tutkijoillemme niitä julkaisukanavia, joita he valitsevat käyttää. Suurin osa suomalaisten tutkijoiden tekemästä tieteestä kuitenkin julkaistaan kansainvälisesti. “Kohtuuttoman paljon rahoituksesta kuluu ei-avointen julkaisujen lisenssimaksuihin, julkaisuja kirjoittaneiden tutkijoiden tai näiden taustaorganisaatioiden maksamiin käsittelymaksuihin (APC/BPC-maksut) ja transformatiivisiin sopimuksiin.”(s.30). Näillä rahoilla mahdollistetaan pääsy tutkimusjulkaisuihin, joita ilman ei yksikään tutkija voisi tehdä työtään. Näillä rahoilla on myös avattu huima määrä suomalaista tutkimusta koko maailman käyttöön. | Tiekartan rakenne vaatii vielä selkeyttämistä: vain pieni osa käsittelee itse aihetta eli avoimen tieteen rahoitusta. Tiekartan sisältöä kuvaavia osuuksia on nyt kaikkiaan neljä tai viisi: sisällysluettelo, johdanto, tiekartan lukuohje, tiekartan tiivistelmä sekä vielä seuraavan luvun johdanto-osa (tiekartan kokonaiskuva ja rakenne). Liian pitkä johdanto-osuus raskauttaa esitystä, ja tekee hankalaksi sen hahmottamisen, mikä on dokumentin keskeinen sisältö (suositukset). Suositusten tiivistelmä kannattaisi sijoittaa dokumentin loppuun. | Yleistä: suosituksen kieliasu vaatii vielä hiomista. s. 10 r. 3 “Lisäksi työkalun tavoitteena on vastuullisuutta avoimuutta koskevien yhteisten rahoituskäytäntöjen luominen ja sanoittaminen julki” po. vastuullisuutta ja avoimuutta s 1 ja 2: ”Avoimen tieteen ja tutkimuksen tiekartan” po. avoimen tieteen ja tutkimuksen rahoituksen tiekartan.. 22: “Avoimen tieteen ja tutkimuksen juridisen yhteentoimivuuden parantaminen” on epäselvä ilmaus, joka voisi avata vaikkapa esimerkin avulla. 28: ”tutkimustuotosten skaalaaminen” vaatii aukikirjoittamista | |||||||||||||||||||||||||
3 | Tampereen yliopisto | Työkalu on tarpeellinen osa tiekarttaa. Rahoittajien käytänteillä on merkittävä rooli avoimen tieteen hyvien ja vastuullisten käytänteiden edistämisessä. Sitä tulisi kuitenkin kehittää merkittävästi kunnianhimoisemmaksi. Lähtökohtana on käytetty erityisesti kotimaisia avoimen tieteen linjauksia ja suosituksia, mutta huomiotta jää, että niistä suuri osa on jo varsin vanhoja, ja kansainvälinen kehitys on ajanut monessa kohtaa niistä jo ohi. Kotimaisten rahoittajien käytänteiden jääminen kansainvälisten rahoittajien käytänteistä jälkeen on omiaan heikentämään Suomen avoimen tieteen toteutumista ja myös tutkijoiden kilpailukykyä kansainvälisissä merkittävissä rahoitushauissa. Työkalussa esitetty taso 1 tulisikin kautta linjan poistaa, taso 2 muuttaa perustasoksi, ja tilalle tulisi kehittää ajantasaisempi ja kehitystä aktiivisesti vauhdittava taso 3. TAU haluaa kysyä, miksi tutkimusrahoittajat nostavat erikseen kannustettavaksi yhden julkaisuformaatin (preprintit). On tärkeää, että tutkimusyhteisön jäsenet valitsevat itse aiheelleen ja kohdeyleisölleen tarkoituksenmukaiset julkaisuformaatit ja ne mahdollistavat vastuulliset julkaisukanavat. Yksittäisen julkaisuformaatin asemesta TAU toivoo tuotavan selkeämmin kannustaen esille kaikille tasapuolisen pääsyn tutkittuun tietoon ja myös sen pitkäaikaissaatavuuden periaatteen. (Tasapuoliseen pääsyyn lukeutuu myös tieteen tulosten yleistajuistaminen ja viestiminen.) | Suositus on tarpeellinen, mutta ei varsinaisesti osa rahoituksen tiekarttaa. TAU haluaa silti painottaa tarvetta selkeämpään kansalliseen koordinaatioon, jotta Suomessa ei kehitetä ei-tarkoituksenmukaisesti samaan tarkoitukseen useampaa infrastruktuuria (esim. Tilastokeskus, Findata, CSC). Myös kansallista lainsäädäntöä tulisi ajantasaistaa niin, että se ottaa johdonmukaisemmin huomioon digitaalisen transformaation ja vastuullisen avoimen tieteen mahdollistamisen. Epäselväksi jää, mikä taho määrittelee keskeiset uudet infrastruktuurit ja miten Tiekartassa on ymmärretty infrastruktuurit. Esimerkiksi mukana on Finn-Arma. - Miksi sen resursoinnista vastaava taho on ensisijaisesti CSC? TAU haluaa korostaa, että sen taustalla on tutkimusorganisaatioiden resursoima mittava asiantuntijatyö, mikä on erittäin merkittävä taloudellinen panostus avoimen tieteen kehittämiseen ja edistämiseen. Sama ilmiö toistuu AVOTT-koordinaation ja TTV:n kohdalla. Vaikkakaan tämä ei ole rahoituksen tiekartan sisältökysymys, niin tähän liittyen olisi omassa relevantissa yhteydessään tarpeen määritellä läpinäkyvä ja selkeä hallintamalli, josta selviää, mitkä tahot priorisoivat ja toteuttavat näitä kehitettäviä kansallisen tason infrastruktuureja. Epäselväksi myös jää, miten Tiekartta on ottanut huomioon kansallisen AVOTT-viitearkkitehtuurin (2024), jossa on jo kattavasti tunnistettu paikallisen, kansallisen ja kansainvälisen kehittämisen tarpeet sekä keskeiset toimijat ja niiden roolit. Tiekartta näyttäytyy tästä irrallisena, mikä ei ole Tiekartta-toimeksiannon tavoitteen näkökulmasta sisällöllisesti tarkoituksenmukaista eikä myöskään vastaa tehokasta ja vastuullista asiantuntijaresurssien käyttöä. TAU toivoo, että AVOTT pohtii aiempaa tarkemmin jo tehdyn relevantin työn tehokkaampaa hyödyntämistä. | Mikä on AVOTTin voimassa olemassa olevien suositusten/linjausten ja arkkitehtuurien suhde tähän suositukseen? TAU suositteleekin tämän osion sisällyttämistä pikemminkin osaksi AVOTT-seurantaa ja tässä hyödynnettävän nykyistä tiiviimmin AVOTT-viitearkkitehtuurityötä. Em. viitearkkitehtuurityössä on tunnistettu myös kansainvälisten palveluiden ja kyvykkyyksien rooli, ja tätä aspektia ei tulisi sivuuttaa kotimaisessa rahoituspohdinnassa. - Ei ole tarkoituksenmukaista pyrkiä täyttämään kaikkia tarpeita organisatorisella tai kansallisella tasolla tieteen ollessa kuitenkin luonteeltaan kansainvälistä ja kansainvälisen ratkaisun toimiessa välillä parhaiten myös kansallisiin tarpeisiin. TAU toivookin aiempaa aktiivisemmin tarkasteltavan, miten Suomi voisi olla aktiivisemmin osana kansainvälistä kehitystä. | Tämä osio kylläkin liittyy aiheeseen, mutta ei näyttäydy kyllin relevanttina sisällytettäväksi Tiekarttaan. Tätä puolta ja jaettua tahtotilaa tulisi kehittää aktiivisessa vuoropuhelussa mm. yritysten kanssa. | TAU suosittelee, että avoin tiede integroidaan pitkäjänteisesti osaksi tutkimusorganisaatioiden nykyisiä rahoitusmalleja ilman uusia rahoitusmalleja, ja aiempaa huolellisemmin pohditaan ja varmistetaan, mistä on tarkoituksenmukaisinta (sis. taloudellisuus) vastata keskitetysti. | TAU pitää esitystä tarpeellisena. | Suositus on tärkeä, mutta jättää tässä kehitysvaiheessa vielä paljon tilaa tulkinnoille. Erityisesti tasapainottaminen terminä on haastava ja monitulkintainen. | Tekoälyn kehitys on niin nopeaa, että vielä on vaikea esittää täsmällisiä arvioita. Kehitystä ja sen vaikutuksia tulee kuitenkin seurata ja pohtia säännönmukaisesti. | Tampereen yliopisto kiittää mahdollisuudesta kommentoida Tiekarttaa ja on halukas kommentoimaan myös sen seuraavaa versiota. | |||||||||||||||||||||||||
4 | Aalto-yliopisto | Tarpeellinen osa tiekarttaa. Rahoittajien, jotka ovat allekirjoittaneet tai muuten sitoutuneet kansallisiin tai kansainvälisiin vastuullisen avoimuuden linjauksiin, odotetaan myös toimivan ja kehityttävän näiden periaatteiden mukaisesti. Esimerkiksi edellyttämällä välitöntä rinnakkaistallentamista PlanS:n Rights Retention Strategyn mukaisesti. Näin tuetaan tutkijaa ei vain julkaisun avaamisessa, vain myös tutkimustuotosten pitkäaikaissäilytyksessä. Lisäksi luodaan tätä kautta paremmat edellytykset julkaisujen levittämiselle tapauksissa, joissa kustannustehokkaisiin kansallisiin lisenssisopimuksiin ei päästä. | Tarpeellinen osa tiekarttaa. • Suomen Akatemian infrastruktuureille suunnattu rahoitus tulisi olla mahdollinen rahoituslähde myös avoimen tieteen kansallisten infrastruktuurien kehittämiseksi ja ylläpitämiseksi. • Ovatko kaikki listassa olevat infrastruktuurit avoimen tieteen infrastruktuureja? Tarvitaanko tarkempia määritelmiä kansalliselle infrastruktuurille ja avoimen tieteen infrastruktuurille? Kuka päättää mikä on kansallinen infrastruktuuri? • avoindata.fi puuttuu tärkeiden infrojen listalta • Miksi DMPTuuli on käytetty esimerkkinä? Siinähän ei peritä tekstissä mainittua vapaehtoista maksua, vain konsortiojäsenyyteen perustava maksu. • FinELib on kansallinen infrastruktuuri aineistohankinnalle, jonka toiminta tulisi lähteä asiakkaiden palvelu- ja tilaustarpeista. • Pysyviä tunnisteita hallinnoiva ja myöntävä kansallinen taho - tätä olisi syytä avata. Mitkä pysyvät tunnisteet? Kuka olisi vastuussa? | Tarpeellinen osa tiekarttaa. • Suositus A) Millä tavalla “avoimen julkaisutoiminnan edistäminen esimerkiksi avointen julkaisukanavien toimituskuntatyössä tai avoimesti saatavilla olevien julkaisujen vertaisarvioinnissa” eroaa muusta julkaisutoiminnasta ja vertaisarvioinnista? • Suositus A) Kun on määritelty mitkä ovat avoimen tieteen infrastruktuurit, olisiko hyvä lisätä Läpileikkaavat palvelut/ Avoimen tieteen ja tutkimuksen mahdollistaminen “kansallisten avoimen tieteen infrastruktuurien ohjaamiseen ja kehittämiseen osallistuminen” • B) a. “Olemassa olevia esimerkkejä ovat esimerkiksi DMP-konsortion tuottama Tuuli-työkalu sekä ammattikorkeakoulujen yhteisesti tuottama Theseus-arkisto.” DMPTuuli:han on aikaisemmin määritelty infrastruktuuriksi dokumentissa. Mikä on infrastruktuurin ja yhteispalvelun ero? • Kehitysvauhdin lisääminen dokumenttiin tuo realismia, koska muutokset toimintakulttuurissa tapahtuvat hitaasti, vaikka toimintaedellytykset muuttuvat nopeasti. • Muutokset toimintaympäristössä, teknologiassa ja lainsäädännössä vaativat tukipalveluiden jatkuvaa ylläpitoa. • Yhteistyötä koulutuksen ja materiaalien jakamiseksi tehdään jo paljon. CSC:n ja Aalto-yliopiston kaikille avoimet koulutukset voisi mainita Tampereen koulutusten lisäksi | Tämä osuus on pikemminkin taustatietoja ja pohdintaa eli ei suositus eikä tulisi tässä muodossa olla tiekartalla. Mikäli jostakin aihealueesta ei ole valmiuksia tehdä suositusta, kannattaisi siitä tehdä oma osuutensa joko tiekarttaan tai vielä mieluummin erilliseen dokumenttiin, esim. “tulevaisuuden mahdollisuudet”, johon voi lisätä taustatietoja ja pohdintaa. | Ei | Korkeakoulujen ja tutkimuslaitosten tulee kantaa vastuu avoimen tieteen periaatteiden edistämisestä tutkijayhteisöissään. Kehittämisrahasto pirstaloisi entisestään tutkimuksen rahoituskenttää ja se voisi olla osa tiekarttaa korkeintaan rajoitetun ajan. Avoimen tieteen periaatteiden tulee kehittyä kiinteäksi osaksi toimintakulttuuria, jolloin sitä ei tarvitse erikseen tukea. | Rahoitusmallin kehittämistä kannattaa suunnitella. Mikäli suositus on, että aloitetaan visiotyö, se on tarpeellinen. Toisaalta, onko tällä työryhmällä mandaattia aloittaa uudistustyö? | Tarpeellinen osa tiekarttaa. Valitettavasti rahoituksen tiekartta ei ota kantaa transformatiivisten sopimusten tulevaisuuteen, vaikka ne ovat yksi niistä syistä miksi rahoitus on epätasapainossa. Tiekartta ei analysoi tilannetta laajemmin, eikä tarjota vaihtoehtoja, vertaa SUHF:n kannanottoa SUHF-REC-2023-7-Recommendation-regarding-charting-Swedens-path-beyond-the-transformative-agreements.pdf. Kannattaisiko suositusta kehittää vastaavaan suuntaan? Tiekartassa oleva suositus on tarpeellinen, mutta vallitseva kansainvälinen tutkimuskulttuuri ja laajasti käytössä olevat arviointikriteerit vaikeuttavat tutkimusorganisaatioiden resurssien ohjaamista muulla tavoin. Kustantajasopimuksia tehdään tutkijoiden tarpeita silmällä pitäen, ja niin kauan kuin tutkijat tarvitsevat lisensoitua aineistoa sekä suosivat julkaisemista suurten kustantajien lehdissä, niin kauan meidän on myös neuvoteltava ja ohjattava resurssejamme näihin. Myös rahoittajien ehdot ohjaavat meidät tällä hetkellä - vastoin PlanS:n alkuperäistä suositusta - transformatiivisiin sopimuksiin. Ehdotettujen keskustelujen pohjaksi tulemme tarvitsemaan laajat, puolueettomat selvitykset siitä, miten avoin julkaiseminen ja tähänastiset ratkaisut, kuten mm. transformatiiviset sopimukset ovat kustannusten kasvamisen ja epätasapainottamisen lisäksi vaikuttaneet suomalaisten tutkijoiden vaikuttavuuteen sekä kansainvälisellä että kansallisella areenalla. Tarvitsemme myös paremman kuvan siitä, mikä tulee korvaamaan transformatiiviset sopimukset, koska vaihtoehtokaan ei tule olemaan ilmainen. | • Tutkimusorganisaation ja tutkijan näkökulmasta hankitaan tekoälyä hyödyntäviä palveluja, esim. Scopus AI, jonka avulla tutkija saa nopeasti tehtyä esim. yhteenvetoja tutkimusalan aikaisemmasta tutkimuksesta. • Epäluulo tekoälyn käyttämisestä väärin esim. artikkeleiden kirjoittamiseen tai vertaisarviointiin, varsinkin kirjoittajamaksuja keräävillä kustantajilla. Pitääkö tulevaisuudessa investoida tekoälytyökaluihin, jotka tunnistavat tekoälyn avulla kirjoitetut paperit tai vertaisarvioinnit? • Käytännössä tarvitaan investointeja uusiin palveluihin | • Ei suosituksia, vaan selvitys siitä, miten tähänastiset avoimen julkaisemisen ja muiden avoimuuden osa-alueiden ratkaisut ovat vaikuttaneet tutkimuksen tieteelliseen ja yhteiskunnalliseen vaikuttavuuteen. | Ei kommentteja | • Tiekartta on nykyisessä muodossaan raskasta lukea, liian pitkä ja osittain epäjohdonmukainen. Visuaalisuus lisäsi selkeyttä. Lisäksi kannattaa varmistaa, missä osioissa on aidosti suosituksia ja missä on vain pohdittu erilaisia vaihtoehtoja. | Mihin tämä suositus sijoittuu avoimen tieteen ja tutkimuksen suositusten ja linjausten viidakossa? Onko varmistettu, että ei ole toistoa tai epäjohdonmukaisuuksia? | |||||||||||||||||||||
5 | Oulun yliopisto | Lyhyen aikavälin suositukset -osa on tarpeellinen tiekartan osa. Olisiko kohtaan “Tutkimusaineistojen ja -menetelmien avoimuus” syytä täydentää jotain menetelmien avoimuudesta? Luonnoksessa siitä on erittäin niukasti. Sivulla 12 pieni kirjoitusvirhe “ainestojen” Pitäisikö tässä osiossa huomioida rahoitettavien tutkimusinfrastruktuurien avoimuus? Tutkimusrahoittajien avoimen tieteen käytännöt kokonaisuus on oleellinen osa tiekarttaa. Kunnianhimon tasoa voisi kuitenkin miettiä nostettavaksi ja harkita, onko suosittava 1-taso tarpeen. Työkalun tasoista: voisiko alin eli lähtötaso taso 1 (kaikille rahoittajille suositeltavat käytännöt) olla nimeltään perustaso, erityisesti jos kaikki rahoittajat eivät yllä edes tälle tasolle. Tutkimusjulkaisujen avoimuus: Voisiko tasolla 1 edellyttää pysyvien tunnisteiden käyttöä julkaisuissa, vaikka muut tason 1 kohdat ovat vain suosituksia. Tämä olisi keskeinen asia pitkäaikaissaatavuuden kannalta. Pitäisikö tasoissa huomioida myös ammatillisten ja yleistajuisten julkaisujen sekä raporttien avoimuus ja pitkäaikaissäilytys (nyt mainitaan vain vertaisarvioidut)? ”Yhteiskunnallista vaikuttavuutta voi edistää monin tavoin, esimerkiksi:” -kohta; voisiko ”tutkimuksen ja tutkijoiden jalkauttamisella yrityksiin tai muihin organisaatioihin molemminpuolisen tiedon ja osaamisen jakamiseksi” muotoilla toisin, vaikka “jakamalla tutkimustietoa ja osaamista molemminpuolisesti yhteistyössä yritysten ja muiden organisaatioiden kanssa” | Taulukot olisi syytä numeroida. Taulukko sivuilla 16-17: Olisiko paikallisista infrastruktuureista myös CRIS-järjestelmät syytä tuoda esille, koska julkaisuarkistot mainitaan. Tekstissä tosin kerrotaan, että “taulukkoon on valikoitu nimenomaan keskeisimmät kansalliset avoimuuden infrastruktuurit”. Onko kansallinen metadatastrategia olemassa? Mikäli ei, niin voisiko sen kertoa esim. “tulossa olevan kansallisen…” | Olisiko mahdollista lyhentää taulukon selitteitä, ja vielä niin, että pääasiat nousevat selkeämmin esille. Selite-osuus ei ole varmaankaan täysin kattava, joten voisiko tämän tuoda esille? Ovatko kaikki taulukossa kuvatut tutkimusmenetelmiin liittyvät tukimuodot tarpeellisia avoimen tieteen näkökulmasta? Esim. kehittämisen ja menetelmien käytön tuki? Julkaisemisen tuki: tieteellisen kirjoittamisen tuki - pitäisikö ilmaisua avata siten, että avoimuutta edistävät elementit tulevat esille. Skenaariot: Mikä on skenaarion käyttötarkoitus? Voisiko esitysmuotoa tai tarpeellisuutta miettiä vielä uudelleen? Vai pitäisikö olla laajempi (graafinen?) skenaario/tiekartta, eikä vain Tutkimusorganisaatioita koskeva? | Pitäisikö myös kannustimet tuoda selkeämmin esille tässä osassa? Kohta A) Tutkimusyhteistyö: Ohjaajien kouluttaminen on keskeistä. Tärkeää on myös organisaatioiden tukihenkilöstön kouluttaminen ja tietoisuuden lisääminen avoimen tieteen käytännöistä. Tutkimusyhteistyössä tehtävissä sopimuksissa (sopimuspohjiin) olisi hyvä olla kirjattuna (niin opinnäytteiden kuin muidenkin yhteistyökumppanien kanssa tehtävien sopimusten osalta) organisaation avoimen tieteen käytännöt (avoin julkaiseminen, vastuullinen datanhallinta, jne.). | Voisiko tekstissä selkeämmin tuoda esiin, että esitetty malli perustuu nykyisten rahoitusvirtojen uudelleen kohdentamiseen siten, että se tukee paremmin avointa tiedettä. Kehittämisrahaston mahdolliset käyttötarkoitukset: voisiko lisätä timanttijulkaisemisen? | Suositus on tarpeellinen. | Suositus on tarpeellinen osa tiekarttaa. Suosituksessa mainitaan (s. 30 ylälaita), että Avoimen tieteen koordinaatio, Kansalliskirjasto ja Suomen yliopistokirjastojen verkosto FUN järjestävät … laajamittaisen keskustelun… -> onko mahdollista mainita jo tässä vaiheessa taho, joka toimii keskustelun kokoonkutsujana, esim. AVOTT-koordinaatio? Välitön rinnakkaistallentaminen tulisi olla aina mahdollista. RRS:n edistäminen on tärkeää. | Ennakointi on hankalaa. Voi vaikuttaa myös muihin avoimuuden osa-alueisiin kuin julkaisemiseen. | Johdannossa tuodaan esille kansalliselta ohjausryhmältä saadut 2 tehtävää: rahoitusmalli ja toimintasuunnitelma. Olisiko näiden samojen termien hyvä olla esillä myös itse tiekartassa? Nyt on vaikea hahmottaa sitä, miten tiekartta vastaa annettuihin tehtäviin. Voisiko jalkauttamisen ja päivittämisen nostaa johdantoon ja mahdollisesti korostaa enemmän kuin yhdellä virkkeellä. | Suosittelemme tekstin voimallista tiivistämistä. Pitäisikö otsikkoa muuttaa, vai onko osion teksti sisällöltään otsikon mukaista? | Tiekartta on hieno kokonaisuus. On ollut erittäin hyvä idea jakaa suositukset selkeiksi, eri kohderyhmille suunnatuiksi osakokonaisuuksiksi. Toivomme kuitenkin tekstin huomattavaa karsimista ja tiivistämistä. Olisi tärkeää saada poistettua ydinsanomaan liittymättömät kohdat, jotta tiekartan käytettävyys ja luettavuus paranevat. Toivomme myös, että tekstissä tuotaisiin vielä selkeämmin esiin se, että esitetty malli perustuu nykyisten rahoitusvirtojen uudelleen kohdentamiseen siten, että malli tukee paremmin avointa tiedettä. | |||||||||||||||||||||||
6 | Jyväskylän yliopisto | Tutkimusrahoittajien avoimen tieteen käytännöt -työkalu vaikuttaa vahvasti rahoituksen saajien toimintaan ja ohjaa heidän toimintaansa. Esimerkiksi tutkimusjulkaisemisen avoimuuden sekä tutkimusaineistojen ja -menetelmien avoimuuden tasot on hyvin määritelty ja noudattavat niitä periaatteita, joihin rahoituksen saajat itsekin ovat sitoutuneet. On hyvä, että ne kuvataan yhteneväisesti kaikkien tutkimusrahoittajien näkökulmasta. On myös erinomaista, että tutkimuksen yhteiskunnallinen vaikuttavuus on nostettu osaksi rahoittajien työkalupakkia. Tutkimusrahoittajien työkalu on tarpeellinen osa tiekarttaa ja se tarjoaa rahoittajille hyvän välineen tehdä suosituksista ja edellytyksistä eksplisiittisempiä, jolloin rahoituksen saajalle jää vähemmän tulkittavaa siitä, mitä rahoittaja häneltä vaatii. | Avoimen tieteen kansallisten infrastruktuurien kehittämisen ja ylläpitämisen suositukset ovat varsin yleisluonteisia. Niissä todetaan, että olemassa olevia infrastruktuureita pyritään rahoittamaan pitkäjänteisesti ja toisaalta että uusiin infrastruktuureihin eri toimijat hakevat uutta rahoitusta. Olemassa olevien infrastruktuureiden rahoitus voisi olla luokiteltu esimerkiksi niihin, jotka ovat saaneet tai voivat saada Akatemian FIRI-rahoitusta, ja muihin. Suosituksessa on erikseen mainittu infrastruktuurit, joiden rahoitus perustuu vapaaehtoisiin maksuihin, ja näistä nostettu esiin mm. DMPTuuli. Mikäli näiden infrastruktuureiden osalta rahoitusta annetaan keskitetysti jollekin toimijalle, niin on varmistettava kehitystyön mahdollisuus myös konsortion ulkopuolella. Kuten tiekartassa todetaan (s. 16), kaikilla organisaatioilla ei ole kannusteita osallistua kaikkien tämäntyyppisten infrastruktuurien rahoittamiseen. Jos syy tähän on epäilys siitä, pystyykö kyseinen infrastruktuuri oikeasti tulevaisuudessa edistämään avointa ja vastuullista tiedettä ja täyttämään tutkijoiden ja organisaatioiden tarpeet, olisiko tällöin myös syytä tarkastella kriittisesti millaiselle tekniselle pohjalle kansallista infrastruktuuria rakennetaan? Lyhyen aikavälin suosituksissa mainitaan myös avoimen tieteen kehittämisrahasto, jonka toteutusmallia ei tarkemmin kuitenkaan kuvata. Pitkän aikavälin suosituksissa on jonkin verran kuvattu tätäkin mallia. Olemassa olevien avoimuuden infrastruktuureiden kehittämistarpeista esimerkiksi pitkäaikaissäilytys on hyvin tärkeä ja sen osalta puolestaan erillinen oma rahoitusmallinsa on tärkeä määritellä. Kansalliselle kansalaistieteen alustalle olisi pian jo huutava tarve, joten on erinomaista, että tämä on tunnistettu myös tiekartalla. Pysyviä tunnisteita hallinnoiva ja myöntävä kansallinen taho uutena avoimuuden infrastruktuurina edesauttaa monia muita kehittämistoimia, muun muassa tutkimusprojekteihin ja tutkimusinfrastruktuureihin viittaamista. Suositus kansallisten infrastruktuurien kehittämisestä on hyvin tarpeellinen, erityisesti s. 17 mainittu infrastruktuurien rajapintojen kehittäminen, jotta avoimen tieteen eri järjestelmät ja alustat saadaan tiedonsiirron osalta saumattomasti yhteen toimiviksi ja pitkälle automatisoiduiksi. | Avoimen tieteen palveluita ja niiden resursointia käsittelevä osio sisältää erittäin laajan valikoiman hyvin erityyppisiä palveluita, jotka on kuitenkin pystytty luokittelemaan selkeästi. Tukipalveluiden kehitysvauhdista on erikseen annettu neljä skenaariota, joita itseäänkin voi verrata eri palveluiden todennäköiseen kehittymiseen, tarjontaan ja käyttöönottoon. Näiden tavoitetilaksi voi ottaa kolmannen skenaarion palveluiden nopeasta kehittymisestä. Suositukset avoimen tieteen edistämisestä tutkijoiden työsuunnitelmissa ja suositus resurssien jakamisesta avoimen tieteen edistämisessä ovat kumpikin hyvin kannatettavia. Avoimen tieteen toimintatapoihin kuuluu luonnostaan hyvien käytäntöjen kehittäminen ja niiden toteuttaminen yhteistyössä, ja samalla se yhdenmukaistaa toimijoiden käytäntöjä laajemminkin. Tutkimusaineistojen ja -menetelmien hallinnan osalta palvelutarpeeksi on nostettu myös “lähituki tutkimusaineistojen tuottamisessa ja käytössä”. Tämä on varsin vaativa tavoite vähänkään suuremmassa tutkimusorientoituneessa organisaatiossa. Sivulla 22 kerrotaan kolmannen sektorin toimijoista (lähinnä tieteelliset seurat), jotka nähdään merkittävinä avoimen tieteen edistäjinä ja yhteistyökumppaneina, ja mainitaan, että “mikäli kolmannen sektorin toimijoiden resursointi varmistetaan”, ne voisivat tarjota enemmän avoimuuden tukipalveluita. Ottaako käsillä oleva avoimen tieteen ja tutkimuksen rahoituksen tiekartta kantaa myös kolmannen sektorin toimijoiden rahoitukseen? Jos ottaa, miten ja missä se näkyy dokumentissa? S. 22 mainittu verkostotoiminnan lisääminen ja erityisesti avoimen tieteen ja tutkimuksen juridisen yhteen toimivuuden parantaminen lakiasiantuntijoiden kesken on hyvä lisäys. Tällaiselle olisi tarvetta esim. tutkimusaineistojen hallinnan asioissa sekä tutkijan (tekijän)oikeuksiin liittyvissä kysymyksissä, kuten tutkimusrahoittajien RRS (Rights Retention Strategy) -suositusten toteuttamisessa. Myös osaamisen jakamisen esiin tuominen on erittäin hyvä nosto. Yhteistä työtä tulee tehdä jo mainitun infrastruktuurien yhteensovittamisen ja rajapintojen lisäksi jakamalla myös osaamiseen liittyviä resursseja ja asiantuntijuutta entistä tehokkaammin. | Suositus on varsin tarpeellinen osana tiekarttaa, sillä TKI-rahoituksen kasvun myötä tutkimusorganisaatioiden yhteistyö yrityssektorin kanssa tulee merkittävästi kasvamaan ja tiivistymään. Tämä asia tulee lisäämään myös tutkimusorganisaatioiden tutkijoille suunnattujen palvelujen tarvetta esimerkiksi yritysyhteistyössä tehdyn tutkimuksen aineistojen hallinnan osalta. s. 24 sanotaan "Koska opinnäytetyöt ovat jo lain perusteella julkisia, ulkopuolisella rahoittajalla on usein pienempi kynnys sallia myös opinnäytteen avaaminen." Tällaisessa tiekartassa toivomme asian sanoitettavan niin, että opinnäytteen avaamiseen ei tule koskaan olla mitään estettä, koska se on jo lain perusteella julkinen asiakirja. Ulkopuolinen rahoittaja ei voi vaatia tämän lain kiertämistä. | Tiekartan suositus Avoimen tieteen kehittämisrahaston perustamisesta on sinällään kannatettava, mutta vaatii vielä paljon keskustelua. Jos rahasto perustetaan, on syytä pohtia sen rahoituspohjaa, mutta myös toteutustapaa. Dokumentissa on nostettu esiin erilaisia vaihtoehtoja, joista erillisen, uuden “toimiston” perustaminen rahastoa hallinnoimaan ei vaikuta järkevältä vaihtoehdolta maassa, jossa jo ennestään (kuten tiekartassa monessa kohtaa todetaankin) toimintakenttä on sirpaloitunut. Rahaston perustamisesta ja ennen kaikkea sen tavoitteista tulee olla riittävä yhteisymmärrys, ja rahastolla tulee olla riittävän laaja rahoituspohja, mikäli sellaista ryhdytään perustamaan. Jos rahasto perustetaan, on ensin tärkeää määritellä ne yhteiset avoimen tieteen määritelmät ja linjaukset, johon rahastoa hallinnoiva taho oikeasti sitoutuu. Siihen ei riitä vain kansallinen avoimen tieteen julistus, vaan tarvitaan yhteinen näkemys tarkemmista päämääristä (kuten tutkimusjulkaisemisenkin kohdalla on todettu sivulla 31. | Korkeakoulujen rahoitusmallin kehittäminen suuntaan, joka tukee ‘avoimen tieteen’ muuttumista ‘tieteeksi’ on erittäin tervetullutta. Asia on kuitenkin haastava. Miten rahoitusmalliin pystytään luomaan riittävän mitattavia ja ennen kaikkea yhteismitallisia kriteereitä, jotka tukisivat tiekartassa esiin nostettuja erittäin hyviä, mutta myös sangen monisyisiä, jopa abstrakteja asioita kuten akateemisen vapauden turvaaminen ja laadukkaamman tutkimuksen tuottaminen? Tästä huolimatta työtä tähän suuntaan on tarpeellista jatkaa. Avoimen tieteen ja tutkijoiden asiantuntijoista koostuva työryhmä miettimään avoimuuden edistämistä rahoitusmallissa jatkossakin on kannatettava idea. | Tiekartassa todetaan: “tutkimusjulkaisemisen rahoituksessa vallitsee epätasapaino, joka yksipuolistaa tutkimusjulkaisemisen kenttää. Tutkimusjulkaisemiseen käytetyistä rahoista valtaosa kasautuu muutamalle isolle toimijalle, kun taas pienemmät julkaisijat joutuvat hyvin usein toimimaan kannattavuuden rajoilla”. Tämä lienee luonnollista ja väistämätöntä, koska tieteellinen julkaisutoiminta on voittoa tavoittelevaa ja erittäin kannattavaa liiketoimintaa ja toimii siis liiketoiminnan säännöillä ja lainalaisuuksilla. Tämän perustavaa laatua olevan asian muuttaminen ei tapahdu tämän käsillä olevan kansallisen tiekartan toimenpiteillä, vaan vaatii koko maailmanlaajuisen tiedeyhteisön sisällä ajattelutavan, voisi sanoa jopa paradigman muutoksen – kehityskulun poispäin sekä voittoa tavoittelevasta kaupallisesta tieteellisestä julkaisemisesta että jäykistä tutkimustulosten julkaisutavoista. Tätä ennen kustannusten jakautuminen ei merkittävästi tasapainotu, koska tutkimusta tekevät organisaatiot eivät voi toimia kansallisessa kuplassa, tieteen tekeminen on mitä suurimmassa määrin kansainvälistä, ja jatkossa tavoitteet tällä saralla ovat vieläkin korkeammalla. Tiekartassa todetaan myös, että kohtuuttoman paljon rahoituksesta kuluu ei-avointen julkaisujen lisenssimaksuihin ja transformatiivisiin sopimuksiin. Tämä pitää mitä suurimmassa määrin paikkansa, viitaten yllä mainittuun. Rinnakkaistallentamisesta tiekartassa on turhan vähättelevä näkemys: vaikka se ei sinällään nopealla aikavälillä muuta yllä mainittua suurinta epäkohtaa, se kuitenkin avaa tutkimusjulkaisuja ja säästää kustannuksia. On merkittävästi halvempaa rinnakkaistallentaa kuin maksaa avoimuusmaksuja isoille kustantajille. Sen vuoksi onkin varsin erikoista, että tutkijoiden oikeuksia turvaavaa Right Retention Strategya ei mainita tiekartalla ollenkaan. Jos kustannusten nousun halutaan taittuvan – mihin lienee aika suuri konsensus tällä hetkellä – on RRS otettava oikeasti agendalle. Lisäksi on hyvin tervetullutta, että tiekartan laatijat ovat tunnistaneet myös julkaisemiseen liittyvän keskustelun vinouman, mikä on ollut havaittavissa jo usean vuoden ajan avoimen tieteen toimijoiden keskuudessa: keskustelu on painottunut yksittäisten, jopa kokonaiskuvassa varsin pienten epäkohtien ympärille, kuten esimerkiksi kotimaisten tiedejulkaisujen rahoittaminen. Vaikka rahoittaisimme kotimaisia julkaisuja, emme tällä toimenpiteellä millään lailla pysty ratkaisemaan tiedejulkaisemiseen liittyvää globaalia ongelmaa – vallitsevassa tilanteessahan se vain lisäisi avoimuuden kustannuksia. | Tiekartan johdanto taustoittaa erittäin hyvin avoimen tieteen tavoitteita ja kehityspolkua tähän saakka. Lukuohje on varsin tarpeellinen ja siihen ja tiivistelmään on erinomaisesti koottu kaikkein oleellisimmat seikat. Tutkimusorganisaation kannalta ei ole edes välttämätöntä lukea tarkasti koko dokumenttia esimerkiksi niiltä osin, kuin ne ohjaavat tutkimusrahoittajien toimintaa. Toisaalta tutkimusrahoittajan toimintaan vaikuttavat periaatteet ovat yksityiskohtaisestikin hyödyllisiä kaikkien muiden toimijoiden näkökulmista. | ||||||||||||||||||||||||||
7 | Turun yliopisto | Tutkimusrahoittajien avoimen tieteen käytännöt -työkalu on tutkimusta rahoittaville organisaatioille tarpeellinen ja hyödyllinen, mutta se olisi helppokäyttöisempi todennäköisesti itsenäisenä dokumenttina ennemmin kuin tiekartan osana. Tiekartassa olisi hyvä tuoda esille toimenpiteitä, miten tutkimusta rahoittavat organisaatiot voivat ottaa työkalun käyttöönsä. Lisäksi tiekartassa olisi hyvä asettaa tavoitteita siihen millaisella aikavälillä tutkimusrahoittajaorganisaatioiden oletetaan saavuttavan tietyt avoimen tieteen tasot. | Tiekartassa olisi syytä myös huomioida, että toisinaan tutkimukselle kansainväliset (erityisesti eurooppalaiset) avoimen tieteen infrastruktuurit voivat olla kotimaisia infrastruktuureja olennaisempia. Tiekartassa tämä tulisi näkyä siten, ettei tiekartan suositukset supista tutkijoiden ja tutkimusorganisaatioiden mahdollisuuksia hyödyntää niitä eikä aseta kansainvälisiä infrastruktuureita hyödyntävää tutkimusta eriarvoiseen asemaan muihin nähden. | Suositus tutkimusorganisaatioiden avoimen tieteen palveluiden resursointiin ei tunnu tarpeelliselta osalta tiekarttaa. Tutkimusorganisaatiot ovat sitoutuneet resursoimaan avoimen tieteen kehittämiseen ja tukipalveluihin kun ne ovat allekirjoittaneet avoimen tieteen julistuksen. Lisäksi sitouduttuaan julistukseen organisaatiot ovat sitoutuneet edistämään julistusta täsmentäviä linjauksia ja suosituksia, jotka osittain sisältävät myös suosituksia liittyen resursseihin. Myös viitearkkitehtuuri ohjaa organisaatioita, joten tiekarttaan lisättynä tämän kaltainen osio ei tuo lisäarvoa. Mikäli tätä asiaa halutaan nostaa tiekartassa esille se tulisi tehdä jollakin muulla tavalla ja silloin olisi hyvä huomioida, että esimerkiksi suositus avointa tiedettä edistävien aktiviteettien kirjaaminen työsuunnitelmiin on epärealistinen eikä sillä ole todellista vaikutusta avoimen tieteen edistämisen kannalta. | Osio, jossa kuvataan keinoja tutkimusyhteisön ulkopuolisen rahoituksen tuotosten avaamiseksi, tuntuu lukijasta vaikeaselkoiselta ja irralliselta. Tässä osiossa on tuotu esille muutamia esimerkkejä, joiden avulla tutkimusorganisaatiot voivat tuotoksiaan avata, mutta epäselväksi jää miksi juuri nämä on valittu suositeltaviksi keinoiksi ja mitä vaikutusta tällä suosituksella tavoitellaan. | Lyhyen aikavälin suositukset jäävät irrallisiksi ja niiden suhdetta pitkän aikavälin suosituksiin on vaikeaa hahmottaa, jonka vuoksi on vaikea tunnistaa puuttuuko tiekartalta tarpeellisia lyhyen aikavälin suosituksia. | Avoimen tieteen kehittämisrahaston perustaminen vaikuttaa lähtökohtaisesti avoimen tieteen kehittämistä edistävältä toimenpiteeltä. Tiekartassa olevan osion perusteella epäselväksi jää kenen vastuulla kehittämisrahaston perustaminen ja hallinnointi olisi ja millaisia vaikutuksia kehittämisrahastolla oletetaan olevan. Kehittämisrahaston perustaminen ei myöskään voi olla pelkän suosituksen varassa sillä silloin todennäköisesti se jää toteuttamatta. | Korkeakoulujen rahoitusmallin kehittäminen on yksi keskeisimmistä mekanismeista, joilla voidaan edistää avoimen tieteen edistymistä kansallisesti eri organisaatioissa. Tiekartan keskeisin suositus, joka liittyy rahoitusmallin kehittämiseen, on ilmeisesti ” Visiotyön tueksi suositellaankin avoimen tieteen ja tutkijoiden asiantuntijoista koostuvaa työryhmää, joka pohtii avoimuuden edistämistä uudistetussa rahoitusmallissa.” Tämä kuitenkin toteutuu todennäköisesti ilman erillistä tiekarttaa, joten tiekartassa pitäisi pohtia, että mitä lisäarvoa tiekartta tuo korkeakoulujen rahoitusmallin kehittämiseen. | Tutkimusjulkaisemisen kustannuksiin on tärkeää kiinnittää huomiota sekä pitkällä että lyhyellä aikavälillä ja tarve olisi kehittää eettisesti sekä taloudellisesti kestäviä ratkaisuja. Avoimen tieteen kustannukset eivät kuitenkaan synny vain julkaisemisesta ja kustannusten tasapainottaminen koskee myös muita avoimen tieteen osa-alueita ja tämä tulisi huomioida tiekartassa. | Tekoälyn kehitys vaikuttaa kaikkiin avoimen tieteen osa-alueisiin eikä pelkästään tutkimusjulkaisemiseen ja sen rahoitustarpeisiin. Olisi tärkeää tämän kaltaisessa laajassa ja pitkän aikavälin tiekartassa huomioida tekoälyn kehityksen vaikutus laajemmasta näkökulmasta. | Pitkän aikavälin suositukset jäävät lyhyen aikavälin suositusten kaltaisesti irrallisiksi ja niiden suhdetta lyhyen aikavälin suosituksiin on vaikeaa hahmottaa, jonka vuoksi on vaikea tunnistaa puuttuuko tiekartalta tarpeellisia pitkän aikavälin suosituksia. | Lyhyehkö ja fokusoitu johdanto-osio parantaisi tiekartan rakennetta ja luettavuutta. Johdanto-osiossa on hyvin tuotu esille visio, jolla kuvataan sitä pitkän aikavälin tavoitetta, joka tiekartan avulla halutaan saavuttaa. Lisäksi on hyvä, että johdanto-osiossa viitataan avoimen tieteen julistukseen sekä sitä täydentäviin linjauksiin ja suosituksiin. Myös viittaus avoimen tieteen viitearkkitehtuuriin on tarpeellinen. Johdannossa ei kuitenkaan ole tarpeellista tuoda esille avoimen tieteen ja tutkimuksen keskeisiä arvoja sillä ne ovat kirjattu avoimen tieteen julistukseen ja vaarana on, että ne ovat sanoitettu hieman eri tavoin eri dokumenteissa. Lisäksi johdannossa voidaan tuoda esille, että tiekartta on luotu avoimen tieteen kansallisen ohjausryhmän pyynnöstä, mutta avoimen tieteen ja tutkimuksen kansallisen ohjausryhmän asettama tehtävänanto sellaisenaan on lukijalle kuitenkin melko tarpeetonta tietoa. Lisäksi nykymuotoisessa johdanto-osiossa kolme viimeistä kappaletta tuntuu irrallisilta nostoilta ja johdannossa olisi parempi välttää yksittäisien avoimen tieteen osa-alueiden esille tuomista (esim. osallistava tiede). Johdannon jälkeen olisi luettavuuden kannalta hyödyllistä esitellä tiivistelmä tiekartasta. Tiivistelmää olisi hyvä seurata varsinaisen tiekartan lukuohje, mikäli se lopulta koetaan tarpeelliseksi. Nykymuotoinen tiekartta sisältää kuitenkin sellaisia osioita, jotka olisi hyvä erottaa omiksi erillisiksi dokumenteiksi ja tällöin tiekarttaan jäävät asiat koskettavat kaikkia toimijoita. Olisi tärkeää korostaa, että kaikkien toimijoiden rooli on tärkeä ja kaikki tiekartassa esitetyt asiat ovat sellaisia, että ne koskettavat tavalla tai toisella jokaista tutkimusyhteisön toimijaa. Tästä syystä kaikkien toimijoiden olisi hyvä tutustua koko tiekarttaan, joten lukuohjeen tarpeellisuutta tulisi miettiä tarkasti. | Tiekartta voi toimia hyvin työkaluna kehityksen seuraamiselle. Hyvä tiekartta kuvaa lähtötilanteen selkeästi ja keskittyy kuvaamaan tulevaisuutta. Tiekartta myös kokoaa yhteen keskeiset toimenpiteet ja välietapit, joiden kautta päästään haluttuihin tavoitteisiin. Nykymuodossaan avoimen tieteen ja tutkimuksen rahoituksen tiekartta ei täytä yllä mainittuja hyvän tiekartan elementtejä ja tiekartan luonnoksesta on haasteellista erottaa keskeiset asiakokonaisuudet. Tiekartassa olisi hyvä johdannon, tiivistelmän ja lukuohjeen jälkeen olla ”avoimen tieteen ja tutkimuksen rahoituksen tila 2025” kaltainen otsikko, jota seuraisi osio, jossa kuvataan avoimen tieten ja tutkimuksen rahoituksen lähtötilanne, jotta tiekartan lukija ymmärtää, mitä ollaan kehittämässä ja minkälaisella aikataululla. Tätä asiaa on käsitelty luonnoksessa kohdassa: ”Tiekartan kokonaiskuva ja rakenne”, mutta osion uudelleen otsikointi ja osion alaotsikoiden parempi numerointi (pääotsikot numeroituina esim. 1, 2, 3 ja alaotsikot numeroituina esim. 1.1., 1.2., 1.3.) edesauttaisi tiekartan luettavuutta. Lukijan olisi myös helppo tunnistaa, että tässä osiossa esitellään avoimen tieteen ja tutkimuksen rahoituksen lähtötilanne. Tiekartassa olisi syytä käsitellä lyhyen ja pitkän aikavälin suositukset rinnakkain, jotta lukijalle muotoutuisi kokonaiskäsitys siitä, miten lyhyen aikavälin suositukset edistävät pitkän aikavälin suositusten toteutumista. | Nykymuotoisena tiekartta vaikuttaa hyvin korkealentoiselta ja hyvin yleistasoiselta dokumentilta, johon on periaatteen tasolla helppo sitoutua, mutta tiekartan vieminen käytäntöön on hankalaa. Lisäksi tutkimusorganisaatioiden näkökulmasta rahoitusmekanismeissa ei ole selkeästi tuotu esille organisaatioiden omarahoitusta. Tiekartassa olisi tärkeää tuoda esille erityisesti organisaatioiden omarahoituksen vastikkeettomuus verrattuna ulkopuoliseen rahoitukseen. Nykymuodossaan tiekartta vaikuttaa keskeneräiseltä ja sen suhde olemassa oleviin avoimen tieteen linjauksiin ja suosituksiin on epäselvä. Lisäksi tiekartan ollessa suositus on suuri todennäköisyys, että tiekartalla tulee olemaan melko vähän painoarvoa avoimen tieteen ja tutkimuksen kehitystyössä. Epäselväksi myös jää, kenen velvollisuudeksi jää tämän tiekartan toteuttaminen ja toteutumisen seuraaminen. | |||||||||||||||||||||
8 | Itä-Suomen yliopisto | Olisi syytä muistuttaa kenelle kohderyhmälle mikin taso on tarkoitettu toteutettavaksi, nyt asia tulee esiin tiivistelmässä, mutta ei itse työkalussa ja voi johtaa avoimuuden edistämisen kannalta huonompaan lopputulokseen, jota oikeastaan ryhdytään aidosti edistämään vasta tasosta 2 lähtien. Mielekkäämpää olisi aloittaa tavoitteiden saavuttaminen tasolta 2. Pelkkä tutkimusjulkaisu ei ole vielä riittävä tae tutkimuksen luotettavuudelle ja toistettavuudelle, ellei mukana seuraa tutkimusaineistojen ja -menetelmien avoimuus. FAIR-periaatteiden toteuttaminen jää työkalussa enemmän tutkijan vastuulle, mutta se edellyttää FAIR-periaatteiden mukaisesti toimivia palveluita ja tarvittaessa tulisi kiinnittää huomiota myös niiden rahoittamiseen. Onko rahoittamisen kannalta olennaista pilotoida palveluita vai saada käyttöön avoimuutta edistäviä käytänteitä ja palveluita. Näitä voidaan toki käynnistää pilotoinneilla, mutta pitkän tähtäimen tavoite tulisi olla pysyvät käytänteet ja palvelut. | Olisiko syytä huomioita myös paikallisten ja kansallisten lisäksi kansallistenkin rahoitusmalli, kun kaksi muuta on erikseen esitelty. Olisi syytä miettiä, miten tämä infrastruktuurien tunnistaminen tehdään jatkossa (Suositus 2) ja kuka tunnistaa tärkeimmät kehitystarpeet (Suositus 1). | Tutkimusyhteisön toimijat edistävät avoimen tieteen kehittämisrahaston muodostamista. a. tarvitaanko ns. uusi rahoitusinstrumentti ja jos niin mihin. Tämä voi vielä vaan sekoittaa enemmän eri toimijoiden rooleja, jos tiekartan johtamis/päätöksenteko/toimeenpanorakennetta ei ole jatkoon määritetty. b. Hienoa sinänsä, että tässä tiekartassa on pyritty saada kokonaisuutta haltuun, mutta ns. vastuutoimijat tiekartan osalta ja heidän kauttaan myös rahoitus eri toiminoille (erityisesti taulukko1 toiminnot ja mahdolliset integraatiot) pitäisi pystyä konkretisoimaan selkeämmin jatkossa. i. Esim. SA/TIK rooli pitäisi pystyä jatkossa selkeyttämään myös suhteessa tähän avoimen tieteen kokonaisuuteen - nythän myös nämä avoimen datan/tieteen kysymykset/rahoitukset ovat myös siellä yksi teema. | Joissakin tapauksissa jo asioiden huomioiminen korkeakoulujen ja ministeriön välisessä tulossopimuksessa voi riittää edistämään toivottua kehittymissuuntaa, ellei sopivia indikaattoreita muutoin löydetä, koska sopimuksen sisältöä kuitenkin arvioidaan myös sopimuskaudella ja se on myös sidoksissa rahoitukseen. | Olisi hyödyllistä ottaa mukaan keskusteluun mukaan myös resurssipuoli eli UNIFI ja ARENE, koska taloudelliset linjaukset tehdään yliopistojen johdossa. Julkaisemisen rahoituskysymyksissä olennaisin kysymys on, kuinka saadaan aikaan systeeminen muutos, jossa - myös kansainvälisesti - huomioidaan CoARA:n edistäminen sekä julkaisukulttuurin palauttaminen takaisin tiedeyhteisölle. Lisäksi tulisi kiinnittää huomiota, miten tutkijoiden, tutkimuksen ja tutkimusyhteisöjen arvioinnissa löydettäisiin tapa, joka ei olisi riippuvainen lehtiperustaisista mittaamistavoista. | Tiivistelmässä pitkän aikavälin kohdassa 3 olisi hyödyllistä ottaa mukaan myös resurssipuoli eli UNIFI ja ARENE, koska taloudelliset linjaukset tehdään yliopistojen johdossa. Tiivistelmässä on nostettu esiin hiukan eri asioista, kuin itse tekstissä, joka osaltaan hämmentää dokumentin lukemista (esimerkiksi rahoituksen tasojen kohdentuminen) | Miten tässä näkyy tutkijan/tutkimusryhmien itsensä tekemät teot? Pitäisikö tiekartassa olla myös yksi toimijataso näille (vrt alun teksti). Asiaa on esitetty myöhemmin tekstissä, mutta esitystapa muuttuu ja siksi yllättää osin lukijan alkuosaan verrattuna. | 1. Tekstistä näkyy se, että eri toimijat ovat kirjoittaneet todennäköisesti eri osioita, joka tekee kokonaisuudesta hiukan vaikean luettavan 2. Taulukkomuotoinen esittämistapa voisi selkeyttää tekstiä alkuosassa. 3. s. 16 sivulla oleva taulukko on jo ns. selkeämpi, mutta voisiko sen rytmitellä toiminnan mukaan, (ketkä tekevät ns. samaa toimintaa ja arvioida näiden välisiä suhteita myös). Nyt taulukko etenee nimikkeen mukaan. 4. ilmaisu ”yhden kortin varassa” on hiukan huono tällaisessa tekstissä. 3. kappale, sivu 5. 5. Lisäksi ns. yksittäisten esimerkkien ottaminen tiekarttaan on hiukan huono, jos vastaavia ei ole tehty kaikkien osa-alueiden osalta (esim. DMPTuuli-konsortio). 6. Lopussa tulee suosituksia, mutta ne on esitetty vähän epäselvästi, eli taso vaihtelee (välillä pääotsikko, välillä vain osa tekstiä jne) – Lisäksi jää hiukan epäselväksi kenelle nuo suositukset on nyt tarkoitettu? | ||||||||||||||||||||||||||
9 | Åbo Akademi | Innehållet är i linje med tidigare utarbetade policyer för öppen vetenskap. För samarbeten på nationell nivå krävs nationell koordinering, annars blir forskningsorganisationernas möjligheter att påverka relativt begränsade. | I frågor om ägande till forskningsdata råder inte nationell konsensus, och det är ofta mer relevant att tala om användarrättigheter till forskningsdata. I forskningssamarbeten med aktörer utanför forskarsamfundet behöver forskningsorganisationer ingå relevanta avtal som möjliggör att forskningsdata, metadata och resultat görs så öppna som möjligt eller så stängda som nödvändigt, samt stöda forskarnas kompetens om licenser, immateriella rättigheter (IPR) och användarrättigheter. | En svenskspråkig version av utkastet vore mycket önskvärt. Utkastet innehåller eftersträvansvärda mål. Utkastet är överlag i linje med tidigare utarbetade policyer för öppen vetenskap. På vissa punkter är kopplingen till öppen vetenskap (i snäv bemärkelse) vag, utan handlar mer om forskning och vetenskap på allmän nivå. I utkastet förklaras att man inte kan göra en tydlig skillnad mellan öppen vetenskap och annan forskning, vilket är en del av normaliseringen av öppen vetenskap, men detta riskerar urvattna dokumentet ifall målen blir för vaga. Om inte forskningsfinansiärer och UKM förbinder sig till målen och rekommendationerna i vägkartan blir högskolornas roll tunn och högskolorna ensamma har begränsade möjligheter att påverka utvecklingen åtminstone på lång sikt. Då kan forskningsorganisationerna endast arbeta för de kortsiktiga målen definierade i vägkartan. | |||||||||||||||||||||||||||||||
10 | |||||||||||||||||||||||||||||||||||
11 | |||||||||||||||||||||||||||||||||||
12 | |||||||||||||||||||||||||||||||||||
13 | |||||||||||||||||||||||||||||||||||
14 | |||||||||||||||||||||||||||||||||||
15 | |||||||||||||||||||||||||||||||||||
16 | |||||||||||||||||||||||||||||||||||
17 | |||||||||||||||||||||||||||||||||||
18 | |||||||||||||||||||||||||||||||||||
19 | |||||||||||||||||||||||||||||||||||
20 | |||||||||||||||||||||||||||||||||||
21 | |||||||||||||||||||||||||||||||||||
22 | |||||||||||||||||||||||||||||||||||
23 | |||||||||||||||||||||||||||||||||||
24 | |||||||||||||||||||||||||||||||||||
25 | |||||||||||||||||||||||||||||||||||
26 | |||||||||||||||||||||||||||||||||||
27 | |||||||||||||||||||||||||||||||||||
28 | |||||||||||||||||||||||||||||||||||
29 | |||||||||||||||||||||||||||||||||||
30 | |||||||||||||||||||||||||||||||||||
31 | |||||||||||||||||||||||||||||||||||
32 | |||||||||||||||||||||||||||||||||||
33 | |||||||||||||||||||||||||||||||||||
34 | |||||||||||||||||||||||||||||||||||
35 | |||||||||||||||||||||||||||||||||||
36 | |||||||||||||||||||||||||||||||||||
37 | |||||||||||||||||||||||||||||||||||
38 | |||||||||||||||||||||||||||||||||||
39 | |||||||||||||||||||||||||||||||||||
40 | |||||||||||||||||||||||||||||||||||
41 | |||||||||||||||||||||||||||||||||||
42 | |||||||||||||||||||||||||||||||||||
43 | |||||||||||||||||||||||||||||||||||
44 | |||||||||||||||||||||||||||||||||||
45 | |||||||||||||||||||||||||||||||||||
46 | |||||||||||||||||||||||||||||||||||
47 | |||||||||||||||||||||||||||||||||||
48 | |||||||||||||||||||||||||||||||||||
49 | |||||||||||||||||||||||||||||||||||
50 | |||||||||||||||||||||||||||||||||||
51 | |||||||||||||||||||||||||||||||||||
52 | |||||||||||||||||||||||||||||||||||
53 | |||||||||||||||||||||||||||||||||||
54 | |||||||||||||||||||||||||||||||||||
55 | |||||||||||||||||||||||||||||||||||
56 | |||||||||||||||||||||||||||||||||||
57 | |||||||||||||||||||||||||||||||||||
58 | |||||||||||||||||||||||||||||||||||
59 | |||||||||||||||||||||||||||||||||||
60 | |||||||||||||||||||||||||||||||||||
61 | |||||||||||||||||||||||||||||||||||
62 | |||||||||||||||||||||||||||||||||||
63 | |||||||||||||||||||||||||||||||||||
64 | |||||||||||||||||||||||||||||||||||
65 | |||||||||||||||||||||||||||||||||||
66 | |||||||||||||||||||||||||||||||||||
67 | |||||||||||||||||||||||||||||||||||
68 | |||||||||||||||||||||||||||||||||||
69 | |||||||||||||||||||||||||||||||||||
70 | |||||||||||||||||||||||||||||||||||
71 | |||||||||||||||||||||||||||||||||||
72 | |||||||||||||||||||||||||||||||||||
73 | |||||||||||||||||||||||||||||||||||
74 | |||||||||||||||||||||||||||||||||||
75 | |||||||||||||||||||||||||||||||||||
76 | |||||||||||||||||||||||||||||||||||
77 | |||||||||||||||||||||||||||||||||||
78 | |||||||||||||||||||||||||||||||||||
79 | |||||||||||||||||||||||||||||||||||
80 | |||||||||||||||||||||||||||||||||||
81 | |||||||||||||||||||||||||||||||||||
82 | |||||||||||||||||||||||||||||||||||
83 | |||||||||||||||||||||||||||||||||||
84 | |||||||||||||||||||||||||||||||||||
85 | |||||||||||||||||||||||||||||||||||
86 | |||||||||||||||||||||||||||||||||||
87 | |||||||||||||||||||||||||||||||||||
88 | |||||||||||||||||||||||||||||||||||
89 | |||||||||||||||||||||||||||||||||||
90 | |||||||||||||||||||||||||||||||||||
91 | |||||||||||||||||||||||||||||||||||
92 | |||||||||||||||||||||||||||||||||||
93 | |||||||||||||||||||||||||||||||||||
94 | |||||||||||||||||||||||||||||||||||
95 | |||||||||||||||||||||||||||||||||||
96 | |||||||||||||||||||||||||||||||||||
97 | |||||||||||||||||||||||||||||||||||
98 | |||||||||||||||||||||||||||||||||||
99 | |||||||||||||||||||||||||||||||||||
100 |